인공지능, 더 정확히는 신경망(NN)의 활용은 2025년 모든 시스템에서 당연한 요소일 뿐만 아니라 거의 필수적인 부분이 될 것입니다. 따라서 이 주제에 대한 수많은 연구 논문이 발표된 것은 당연한 결과입니다. 그러나 최근 연구는 양자 제어 시스템에 고성능 신경망을 통합하는 것을 가능하게 함으로써 그 가능성을 한 단계 더 끌어올렸습니다.
이 글은 싱가포르 양자 기술 센터(CQT/NUS)(https://www.cqt.sg/)의 연구, 특히 지난 SQA 컨퍼런스에서 제가 토론하고 의견을 교환할 수 있는 영광을 누렸던 아서 스트라우스의 연구를 바탕으로 작성되었습니다.
강화 학습이 해결책을 제시합니다 Link to heading
그들의 아이디어는 매우 흥미롭습니다. 강화 학습 방식을 사용하여 양자 제어 시스템이 큐비트 제어(게이트)를 최적화하도록 돕는 것인데, 이는 제어 효율성을 극대화하는 것을 목표로 하는 보상 시스템을 기반으로 합니다. 왜 이것이 중요할까요? 이전 글(link)에서 설명했듯이, 큐비트는 매우 민감한 “개체"이기 때문에 세심한 주의가 필요합니다. 바로 이 부분에서 신경망이 중요한 역할을 합니다. 신경망은 이러한 주의의 질, 즉 충실도라고도 불리는 것을 정량화하는 데 도움을 줍니다.
이것은 어떻게 작동할까요? 강화 학습은 관찰/행동의 순환을 기반으로 하며, 반복적인 환경 -> 에이전트 보상 시스템(“a” 아래 다이어그램 참조)을 통해 학습됩니다. 이 시스템은 일반적으로 GPU에서 실행되며, 학습이 완료되면 긴밀하게 연결된 matmul(또는 연결하지 않을 수도 있음)에서 양자 제어 시스템(“b” 아래 다이어그램 참조)에서 실행됩니다.
출처: Nature
관찰(큐비트 판독이라고도 함)은 양자 상태를 파괴하므로 학습 주기에서는 먼저 큐비트 상태를 재설정하고, 제어 게이트를 수행하고, 큐비트 상태를 판독한 다음, 해당 정보를 에이전트에 입력합니다.
RL 시스템: 주요 구성 요소 Link to heading
강화 학습의 4가지 구성 요소를 자세히 살펴보겠습니다.
환경은 양자 제어기이자 큐비트 그 자체입니다.
- 이러한 동작은 RF 발생기 엔진의 다양한 “조절 장치” 또는 펄스 매개변수를 조정하는 것입니다.
관찰이란 환경에 의해 조작된 후의 큐비트 특성을 말합니다.
에이전트는 큐비트의 관찰된 특성에 반응하는 정책을 학습하고 그에 따라 펄스 매개변수를 조정하는 역할을 합니다.
RL 시스템: 학습 방법 Link to heading
강화 학습 방법은 크게 가치 기반 방식과 정책 경사 기반 방식의 두 가지 범주로 분류할 수 있다.
가치 기반 방법은 가치 함수를 추정하고 이를 기반으로 정책을 도출하는 데 중점을 둡니다. 정책 경사 방법은 경사 상승을 통해 기대 누적 보상을 최대화함으로써 정책을 직접 최적화합니다.
정책 반복법의 장점은 값 기반 방법보다 훨씬 빠르게 수렴한다는 점입니다. 다만 계산 비용은 더 많이 듭니다. 바로 이 부분에서 정책 경사 알고리즘이 계산 복잡성을 줄여주는 역할을 합니다. 강화 알고리즘을 포함한 정책 경사 알고리즘의 예시는 다음과 같습니다.
위 그림에서 ’s’는 상태, ‘a’는 행동, ‘r’은 보상을 나타냅니다.
강화 학습 시스템: 반복 vs 에피소드 Link to heading
강화 학습에서 에피소드와 반복은 서로 다른 개념입니다.
에피소드:
에피소드는 에이전트와 환경 간의 상호 작용의 완전한 연속체로, 초기 상태에서 시작하여 최종 상태(또는 최대 시간 범위 이후)에 도달하는 것을 의미합니다.
예시: 체스 게임에서 한 에피소드는 시작판부터 체크메이트, 무승부 또는 기권까지의 완전한 게임 과정을 의미합니다.
반복:
일부 논문/코드에서 한 번의 반복은 에이전트와 환경 간의 상호작용(상태 → 행동 → 보상 → 다음 상태)의 한 단계를 의미할 수 있습니다.
최적화 맥락에서, 한 번의 반복은 학습 알고리즘의 한 번의 업데이트 단계(예: 여러 에피소드 또는 전환을 기반으로 하는 한 번의 경사 하강 단계)를 의미할 수 있습니다.
이제 에피소드 샘플링부터 시작해서 이러한 아이디어들을 하나씩 실행해 봅시다.
에피소드는 큐비트가 |O> 상태에 있는 것으로 시작합니다.
관찰-행동 루프를 시작하세요
에이전트는 큐비트의 상태를 관찰합니다.
그리고 정책에 따라 다음 펄스 구간의 매개변수를 선택합니다.
직접 체험해 보면서 탐색해 보세요:
“최적의” 행동(예: 가장 높은 확률을 가진 행동)을 결정론적으로 선택하는 대신, 샘플링은 에이전트가 확률에 따라 해당 분포에서 무작위로 하나의 행동을 선택하는 것을 의미합니다.
이 샘플링은 강화 방법에서 필수적입니다.
점수 함수를 계산합니다:
네트워크 매개변수를 특정 방향으로 조정했을 때 선택된 행동이 발생할 가능성이 얼마나 더 높아지는지(또는 낮아지는지)를 측정합니다.
즉, 샘플링된 동작에 대해 ∇(𝜃)를 평가합니다.
펄스 프로그램이 종료되면 보상을 계산합니다.
정책 경사 강화 학습에서 점수와 보상은 함께 학습 업데이트를 주도합니다.
보상: 환경으로부터의 외부 피드백(과제 수행).
점수: 정책의 매개변수에 대한 내부 민감도(로그 확률의 기울기).
직접 체험하는 심층 분석: 플랙스와 잭스 Link to heading
완료될 예정입니다
결론 Link to heading
죄송합니다. 가볍게 쓰려고 했던 블로그 글이었는데, 생각보다 훨씬 복잡해졌네요. 아마도 “방정식을 더 단순화"해야 할 것 같습니다. 어쨌든, 이 글에서 무엇을 배웠을까요? 큐비트 품질을 최적으로 정량화하는 최적화 과정은 너무나 많은 차원을 가지고 있으며, 예상대로 신경망(NN)은 이 문제를 해결하는 데 매우 뛰어납니다. 이 블로그에서는 단일 큐비트 충실도 최적화에 초점을 맞췄지만, 두 개 이상의 큐비트를 생각해 보세요. 그러면 크로스토크의 영향을 고려해야 합니다. 특히 학습 방법에 대한 많은 질문과 과제가 있습니다. 다중 큐비트 수준에서 전역적으로 학습할지, 아니면 큐비트 쌍 수준에서 국소적으로 학습할지, 심지어 논리적 큐비트 수준에서 계층적으로 학습할지 등입니다. 이러한 질문들을 다음 블로그인 양자 오류 수정(Quantum Error Correction)에서 자세히 살펴보겠습니다.
추가 자료 및 링크: