네이처(Nature) 하위 저널에서 워털루 대학교 팀은 '양자 컴퓨터 + 대규모 언어 모델'의 현재와 미래에 대해 논평했습니다.

오늘날의 양자 컴퓨팅 장치를 시뮬레이션하는 데 있어 주요 과제 중 하나는 큐비트 간의 복잡한 상관 관계를 학습하고 인코딩하는 능력입니다. 기계 학습 언어 모델을 기반으로 하는 새로운 기술은 양자 상태를 학습하는 고유한 능력을 보여주었습니다.

최근 워털루대학교 연구진은 "자연계산과학"에 "양자 시뮬레이션을 위한 언어 모델"이라는 관점의 기사를 게재하여 양자 컴퓨터 구축에 있어 언어 모델의 중요한 기여를 강조하고 향후 언어 모델의 잠재적인 역할에 대해 논의했습니다. 양자 패권 경쟁. 이 기사에서는 양자 컴퓨팅 분야에서 언어 모델의 고유한 가치를 강조하고, 양자 시스템의 복잡성과 정확성을 해결하는 데 사용될 수 있다는 점을 지적합니다. 연구자들은 언어 모델을 사용하면 양자 알고리즘의 성능을 더 잘 이해하고 최적화할 수 있으며, 양자 컴퓨터 개발을 위한 새로운 아이디어를 제공할 수 있다고 믿습니다. 이 기사는 또한 양자 컴퓨터의 개발을 가속화하는 데 도움이 될 수 있고 실제 문제를 해결하는 결과를 얻을 것으로 기대하면서 양자 이점 경쟁에서 언어 모델의 잠재적인 역할을 강조합니다

논문 링크: https: //www.nature .com/articles/s43588-023-00578-0

양자 컴퓨터는 성숙해지기 시작했으며, 최근 많은 장치가 양자 우월성을 주장하고 있습니다. 기계 학습 기술의 급속한 증가와 같은 기존 컴퓨팅 기능의 지속적인 개발로 인해 양자 전략과 고전 전략 간의 상호 작용을 둘러싼 많은 흥미로운 시나리오가 발생했습니다. 기계 학습이 양자 컴퓨팅 스택에 계속 빠르게 통합되면서 다음과 같은 질문이 제기됩니다. 미래에 양자 기술을 강력한 방식으로 변화시킬 수 있을까요?

현재 양자 컴퓨터가 직면한 주요 과제 중 하나는 양자 상태를 학습하는 것입니다. 최근 등장한 생성 모델은 양자 상태 학습 문제를 해결하기 위한 두 가지 일반적인 전략을 제공합니다.

그림: 자연어 및 기타 분야를 위한 생성 모델. (출처: 논문)

첫째, 양자 컴퓨터의 출력을 나타내는 데이터 세트를 사용하여 데이터 기반 학습을 수행하면 전통적인 최대 우도 방법을 사용할 수 있습니다. 둘째, 대리 손실 함수를 정의하기 위해 큐비트 간의 상호 작용에 대한 지식을 활용하는 양자 상태에 대한 물리학적 접근 방식을 사용할 수 있습니다.

어느 경우든 큐비트 N의 수가 증가하면 양자 상태 공간(힐베르트 공간)의 크기가 기하급수적으로 커지게 되는데, 이를 차원의 저주라고 합니다. 따라서 확장 모델에서 양자 상태를 표현하는 데 필요한 매개변수 수와 최적 매개변수 값을 찾는 계산 효율성에 큰 어려움이 있습니다. 이러한 문제를 극복하기 위해서는 인공신경망 생성 모델이 매우 적합한 솔루션이다.

언어 모델은 매우 복잡한 언어 문제를 해결하기 위한 강력한 아키텍처가 된 특히 유망한 생성 모델입니다. 확장성으로 인해 양자 컴퓨팅 문제에도 적합합니다. 이제 산업 언어 모델이 수조 개의 매개변수 범위로 이동함에 따라 확장된 양자 컴퓨팅과 같은 응용 분야에서든 양자 물질, 재료 및 기본 이론적 이해에서든 물리학에서 유사한 대규모 모델이 무엇을 달성할 수 있는지 궁금해하는 것이 당연합니다. 장비.

그림: 양자물리학 문제와 그 변형 공식. (출처: 논문)

양자 컴퓨팅을 위한 자동 회귀 모델

언어 모델은 자연어 데이터에서 확률 분포를 추론하도록 설계된 생성 모델입니다.

생성 모델의 임무는 코퍼스에 나타나는 단어 간의 확률적 관계를 학습하여 한 번에 하나의 토큰씩 새로운 문구를 생성하는 것입니다. 가장 큰 어려움은 단어 간의 모든 복잡한 종속성을 모델링하는 데 있습니다.

얽힘과 같은 비국소적 상관 관계가 큐비트 간의 매우 사소하지 않은 종속성을 초래하는 양자 컴퓨터에도 비슷한 문제가 적용됩니다. 따라서 흥미로운 질문은 업계에서 개발된 강력한 자기회귀 아키텍처가 강하게 상관된 양자 시스템의 문제를 해결하는 데에도 적용될 수 있는지 여부입니다.

그림: 텍스트 및 큐비트 시퀀스에 대한 자동 회귀 전략. (출처: Paper)

RNN 파동 함수

RNN은 반복 연결을 포함하는 신경망이므로 RNN 단위의 출력은 이전 출력에 따라 달라집니다. 2018년부터 RNN의 사용은 양자 시스템을 이해하는 데 있어 가장 어려운 다양한 작업을 다루기 위해 빠르게 확장되었습니다.

이러한 작업에 적합한 RNN의 주요 장점은 본질적으로 비국소적인 양자 얽힘을 포함하여 큐비트 간의 매우 중요한 상관 관계를 학습하고 인코딩하는 능력입니다.

그림: 큐비트 시퀀스용 RNN. (출처: Paper)

물리학자들은 양자 컴퓨팅과 관련된 다양하고 혁신적인 용도로 RNN을 사용해 왔습니다. RNN은 큐비트 측정에서 양자 상태를 재구성하는 작업에 사용되었습니다. RNN은 양자 컴퓨팅의 가장 유망한 응용 프로그램 중 하나로 간주되므로 양자 이점을 정의하는 핵심 작업인 양자 시스템의 역학을 시뮬레이션하는 데에도 사용할 수 있습니다. RNN은 내결함성 양자 컴퓨터 개발의 핵심 요소인 신경 오류 수정 디코더를 구축하기 위한 전략으로 사용되어 왔습니다. 또한 RNN은 데이터 기반 및 물리학에서 영감을 받은 최적화를 활용하여 양자 시뮬레이션에서 점점 더 많은 혁신적인 사용을 가능하게 합니다.

물리학자 커뮤니티는 양자 이점 시대에 직면하게 되는 점점 더 복잡해지는 계산 작업을 완료하는 데 RNN을 사용하기를 희망하면서 계속해서 적극적으로 RNN을 개발하고 있습니다. 많은 양자 작업에서 텐서 네트워크를 갖춘 RNN의 계산적 경쟁력과 큐비트 측정 데이터의 가치를 활용하는 자연스러운 능력은 RNN이 앞으로도 양자 컴퓨터에서 복잡한 작업을 시뮬레이션하는 데 계속해서 중요한 역할을 할 것임을 시사합니다.

Transformer Quantum State

RNN은 수년에 걸쳐 자연어 작업에서 큰 성공을 거두었지만 최근에는 오늘날의 대형 언어 모델(LLM)인 Transformer의 self-attention 메커니즘에 의해 업계에서 밀려났습니다. 인코더-디코더 아키텍처의 핵심 구성 요소입니다.

Scaling Transformers의 성공과 그들이 언어 작업에서 보여주는 사소하지 않은 출현 현상에 의해 제기된 중요한 질문은 오랫동안 물리학자들을 매료시켰으며, 스케일링 달성은 양자 컴퓨팅 연구 대상의 주요 초점입니다.

기본적으로 Transformer는 간단한 자동 회귀 모델입니다. 그러나 숨겨진 벡터를 통해 상관 관계를 암시적으로 인코딩하는 RNN과 달리 Transformer 모델의 조건부 분포 출력은 자동 회귀 속성과 관련된 시퀀스의 다른 모든 변수에 명시적으로 의존합니다. 이는 인과 차폐의 자체 주의 메커니즘을 통해 수행됩니다.

그림: 텍스트와 큐비트 시퀀스를 확인하세요. (출처: Paper)

언어 데이터와 마찬가지로 양자 시스템에서는 큐비트 측정을 수행하고 이를 일련의 매개변수화된 함수를 통해 변환하여 주의를 계산합니다. 이러한 매개변수화된 함수를 훈련함으로써 Transformer는 큐비트 간의 종속성을 학습할 수 있습니다. 어텐션 메커니즘을 사용하면 전달된 숨겨진 상태(RNN에서와 같이)의 기하학적 구조를 큐비트의 물리적 배열과 연관시킬 필요가 없습니다.

이 아키텍처를 활용하면 수십억 또는 수조 개의 매개변수를 가진 Transformer를 훈련할 수 있습니다.

데이터 기반 학습과 물리 기반 학습을 결합한 하이브리드 2단계 최적화는 현재 세대의 양자 컴퓨터에 매우 중요합니다. Transformer는 오늘날의 불완전한 출력 데이터에서 발생하고 형성될 수 있는 오류를 완화할 수 있는 것으로 입증되었습니다. 향후 진정한 내결함성 하드웨어 개발을 지원하는 강력한 오류 프로토콜입니다.

양자물리학 트랜스포머와 관련된 연구 범위가 계속해서 급속도로 확장되면서 일련의 흥미로운 질문이 남아 있습니다.

양자 컴퓨팅을 위한 언어 모델의 미래

물리학자들은 짧은 기간 동안만 언어 모델을 탐구했지만, 언어 모델은 양자 컴퓨팅의 광범위한 과제에 적용하여 놀라운 성공을 거두었습니다. 이러한 결과는 많은 유망한 미래 연구 방향을 나타냅니다.

양자 물리학에서 언어 모델의 또 다른 주요 사용 사례는 데이터가 아니라 해밀턴 또는 Lindbladian의 기본 큐비트 상호 작용에 대한 지식을 통해 최적화하는 능력에서 비롯됩니다.

마지막으로, 언어 모델은 데이터 기반 최적화와 변형 기반 최적화의 결합을 통해 하이브리드 교육의 새로운 영역을 열어줍니다. 이러한 새로운 전략은 오류를 줄이고 변형 시뮬레이션의 강력한 개선을 보여주는 새로운 방법을 제공합니다. 최근 생성 모델이 양자 오류 수정 디코더에 적용되었으므로 하이브리드 훈련은 내결함성 양자 컴퓨터의 미래 성배를 향한 중요한 단계일 수 있습니다. 이는 양자 컴퓨터와 그 출력에 대해 훈련된 언어 모델 사이에 선순환이 곧 등장할 것임을 시사합니다.

그림: 언어 모델은 선순환을 통해 양자 컴퓨팅의 확장을 달성합니다. (출처: Paper)

앞으로 언어 모델 분야를 양자 컴퓨팅에 연결할 수 있는 가장 흥미로운 기회는 규모와 출현을 입증하는 능력에 있습니다.

요즘 LLM의 창발적 특성이 시연되면서 새로운 분야가 개척되어 많은 흥미로운 질문이 제기되었습니다. 충분한 훈련 데이터가 주어지면 LLM이 양자 컴퓨터의 디지털 사본을 학습할 수 있습니까? 제어 스택에 언어 모델을 포함하면 양자 컴퓨터의 특성화 및 설계에 어떤 영향을 미치나요? 규모가 충분히 크면 LLM은 초전도성과 같은 거시적인 양자 현상의 출현을 보여줄 수 있습니까?

이론가들이 이러한 질문을 숙고하는 동안 실험 및 계산 물리학자들은 오늘날 양자 컴퓨터의 설계, 특성화 및 제어에 언어 모델을 본격적으로 적용하기 시작했습니다. 양자적 이점의 문턱을 넘으면 확장된 언어 모델에서도 새로운 영역에 진입하게 됩니다. 양자 컴퓨터와 LLM의 충돌이 어떻게 전개될지 예측하기는 어렵지만, 분명한 것은 이러한 기술의 상호 작용으로 인한 근본적인 변화가 이미 시작되었다는 것입니다.