국립과학기술대학교와 제1사범대학교 간의 협력 요약: '화이트박스' 텐서 네트워크가 양자 기계 학습의 해석 가능성과 효율성을 어떻게 향상시킬 수 있는지 공개

Editor | Ziluo

딥 머신러닝은 AI의 다양한 분야에서 눈부신 성공을 거두었지만, 높은 해석성과 높은 효율성을 동시에 달성하는 것은 여전히 ​​심각한 과제입니다.

Tensor 네트워크, 즉 Tensor Network(TN), 양자 역학에서 유래한 성숙한 수학적 도구입니다. 효율적인 "화이트 박스" 기계 학습 솔루션을 개발하는 데 있어 고유한 이점을 입증했습니다

최근 Capital Normal University의 Ran Shiju와 중국과학원의 Su Gang은 양자 역학에서 영감을 얻어 TN 기반 혁신 접근 방식을 검토했습니다. 딥 머신 러닝의 해석 가능성과 효율성을 조화시키려는 오랜 과제에 대한 유망한 솔루션을 제공합니다.

한편 TN ML의 해석 가능성은 양자 정보와 다체 물리학을 기반으로 한 탄탄한 이론적 기반을 통해 달성될 수 있습니다. 반면, 양자다체물리학에서 개발된 강력한 TN 표현과 첨단 컴퓨팅 기술은 높은 효율성을 달성할 수 있다. 양자 컴퓨터의 급속한 발전에 따라 TN은 가까운 미래에 "양자 AI" 방향으로 양자 하드웨어에서 실행될 수 있는 새로운 솔루션을 생산할 것으로 예상됩니다

이 리뷰는 "Tensor Networks for Interpretable and Efficient Quantum-"을 기반으로 합니다. Inspired Machine Learning '은 'Intelligent Computing'이라는 제목으로 2023년 11월 17일에 출판되었습니다.

문서 링크: https://spj.science.org/doi/10.34133/icomputing.0061

딥 러닝 모델, 특히 신경망 모델은 종종 "블랙 박스"라고 불립니다. -만드는 과정이 복잡하고 설명하기 어렵습니다. 신경망은 현재 가장 강력한 딥러닝 모델입니다. 그 힘의 대표적인 예는 GPT입니다. 그러나 설명 가능성이 부족하여 GPT조차도 견고성 및 개인 정보 보호와 같은 심각한 문제에 직면합니다

이러한 모델의 설명 가능성이 부족하면 예측과 결정에 대한 신뢰가 부족하여 중요한 영역에서의 사용이 제한될 수 있습니다. Application

양자 정보 및 다물체 물리학을 기반으로 하는 Tensor 네트워크는 ML에 대한 "화이트 박스" 접근 방식을 제공합니다. 연구진은 "텐서 네트워크는 양자 개념, 이론 및 방법을 ML과 연결하고 텐서 네트워크 기반 ML을 효과적으로 구현하는 데 중요한 역할을 한다"고 말했습니다.

강력한 "양자 물리학" 화이트박스 수학 도구 양자 물리학은 강력한 "화이트 박스" 수학적 도구를 탄생시켰습니다.

클래식 컴퓨팅과 양자 컴퓨팅의 급속한 발전과 함께 TN은 해석 가능성과 효율성 사이의 딜레마를 극복하기 위한 새로운 아이디어를 제공합니다. TN은 여러 텐서의 수축으로 정의됩니다. 네트워크 구조에 따라 텐서가 축소되는 방식이 결정됩니다.

그림 1에는 세 가지 유형의 TN에 대한 도식적 표현이 나와 있습니다. 이 세 가지 유형은 MPS(행렬 곱 상태) 표현, 트리 TN 및 PEPS(투영 얽힌 쌍 상태) 표현입니다.

그림 1: 3가지 유형의 TN에 대한 그래픽 표현: (A) MPS, (B) )Tree TN 및 (C)PEPS. (출처: 논문)

TN은 대규모 양자 시스템의 상태를 효율적으로 표현함으로써 양자 역학 분야에서 놀라운 성공을 거두었습니다. TN 이론에서 얽힘 엔트로피 면적 법칙을 만족하는 상태는 유한 결합 차원을 갖는 TN 표현으로 효율적으로 근사화될 수 있습니다.

밀도 행렬 재정규화 그룹 및 시간 진화 블록 추출을 포함한 MPS 기반 알고리즘은 얽힘 엔트로피 시뮬레이션에서 상당한 효율성을 보여줍니다. 또한 MPS는 Greenberger-Horne-Zeilinger 상태 및 W 상태와 같이 양자 정보 처리 및 계산에 널리 사용되는 인위적으로 구성된 많은 상태를 나타낼 수도 있습니다.

PEPS는 2차원 이상의 면적법칙을 나타내며 고차원 양자 시스템 연구에서 큰 성공을 거두었습니다. 요약하면, 얽힘 엔트로피의 면적 법칙은 양자 시스템 시뮬레이션에서 TN의 표현 또는 계산 능력에 대한 본질적인 설명을 제공합니다. 이 설명은 TN ML에도 적용됩니다. 또한 ML의(고전적인) 확률 모델과 유사한 "화이트 박스" 수치 도구(Born Machine)로서의 TN은 Born의 양자 확률 해석(Born의 규칙이라고도 함)으로 설명할 수 있습니다.

그림 2: MPS( Tensor Train 형식)은 수많은 수학적 객체를 효과적으로 표현하거나 공식화하는 데 사용할 수 있습니다. (인용: 논문)

양자에서 영감을 받은 머신러닝의 기술 발전 (양자에서 영감을 받은 머신러닝의 기술 발전)

TN은 탄탄한 이론과 효과적인 방법 덕분에 기계 학습의 해석 가능성과 효율성 사이의 딜레마를 해결하는 새로운 방법을 제공합니다. 현재 두 가지 얽힌 연구 노선이 논의되고 있습니다.

1. 양자 이론이 어떻게 TN ML 해석 가능성의 수학적 기초 역할을 할 수 있습니까?
2. 양자 역학 TN 방법과 양자 컴퓨팅 기술은 어떻게 효율적인 T N ML 솔루션을 생산합니까?

이 콘텐츠에서 연구자들은 기능 매핑, 모델링 및 양자 컴퓨팅 기반 ML의 관점에서 양자 영감 ML의 최근 고무적인 진전을 소개하고 이 두 가지 문제에 대한 토론을 시작합니다. 이러한 발전은 효율성과 해석 가능성을 향상시키는 데 있어 TN 사용의 이점과 밀접한 관련이 있습니다. 이러한 ML 접근 방식은 이론, 모델 및 방법이 양자 물리학에서 유래했거나 양자 물리학에서 영감을 받았기 때문에 종종 "양자 영감"이라고 불립니다. 그러나 양자 물리학을 기반으로 해석성을 위한 시스템 프레임워크를 개발하려면 더 많은 노력이 필요합니다

아래 표에는 TN ML의 주요 방법과 효율성 및 해석 가능성과의 관계가 요약되어 있습니다

Technical Networks that Enhance Classical Machine Learning

기본적인 수학적 도구로서 ML에서 신경망의 적용은 양자 확률적 해석을 따르는 것에 국한되지 않습니다. TN이 Ising 및 Potts 모델과 같은 고전적인 확률론적 시스템의 분할 함수를 효과적으로 표현하고 시뮬레이션하는 데 사용될 수 있다는 점을 감안할 때 TN과 Boltzmann 시스템 간의 관계가 광범위하게 연구되었습니다.

TN은 확률적 해석을 무시하고 NN을 강화하고 새로운 ML 모델을 개발하는 데에도 사용됩니다. 중국어로 다시 작성: TN은 확률적 해석에 관계없이 NN을 향상시키고 새로운 ML 모델을 개발하는 데에도 사용됩니다.

동일한 기반을 바탕으로 NN의 변형 매개변수를 TN으로 분해하거나 변형 매개변수를 TN으로 직접 표현하는 모델 압축 방법이 제안됩니다. 후자는 신경망의 매개 변수가 텐서로 복원되지 않고 TT 형식, 행렬 곱 연산자 또는 심층 TN으로 직접 복원되는 명시적인 분해 프로세스가 필요하지 않을 수 있습니다. ML 성능을 향상시키기 위해 TN에 비선형 활성화 함수가 추가되어 다중 선형 모델에서 비선형 모델로 TN을 일반화합니다.

다시 작성해야 할 내용은 다음과 같습니다. 결론

사람들은 오랫동안 인공 지능(특히 딥 머신 러닝)의 효율성과 설명 가능성 사이의 딜레마를 해결하는 데 관심을 가져왔습니다. 이와 관련하여 우리는 해석 가능하고 효율적인 양자 영감을 받은 기계 학습 방법인 TN의 고무적인 진전을 검토합니다

그림 3의 "N ML 나비"는 ML Advantage에서 TN의 성과를 나열합니다. 양자 영감을 받은 ML의 경우 TN의 장점은 해석 가능성을 위한 양자 이론과 효율성 향상을 위한 양자 방법이라는 두 가지 주요 측면으로 요약될 수 있습니다. 한편으로 TN을 사용하면 통계 및 양자 이론(예: 얽힘 이론)을 적용하여 고전 정보나 통계 이론으로 설명할 수 있는 것 이상으로 해석 가능성을 위한 확률적 프레임워크를 구축할 수 있습니다. 반면, 강력한 양자 역학 TN 알고리즘과 크게 향상된 양자 컴퓨팅 기술을 통해 양자 기반 TN ML 방법은 클래식 및 양자 컴퓨팅 플랫폼 모두에서 매우 효율적일 수 있습니다.

그림 3: "TN ML 나비"에는 양자 이론을 기반으로 한 해석성(왼쪽 날개)과 양자 방법을 기반으로 한 효율성(오른쪽 날개)이라는 두 가지 고유한 장점이 요약되어 있습니다. (출처: 논문)

특히 최근 GPT 분야에서 상당한 발전이 이루어지면서 모델 복잡성과 컴퓨팅 성능이 전례 없이 급증했으며 이는 TN ML에 새로운 기회와 도전을 가져왔습니다. 신흥 GPT AI에 직면하여 설명 가능성은 연구 효율성을 향상시킬 뿐만 아니라 더 나은 적용과 안전한 제어를 가능하게 하기 위해 점점 더 가치가 높아지고 있습니다

현재 NISQ 시대와 다가오는 현실에서 양자 컴퓨팅 시대에 TN은 빠르게 성장하고 있습니다. 이론, 모델, 알고리즘, 소프트웨어, 하드웨어, 응용 등 다양한 관점에서 양자 인공지능을 탐구하는 중요한 수학적 도구로 성장하고 있습니다.

참고 내용: https://techxplore.com/news/2023 -11-tensor -networks-efficiency-Quantum-inspired-machine.html

위 내용은 국립과학기술대학교와 제1사범대학교 간의 협력 요약: '화이트박스' 텐서 네트워크가 양자 기계 학습의 해석 가능성과 효율성을 어떻게 향상시킬 수 있는지 공개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!