계속되는 반전! DeepMind는 러시아 팀으로부터 질문을 받았습니다. 신경망이 물리적 세계를 이해한다는 것을 어떻게 증명할 수 있습니까?

최근 과학계에서는 또 다른 논란이 일고 있습니다. 이 이야기의 주인공은 2021년 12월 런던에 있는 딥마인드 연구센터에서 발표한 사이언스 논문입니다. 연구원들은 신경망을 사용하면 이전보다 더 정확한 전자 장치를 훈련하고 구축할 수 있다는 사실을 발견했습니다. 밀도 및 상호 작용 다이어그램은 전통적인 기능 이론의 체계적 오류를 효과적으로 해결할 수 있습니다.

논문 링크: https://www.science.org/doi/epdf/10.1126/science.abj6511

기사에서 제안한 DM21 모델은 수소 가닥과 같은 복잡한 시스템을 정확하게 시뮬레이션합니다. , 하전된 DNA 염기쌍 및 이진 전이 상태. 양자화학 분야에서는 정확한 보편함수를 실현할 수 있는 기술적 길을 열었다고 할 수 있다.

DeepMind 연구원들은 동료들의 복제를 용이하게 하기 위해 DM21 모델의 코드도 공개했습니다.

저장소 링크: https://github.com/deepmind/deepmind-research

논리적으로 말하면, 논문과 코드는 공개되어 있으며 최고의 저널에 게재됩니다. 연구 결론은 기본적으로 신뢰할 수 있습니다.

그러나 8개월 후 러시아와 한국의 연구자 8명이 사이언스지에 과학적인 리뷰를 게재했습니다. 그들은 DeepMind의 원래 연구에 문제가 있다고 믿었습니다. 즉, 훈련 세트와 테스트 세트가 겹칠 수 있다는 것입니다. 파트 , 잘못된 실험 결론으로 ​​이어짐.

논문 링크: https://www.science.org/doi/epdf/10.1126/science.abq3385

이 의혹이 사실이라면 이 DeepMind 기사는 주요 기사로 알려져 있습니다. 화학 산업의 기술적 혁신 논문에 따르면, 신경망을 통해 달성한 개선은 데이터 유출에 기인할 수 있습니다.

그러나 DeepMind도 리뷰가 게시된 날 즉시 답변을 작성하여 반대와 강력한 비난을 표명했습니다. 그들이 제기한 견해는 부정확하거나 논문의 주요 결론과 일치하지 않았습니다. DM21의 전반적인 품질 평가와는 무관합니다.

논문 링크: https://www.science.org/doi/epdf/10.1126/science.abq4282

유명 물리학자 파인만은 이렇게 말했습니다.과학자들은 단지 속도를 원할 뿐이라고 말했습니다. 가능한 한 자신이 틀렸다는 것을 증명하십시오. 그래야만 진전을 이룰 수 있습니다.

이 토론의 결과는 아직 결론이 나지 않았고 러시아 팀은 추가 반박 기사를 발표하지 않았지만 이 사건은 인공 지능 분야의 연구에 더 큰 영향을 미칠 수 있습니다. 신경망 모델이 단지 패턴을 기억하는 것이 아니라 실제로 작업을 이해하고 있습니까? 연구 질문

1926년 슈뢰딩거는 파동 함수의 양자 거동을 정확하게 설명할 수 있는 슈뢰딩거 방정식을 제안했습니다. 그러나 이 방정식을 사용하여 분자 내 전자를 예측하는 것은 모든 전자가 서로 밀어내기 때문에 불충분하며, 각 전자의 위치에 대한 확률을 추적해야 하는데 이는 적은 수의 전자에 대해서도 매우 복잡한 작업입니다.

Pierre Hohenberg와 Walter Kohn이 각 전자를 개별적으로 추적할 필요가 없다는 것을 깨달은 1960년대에 획기적인 발전이 이루어졌습니다. 대신, 각 위치에 전자가 있을 확률(즉, 전자 밀도)을 아는 것만으로도 모든 상호 작용을 정확하게 계산할 수 있습니다.

위 이론을 증명한 후 Kohn은 노벨 화학상을 수상하여 밀도 범함수 이론(밀도 범함수 이론, DFT)

DFT는 매핑이 존재한다는 것을 입증했지만 50년 넘게 전자는 밀도와 상호 작용 에너지 사이의 매핑(소위 밀도 함수라고 함)의 정확한 특성은 아직 알려지지 않았으며 대략적으로 해결해야 합니다.

DFT는 본질적으로 슈뢰딩거 방정식을 푸는 방법이며 정확도는 교환 상관 부분에 따라 달라집니다. DFT는 어느 정도의 근사치를 포함하지만 물질이 미시적 수준에서 특정 방식으로 어떻게 그리고 왜 행동하는지 연구하는 유일한 실용적인 방법이므로 모든 과학 분야에서 가장 널리 사용되는 기술 중 하나가 되었습니다.

수년에 걸쳐 연구자들은 다양한 정확도의 400개 이상의 근사 함수를 제안했지만 이러한 모든 근사는 정확한 함수의 일부 주요 수학적 특성을 포착하지 못하기 때문에 체계적인 오류로 인해 어려움을 겪습니다.

근사 함수를 학습할 때 신경망이 하는 일이 바로 이것이지 않나요?

본 논문에서 DeepMind는 분자 데이터와 분수 전하 및 스핀을 갖춘 가상 시스템에 대한 신경망 DM 21(DeepMind 21)을 훈련시켰고, 체계적 오류 없이 기능을 성공적으로 학습했습니다. 스핀 대칭 파괴를 통해 광범위한 화학 반응 클래스를 더 잘 설명할 수 있습니다.

원칙적으로 전하 이동과 관련된 모든 화학적 및 물리적 과정은 비편재화 오류가 발생하기 쉽고, 결합 파괴와 관련된 모든 과정은 스핀 대칭이 깨지기 쉽습니다. 전하 운동과 결합 파괴는 많은 중요한 기술 응용의 핵심이지만 이러한 문제는 수소와 같은 가장 단순한 분자의 기능 그룹을 설명하는 데 있어 수많은 질적 실패로 이어질 수도 있습니다.

모델은 다층 퍼셉트론(MLP)을 사용하여 구축되었으며 입력은 점유된 Kohn-Sham(KS) 궤도의 로컬 및 비로컬 특성입니다.

목적 함수에는 두 가지가 포함됩니다. 하나는 교환 상관 에너지 자체를 학습하는 데 사용되는 회귀 손실이고, 다른 하나는 함수 도함수를 이후 SCF(Self-Consistency Field) 계산에 사용할 수 있도록 보장하는 그래디언트 정규화입니다. 훈련아이템.

회귀 손실의 경우 연구원들은 2235개 반응의 반응물과 생성물을 나타내는 고정 밀도 데이터 세트를 사용하고 최소 제곱 목표를 통해 이러한 밀도에서 고정밀 반응 에너지로 매핑하도록 네트워크를 훈련했습니다. 여기서 1161 훈련 반응은 작은 주요 그룹 H-Kr 분자의 원자화, 이온화, 전자 친화력 및 분자간 결합 에너지를 나타내며, 1074 반응은 H-Ar 원자의 주요 FC 및 FS 밀도를 나타냅니다.

결과 모델 DM21은 대규모 주요 제품군 벤치마크의 모든 반응에서 일관되게 실행되어 보다 정확한 분자 밀도를 생성합니다.

진짜 SOTA인가요 아니면 데이터 유출인가요?

DeepMind가 DM21을 훈련할 때 사용되는 데이터는 전자가 절반인 수소 원자와 같은 분수 전하 시스템입니다.

DM21의 우수성을 입증하기 위해 연구진은 BBB(Bond Breaking Benchmark) 세트라고 불리는 신장된 이량체 세트에 대한 테스트를 수행했습니다. 예를 들어, 멀리 떨어져 있는 두 개의 수소 원자는 총 1개의 전자를 갖습니다.

실험 결과 DM21 기능은 BBB 테스트 세트에서 탁월한 성능을 보였으며 지금까지 테스트한 모든 기존 DFT 기능과 DM21m(DM21 교육과 동일하지만 교육 세트에서 부분 요금 없음)을 능가하는 것으로 나타났습니다.

그런 다음 DeepMind는 논문에서 다음과 같이 주장했습니다. DM21은 부분 충전 시스템의 물리적 원리를 이해했습니다.

하지만 자세히 살펴보면 BBB 그룹에서는 모든 이량체가 훈련 그룹의 시스템과 매우 유사하다는 것을 알 수 있습니다. 실제로, 전기약력 상호작용의 국지적 특성으로 인해 원자 상호작용은 짧은 거리에서만 강력하며, 그 이상에서는 두 원자가 본질적으로 상호작용하지 않는 것처럼 행동합니다.

러시아 과학 아카데미 Zelinsky 유기 화학 연구소의 연구 그룹 리더인 Michael Medvedev는 어떤 면에서 신경망은 잘못된 이유로 올바른 답을 얻는 것을 선호한다는 점에서 인간과 유사하다고 설명합니다. . 그래서 신경망을 훈련시키는 것은 어렵지 않지만, 단지 정답을 암기한 것이 아니라 물리 법칙을 배웠다는 것을 증명하기는 어렵습니다.

따라서 BBB 테스트 세트는 적합한 테스트 세트가 아닙니다. 분수 전자 시스템에 대한 DM21의 이해를 테스트하지 않으며 이러한 시스템의 DM21 처리에 대한 다른 네 가지 증거를 철저히 분석해도 결론적인 결론을 내릴 수 없습니다. SIE4x4 세트의 우수한 정확도만이 신뢰할 수 있습니다.

러시아 연구자들은 훈련 세트에서 부분 전하 시스템을 사용하는 것이 DeepMind 작업의 유일한 참신함이 아니라고 믿습니다. 훈련 세트를 통해 신경망에 물리적 제약을 도입하려는 그들의 아이디어와 올바른 화학적 전위의 훈련을 통해 물리적 의미를 부여하는 방법은 향후 신경망 DFT 기능 구축에 널리 사용될 수 있습니다.

DeepMind Response

논평용 DM21이 훈련 세트 외부에서 분수 전하(FC) 및 분수 스핀(FS) 조건을 예측하는 능력이 있다는 논문의 주장은 논문에서 입증되지 않았습니다. 채권 분리 벤치마크 BBB는 약 50% 중복되며 다른 일반화 사례의 효율성과 정확성에서 도출된 결론도 있습니다.

DeepMind는 이 분석에 동의하지 않으며 BBB가 표시된 FC 및 FS 동작에 책임이 없기 때문에 제기된 요점이 논문의 주요 결론 및 DM21의 전반적인 품질 평가와 부정확하거나 관련이 없다고 생각합니다. 논문의 유일한 예입니다.

훈련 세트와 테스트 세트 사이의 중복은 기계 학습에서 주목할 만한 연구 문제입니다. 기억은 훈련 세트의 예를 복사하여 모델이 테스트 세트에서 더 나은 성능을 발휘할 수 있음을 의미합니다.

Gerasimov는 BBB(유한 거리의 이합체 포함)에서 DM21의 동작이 FC 및 FS 시스템의 출력을 복제하여 잘 설명될 수 있다고 믿습니다(즉, 원자는 무한 분리 한계에서 이합체와 일치함).

DM21이 훈련 세트 이상으로 일반화된다는 것을 증명하기 위해 DeepMind 연구자들은 H2+(양이온 이량체) 및 H2(중성 이량체)의 프로토타입 BBB 예도 고려했으며 교환 상관 함수는 다음과 같다는 결론을 내릴 수 있었습니다. -local; 기억된 상수 값을 반환하면 거리가 증가함에 따라 BBB 예측에 심각한 오류가 발생할 수 있습니다.

위 내용은 계속되는 반전! DeepMind는 러시아 팀으로부터 질문을 받았습니다. 신경망이 물리적 세계를 이해한다는 것을 어떻게 증명할 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!