튜링 거인은 ICLR에 등장했고 정상에서 스타 르쿤과 벤지오에게 열광했습니다! AGI의 새로운 상상력을 불러일으키는 중국 팀의 세 가지 주요 기술 동향

지난 며칠간 AI-ICLR 그랜드 컨퍼런스가 비엔나에서 열렸습니다.

OpenAI, Meta, Google, Zhipu AI 등 세계 최고의 AI 기술 기업이 한 자리에 모였습니다.

행사장에는 연예인들이 모여 있었고, 스타들은 눈부셨다. 몇 걸음만 걸어가면 파격적인 논문을 낸 연예인을 만날 수 있다.

놀랍게도 ICLR 2024 전시장도 별을 쫓는 장면이 되었습니다. 활기찬 분위기가 지붕을 날려버릴 뻔했습니다.

현장에서 튜링 거인 추격

튜링 3대 거인 중 유명한 'e-사람' 르쿤이 23일 자신의 일정을 아낌없이 발표했다.

댓글란에서는 팬들이 기뻐서 체크인을 했을 뿐 아니라, 일부는 그 자리에서 이력서를 제출할 준비까지 하기도 했습니다.

팬들의 여행은 참으로 보람찬 현장이었습니다. 현장에서 르쿤이 명쾌하게 설명했고, 열성적인 관객들은 그를 중심으로 빽빽한 원을 형성했습니다.

집에서 더 가까운 곳에서 ICLR 행사 내내 Meta 팀은 25개 이상의 논문과 2개의 워크샵을 공유할 예정입니다. 이번에 LeCun 팀은 ICLR에 다음 두 편의 논문을 발표했습니다.

논문 주소: https://arxiv.org/abs/2305.19523

논문 주소: https://arxiv.org/abs/2311.12983

또 다른 1비트 사진 영적 거인 요슈아 벤지오 역시 높은 인기를 보여준다.

청중들은 "회의실 밖에 이렇게 긴 줄이 있으려면 자신의 분야에서 정말 독특해야 합니다!"라고 결론지었습니다.

이전에 LeCun과 Hinton은 이에 대해 강한 의견을 표명했습니다. , 그러나 Bengio의 태도는 상대적으로 모호한 것 같습니다. 그가 AGI에 대해 어떻게 생각하는지 빨리 알고 싶습니다. 오는 5월 11일에는 AGI 워크숍에서 연설할 예정이다.

Bengio 팀이 올해 ICLR에서 우수 논문 부문에서 명예로운 언급을 받았다는 점도 언급할 가치가 있습니다.

문서 주소: https://openreview.net/pdf?id=Ouj6p4ca60

Google Meta 옆집, Zhipu AI도 현장에 있습니다. Google의 오픈 소스 모델인 Gema, Robot Intelligence 신체 뒤에 있는 프레임워크, 로봇공학 트랜스포머 및 기타 획기적인 연구 결과가 제시됩니다.

메타와 구글 옆에 전시장 한복판에 아주 눈길을 끄는 기업이 바로 지푸 AI(Zhipu AI)입니다.

현장의 아동화에서는 GLM-4, ChatGLM 등의 연구결과를 시리즈로 소개하고 있습니다.

이 일련의 전시는 많은 외국 학자들의 관심을 끌었습니다.

현장에 참석한 2천여 명의 게스트와 학자들이 GLM 대형모델 기술팀의 소개를 주의 깊게 들었습니다.

서문에는 수학, 빈첸시안 다이어그램, 이미지 이해, 시각적 UI 이해, Agent Intelligence 등의 분야를 다루는 GLM 시리즈 대형 모델에 대한 다양한 최첨단 연구 결과가 포함되어 있습니다.

현장에서는 모두가 스케일링법에 대한 각자의 견해를 두고 열띤 토론을 벌였습니다. GLM 팀도 이에 대한 독특한 통찰력을 가지고 있습니다.

"모델 크기나 훈련 계산량에 비해 지능 출현과 사전 훈련 손실은 더 밀접한 관련이 있습니다.

예를 들어 유명한 OpenAI 996 연구원 Jason은 Wei는 훈련 전 손실에 관한 Zhipu AI의 논문을 주의 깊게 읽은 후 매우 깊은 인상을 받았습니다.

논문에서 팀은 다양한 매개변수와 데이터 크기를 사용하여 30개 이상의 LLM을 교육하여 12개의 중국어 및 영어 데이터 세트에 대한 성능을 평가했습니다.

논문 주소: https://arxiv.org/abs/2403.15796

사전 훈련 손실이 특정 임계값보다 낮은 경우에만 LLM이 응급 능력을 갖는 것으로 관찰됩니다.

또한 사전 훈련 손실의 관점에서 "창발 능력"을 정의하는 것이 모델 매개변수나 훈련량에만 의존하는 것보다 낫습니다.

Zhipu AI의 성능을 통해 점점 더 많은 해외 ​​네티즌들이 이를 깨닫게 되었습니다.

19세에 박사 학위를 취득한 Stability AI 연구 책임자 Tanishq는 CogVLM이 가장 경쟁력 있는 오픈소스 생태계에 지대한 공헌을 한 오픈소스 기본 모델은 중국에서 나온 것입니다.

게임 스튜디오의 전직 CEO인 이 사람은 작년에 완전한 오픈 소스 버전을 만들기 위해 CogVLM과 Stable Diffusion을 사용하기 시작했습니다.

네, CogVLM이 출시된 이후 그 강력한 성능으로 인해 해외 네티즌들이 감탄을 금치 못했습니다.

올해 1월 LLM 순위에서 누군가 다음과 같은 사실을 발견했습니다. -

당시 Gemini와 GPT-4V는 유일한 예외를 제외하고는 모든 오픈 소스 LLM보다 훨씬 앞서 있었습니다. CogVLM입니다.

이런 대규모 국내 모델의 해외 진출 물결 속에서 Zhipu AI는 조용히 해외에서 큰 영향력을 구축했다고 볼 수 있습니다.

특별 연설

올해 ICLR은 전시장에서의 멋진 시연 외에도 총 7명의 특별 연사를 초청해 AI에 대한 통찰력을 공유했습니다.

Google DeepMind Raia Hadsell의 연구 과학자, Georgia Institute of Technology & FAIR 수석 과학자 Devi Parik의 부교수, Max Planck Institute for Computer Science(MPI-SWS)의 Moritz Hardt 이사가 유일하게 중국 팀입니다. Zhipu AI의 GLM 대형 모델 기술팀입니다.

Raia Hadsell

Google DeepMind 과학자 Raia Hadsell의 연설 제목은 "인공 지능 개발의 부침 속에서의 학습: AGI로 가는 길에 있는 예상치 못한 진실"입니다.

수십 년 간의 꾸준한 발전과 간헐적인 좌절 끝에 AI는 중요한 변곡점에 있습니다.

AI 제품이 주류 시장으로 폭발적으로 성장했지만 아직 배당금 규모의 한도에 도달하지 않았기 때문에 전체 커뮤니티가 다음 단계를 모색하고 있습니다.

이 연설에서 Raia는 AI 분야에서 20년 이상의 경험을 바탕으로 AGI의 개발 경로에 대한 우리의 가정이 시간이 지남에 따라 어떻게 변했는지 논의했습니다.

동시에 그녀는 이번 탐험에서 우리가 발견한 예상치 못한 발견도 공개했습니다.

강화 학습부터 분산 아키텍처, 신경망에 이르기까지 이미 과학 분야에서 잠재적으로 혁명적인 역할을 하고 있습니다.

라이아는 과거의 경험과 교훈을 통해 AI의 미래 연구 방향에 중요한 통찰력을 제공할 수 있다고 믿습니다.

Devi Parikh

FAIR 수석 과학자 Devi Parik은 모든 사람에게 자신의 삶에 대한 이야기를 들려주었습니다.

소문 제목만 봐도 박리크가 공유한 내용이 파격적이라는 걸 알 수 있습니다.

ICLR 컨퍼런스에서 기술 환경이 지금과 같은 이유를 설명할 때 모두는 인터넷, 빅데이터 및 컴퓨팅 능력의 발전에 집중할 것입니다.

그러나 그 사소하지만 중요한 개인적인 이야기에 관심을 갖는 사람은 거의 없습니다.

사실 모든 사람의 이야기가 모여 기술 발전을 촉진하는 중요한 힘이 될 수 있습니다.

이러한 방식으로 우리는 서로에게서 배우고 서로에게 영감을 줄 수 있습니다. 이는 우리가 목표를 추구하는 데 있어서 더욱 끈기 있고 효율적이게 만듭니다.

Moritz Hardt

Moritz Hardt, 독일 MPI-SWS 이사가 "Emerging Scientific Benchmarks"에 대해 연설했습니다.

분명히 벤치마크 테스트는 기계 학습 분야의 "핵심 기둥"이 되었습니다.

1980년대 이후 인간은 이러한 연구 패러다임 하에서 많은 성과를 거두었지만, 인간의 깊은 이해는 여전히 제한적입니다.

이 강연에서 Hardt는 일련의 엄선된 경험적 연구와 이론적 분석을 통해 신흥 과학으로서의 벤치마킹의 기본을 탐구합니다.

그는 주석 오류가 데이터 품질에 미치는 영향, 모델 순위의 외부 검증, 다중 작업 벤치마킹의 전망에 대해 구체적으로 논의했습니다.

동시에 하드에서도 많은 사례를 발표했습니다.

이러한 내용은 우리의 기존 통념에 도전하고 과학적 벤치마크 개발의 중요성과 이점을 강조합니다.

GLM Team

중국에서는 Zhipu AI의 GLM 대형 모델 기술팀이 "ChatGLM's Road to AGI"에 관해 멋진 연설도 했습니다.

중국이 최고 수준의 국제 컨퍼런스에서 대형 모델 관련 기조연설을 하는 것도 '처음'이라는 점도 언급할 만하다.

이 연설에서는 먼저 중국의 관점에서 지난 수십 년 간의 AI 발전 역사를 소개합니다.

동시에 ChatGLM을 예로 들어 실습 과정에서 얻은 이해와 통찰력을 설명했습니다.

2024 AGI 미리보기: GLM 4.5, GLM-OS, GLM-zero

ICLR에서 GLM 대형 모델 팀은 AGI에 대한 세 가지 주요 GLM 기술 동향을 소개했습니다.

AGI로 가는 유일한 길은 어디인가요?

이에 대해 업계에서는 의견이 다릅니다. 어떤 사람들은 지능형 에이전트라고 생각하고, 어떤 사람들은 다중 모드라고 생각하며, 어떤 사람들은 스케일링 법칙이 AGI의 필요조건이지만 충분조건은 아니라고 말합니다.

그러나 LeCun은 LLM이 AGI로 가는 잘못된 길이며 LLM은 AGI를 가져올 수 없다고 주장합니다.

이와 관련하여 팀은 자신의 독특한 관점도 제시합니다.

먼저 GLM-4의 후속 업그레이드 버전인 GLM-4.5와 업그레이드 모델에 대해 이야기했습니다.

GLM-4의 후속 업그레이드 버전은 SuperIntelligence 및 SuperAlignment 기술을 기반으로 하며 기본 다중 양식 및 AI 안전 분야에서 큰 발전을 이룰 것입니다.

GLM 대형 모델 팀은 텍스트가 AGI로 가는 길에서 가장 중요한 기반이라고 믿습니다.

다음 단계는 텍스트, 이미지, 비디오, 오디오 및 기타 양식을 함께 혼합하여 진정한 "기본 다중 모드 모델"이 되도록 훈련하는 것입니다.

동시에 더 복잡한 문제를 해결하기 위해 대형 모델 중심의 종합 컴퓨팅 시스템인 GLM-OS 개념도 도입했습니다.

이러한 견해는 이전에 Karpathy가 제안한 대형 모델 운영 체제에 대한 견해와 일치합니다.

ICLR 사이트에서 GLM 대형 모델 팀은 GLM-OS 구현을 자세히 소개했습니다.

기존 All-Tools 기능과 메모리 및 자체 피드백(자체 피드백)을 기반으로 반영) 기능을 통해 GLM-OS는 인간의 PDCA 메커니즘, 즉 Plan-Do-Check-Act 주기를 성공적으로 모방할 것으로 예상됩니다.

구체적으로는 먼저 계획을 세운 뒤 피드백을 주고, 계획을 조정한 뒤 조치를 취하면 더 나은 결과를 얻을 수 있습니다.

PDCA 주기 메커니즘을 기반으로 LLM은 인간처럼 자체 피드백을 수행하고 독립적으로 발전할 수 있습니다.

또한, GLM 대형 모델팀은 인간의 '무의식' 학습 메커니즘을 연구하는 것을 목표로 2019년부터 GLM-zero라는 기술을 연구해 왔다고 밝혔습니다.

"사람들이 자고 있을 때에도 뇌는 무의식적으로 학습하고 있습니다."

GLM 대형 모델 팀은 "무의식적" 학습 메커니즘이 자기 학습, 자기 학습, 자기 학습 등 인간의 인지 능력에 중요한 부분이라고 밝혔습니다. - 학습, 자기 학습. 성찰과 자기 비판.

인간의 뇌에는 "피드백"과 "의사결정"이라는 두 가지 시스템이 있으며, 각각 LLM 대형 모델과 메모리에 해당합니다.

따라서 GLM-zero 관련 연구는 의식, 지식, 학습 행동에 대한 인간의 이해를 더욱 확장할 것입니다.

아직 연구 초기 단계이지만 GLM-zero는 AGI를 향한 유일한 길이라고 볼 수 있습니다.

GLM 대형 모델팀이 이러한 기술 동향을 외부에 공개한 것도 이번이 처음입니다.

국내 최고 기술팀

2020년 말 GLM 대형 모델 기술팀에서 GLM 사전 훈련 아키텍처를 개발했습니다.

2021년에는 수백억 개의 매개변수 모델인 GLM-10B가 훈련되었습니다. 같은 해에 수조 개의 스파스 모델이 MoE 아키텍처를 사용하여 성공적으로 훈련되었습니다.

2022년에는 중국어-영어 이중 언어 1000억 레벨 초대형 사전 훈련 모델 GLM-130B를 개발하고 오픈소스화하기 위해 협력하기도 했습니다.

지난 1년 동안 팀에서는 거의 3~4개월마다 대형 기본 모델의 업그레이드를 완료했으며, 이제 GLM-4 버전으로 업데이트되었습니다.

이뿐만 아니라 Zhipu AI는 국내 최초로 시장에 진출한 LLM 회사로서 OpenAI를 전반적으로 벤치마킹하겠다는 야심찬 목표를 2023년에 세웠습니다.

GLM 대형 모델 기술팀은 AGI 비전을 기반으로 완전한 대형 모델 제품 매트릭스를 구축했습니다.

GLM 시리즈 외에도 CogView 그래픽 모델, CodeGeeX 코드 모델, 다중 모드 이해 모델 CogVLM, GLM-4V 다중 모드 대형 모델 및 All-Tools 기능은 물론 AI 보조 Zhipu도 있습니다. 칭옌.

동시에 GLM 대형모델기술팀의 연구진들은 업계에서 매우 높은 영향력을 갖고 있습니다.

예를 들어, 서클에서 매우 인기가 많은 Li Feifei는 매번 Stanford University에서 CS25 과정을 가르치며 Transformer 연구의 최전선에 있는 전문가를 초대하여 자신의 최신 혁신을 공유합니다.

CS25 강좌의 게스트 중에는 Zhipu AI의 연구원이 있는 것으로 확인되었습니다. 팀이 개발한 오픈소스 시각 언어 모델 CogVLM은 출시되자마자 업계의 주목을 받았다.

Stability AI가 3월에 발표한 논문에 따르면 CogVLM은 뛰어난 성능으로 인해 Stable Diffufion 3에서 이미지 주석에 직접 사용된 것으로 나타났습니다.

이를 바탕으로 CogV LM 시각적 언어 모델 CogAgent , 주로 사용자 그래픽 인터페이스 GUI를 이해하는 것을 목표로 합니다.

국제 컴퓨터 비전 분야 최고 수준의 학술대회인 CVPR 2024에 CogAgent 관련 논문이 게재되었습니다.

CVPR은 입학 심사가 엄격한 것으로 알려져 있습니다. 올해 논문 합격률은 약 2.8%에 불과합니다.

ChatGLM-Math

GLM 대형 모델 팀은 LLM의 수학적 문제를 해결하기 위해 " 자기비판" ” 반복적인 훈련 방법.

자체 피드백 메커니즘을 통해 LLM은 언어 및 수학 능력을 모두 향상시키는 데 도움이 됩니다.

두 번째로 Rejection Sampling Fine-Tuning과 DPO를 통해 LLM 자체의 생성을 감독하는 데 새로운 모델을 사용합니다.

GLM 대형 모델 팀은 새 모델의 수학적 기능을 평가하기 위해 MATHUSEREVAL 벤치마크 테스트 세트도 설계했습니다. 결과는 다음과 같습니다.

새로운 방법은 LLM 문제 해결 기술의 수학적 능력을 크게 향상시키는 동시에 언어 능력도 향상시킵니다. 중요한 것은 어떤 경우에는 매개변수 수가 두 배 더 많아 대형 모델보다 성능이 뛰어나다는 것입니다.

GLM-4는 세계 1위 등급에 속합니다

OpenCompass 2.0 벤치마크 테스트에서 Zhipu AI의 차세대 기본 모델의 강점은 과소평가될 수 없습니다.

전체 순위에서는 GLM-4가 3위, 국내 1위를 기록하고 있습니다.

슈퍼벤치팀이 얼마 전 발표한 '슈퍼벤치 대형 모델 종합 성능 평가 보고서'에서도 GLM-4가 세계 1위권에 랭크됐다.

특히 가장 중요한 의미 이해 및 에이전트 기능에서 GLM-4는 모든 경쟁사를 압도하며 국내 1위를 차지했습니다.

이제 막 지나간 빅모델 원년, 1년째 활발한 모델 전쟁이 벌어지고 있습니다.

2024년이 AGI의 원년이 되려면 세계의 대형 모델팀들이 아직 갈 길이 멀다.