최근 상하이 디지털 뇌 연구소(이하 '디지털 뇌 연구소')는 최초의 대규모 디지털 뇌 다중 모드 의사결정 모델(DB1)을 출시하여 이 분야의 국내 격차를 메우고 더 나아가 사전 훈련된 모델의 사용을 텍스트, 그래픽 텍스트, 강화 학습 의사 결정 및 운영 최적화 의사 결정에 적용할 수 있는 가능성을 확인합니다. 현재 우리는 Github(프로젝트 링크: https://github.com/Shanghai-Digital-Brain-Laboratory/BDM-DB1)에서 DB1 코드를 오픈 소스화했습니다.
이전에 수리과학연구소에서는 MADT(https://arxiv.org/abs/2112.02845)/MAT(https://arxiv.org/abs/2205.14953)와 같은 다중 에이전트 모델을 제안했습니다. 대규모 오프라인 모델 Transformer 모델은 시퀀스 모델링을 통해 일부 단일/다중 에이전트 작업에서 놀라운 결과를 얻었으며 이 방향에 대한 연구와 탐구가 계속되고 있습니다.
지난 몇 년 동안 대규모 사전 훈련된 모델이 등장하면서 학계와 업계에서는 사전 훈련된 모델의 매개변수 수와 다중 모드 작업에 있어 계속해서 새로운 발전을 이루었습니다. 훈련된 모델은 방대한 데이터에 대해 훈련되었습니다. 지식과 지식의 심층 모델링은 일반 인공지능으로 가는 중요한 경로 중 하나로 간주됩니다. 의사결정 지능 연구에 중점을 두고 있는 디지털연구소는 사전 훈련된 모델의 성공을 의사결정 업무에 혁신적으로 복사하려고 노력하여 획기적인 성과를 거두었습니다.
이전에 DeepMind는 단일 에이전트 의사 결정 작업, 다단계 대화 및 그림 텍스트 생성 작업을 Transformer 기반 자동 회귀 문제로 통합하고 수행한 Gato를 출시했습니다. 604 다양한 작업에서 좋은 성능을 달성했으며, 몇 가지 간단한 강화학습 의사결정 문제가 시퀀스 예측을 통해 해결될 수 있음을 보여주었으며, 이는 수학 연구소의 대규모 의사결정 모델의 연구 방향의 정확성을 검증합니다.
이번 수학연구소에서 출시한 DB1은 주로 Gato를 재현 및 검증하고, 네트워크 구조와 매개변수 양, 태스크 유형 및 태스크 수 측면에서 개선을 시도합니다:
DB1의 전반적인 성능이 Gato와 동등한 수준에 이르렀음을 알 수 있으며, 실제 비즈니스의 요구에 더 가깝고 NP-hard TSP 문제를 해결할 수 있는 도메인 본체로 진화하기 시작했습니다. 아주 좋습니다. 가토 이전에는 이 방향을 탐색하지 않았습니다.
DB1(오른쪽)과 GATO(왼쪽) 지표 비교
강화 학습 시뮬레이션 환경에서 DB1의 다중 작업 성능 분포
기존 의사 결정 알고리즘과 비교하여 DB1은 교차 작업 의사 결정 기능과 빠른 마이그레이션 기능에서 우수한 성능을 제공합니다. 교차 작업 의사 결정 기능 및 매개 변수 수량 측면에서 단일 복잡한 작업에 대한 수천만 개의 매개 변수에서 여러 복잡한 작업에 대한 수십억 개의 매개 변수로 도약을 달성했으며 계속 성장하고 있으며 문제를 해결할 수 있는 능력을 갖추고 있습니다. 복잡한 비즈니스 환경에서 문제를 해결할 수 있는 적절한 능력. 마이그레이션 기능 측면에서 DB1은 지능형 예측에서 지능형 의사결정으로, 단일 에이전트에서 다중 에이전트로의 도약을 완료하여 작업 간 마이그레이션에서 기존 방법의 단점을 보완하여 대규모 모델 구축을 가능하게 했습니다. 기업 내에서.
DB1도 개발 과정에서 많은 어려움을 겪었다는 사실은 부인할 수 없습니다. 디지털 연구소는 대규모 모델 훈련 및 다중 작업 훈련 데이터 저장 분야에서 업계에 표준 솔루션을 제공하기 위해 많은 시도를 해왔습니다. . 모델 매개변수가 10억 매개변수에 도달하고 작업 규모가 거대하며 100T(300B+ 토큰) 이상의 전문가 데이터에 대해 교육해야 하기 때문에 일반적인 심층 강화 학습 교육 프레임워크는 더 이상 빠른 교육 요구 사항을 충족할 수 없습니다. 이 상황. 이를 위해, 수학 연구소는 분산 학습을 위해 단일 머신 멀티 카드 또는 멀티 머신 멀티 카드 환경에서 강화 학습, 운영 최적화 및 대규모 모델 트레이닝의 컴퓨팅 구조를 충분히 고려합니다. , 하드웨어 리소스를 최대한 활용하고 모듈을 교묘하게 설계하여 두 모델 간의 통신 메커니즘을 통해 모델의 학습 효율성을 극대화하고 870개 작업의 학습 시간을 1주일로 단축합니다. 반면, 분산 무작위 샘플링의 경우 훈련 과정에 필요한 데이터 인덱싱, 저장, 로드 및 전처리도 이에 상응하는 병목 현상이 되었습니다. 수학 연구소에서는 문제를 해결하기 위해 데이터 세트를 로드할 때 지연 로드 모드를 채택했습니다. 메모리 제한을 줄이고 사용 가능한 메모리를 최대한 활용합니다. 또한, 로드된 데이터를 전처리한 후 하드디스크에 캐싱해 나중에 전처리된 데이터를 바로 로드할 수 있도록 함으로써 반복적인 전처리에 따른 시간과 리소스 비용을 절감할 수 있다.
현재 OpenAI, Google, Meta, Huawei, Baidu, DAMO Academy 등 국내외 유수의 기업과 연구 기관에서 다중 모드 대형 모델에 대한 연구를 수행하고 모델 적용 또는 제공을 포함한 특정 상용화 시도를 하고 있습니다. 귀하의 제품에 API 및 관련 산업 솔루션이 포함되어 있습니다. 이에 비해 수리과학연구소는 의사결정 이슈에 좀 더 중점을 두고 게임 AI 의사결정 과제, 운영연구 최적화 TSP 해결 과제, 로봇 의사결정 제어 과제, 블랙박스 최적화 해결 과제, 멀티-인공지능 의사결정 과제 등에 적용 시도를 지원한다. 라운드 대화 작업.
운영 최적화: TSP 문제 해결
중국 일부 도시의 TSP 문제를 노드로
강화 학습 작업 시연 영상
DB1 모델이 진행 중입니다. 완료 870개의 다양한 의사결정 과제를 오프라인 학습한 후 평가 결과, 76.67%의 과제가 전문가 수준 50% 이상에 도달한 것으로 나타났습니다. 다음은 일부 작업의 효과를 보여줍니다.
Atari Breakout
DMLab 개체 위치 탐색
Procgen DogBall
Metaworld PlateSlide
ModularRL Cheetah
文本 - 图image任务
虽然当前多模态决策预训练模型DB1 取得了一定效果，但仍存在一定局限性，诸如：跨域任务采样权重敏感、跨域知识迁移困难、长序列建模困难、专家数据强依赖等。虽然存는众多挑战，但现阶段看来,多模态决策大模型是实现决策智能体从游戏走向更广泛场景, 从虚拟走向现实, 现实开放动态环境中进行自主感觉与决策，最终实现更加communication人工智能的关键探索方向之一。未来，数研院将持续迭代数字大脑决策大模型，同过更大参数weight，更有效的序列表征，接入和支持更多任务，结합离线 / 线训练与微调，实现跨域、跨模态、跨任务 的 知识泛化与迁移，最终在现实应用场景下提供更가요、更高效、更低成本 决策智能决策解决方案。
위 내용은 상하이 디지털 뇌 연구소(Shanghai Digital Brain Research Institute)는 매우 복잡한 문제에 대해 신속한 의사 결정을 내릴 수 있는 중국 최초의 대규모 다중 모드 의사 결정 모델인 DB1을 출시했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
