Tianyi Cloud가 국제 AI 서밋 대형 모델 챌린지에서 우승을 차지했습니다.

지난 6월 7일, 유명 대학과 유명 기업이 참여하는 최고 국제 인공지능 컨퍼런스 CVPR 2023에서 개최된 제1회 대형 모델 챌린지(CVPR 2023 Workshop on Foundation Model: 제1회 기초 모델 챌린지)가 막을 내렸습니다. 전 세계에서 1024명의 참가자가 참가합니다. 두 달 간의 치열한 경쟁 끝에 Tianyi Cloud AI 팀(팀명 CTRL)이 다중 작업 대형 모델 트랙에서 좋은 성적을 거두며 이번 대회에서 우승을 차지했습니다.

(사진출처: 포토네트워크)

CVPR 컨퍼런스는 IEEE가 주최하는 컴퓨터 비전 및 패턴 인식 분야의 국제 학술 컨퍼런스로, 이 분야의 최신 연구 결과와 기술 발전을 담고 있는 세계 3대 컴퓨터 비전 컨퍼런스 중 하나입니다.

기존의 시각적 모델 제작 프로세스는 일반적으로 단일 작업을 사용하고 처음부터 학습을 시작하며 각 작업은 서로 학습할 수 없습니다. 제한된 단일 작업 데이터로 인해 모델의 실제 효과는 작업 데이터 분포에 너무 의존하며 다양한 시나리오에 대한 일반화 효과는 일반적으로 좋지 않습니다.

최근 빅데이터 사전 학습 기술은 대량의 데이터를 활용하여 일반 지식을 학습하고 이를 하위 작업으로 전달함으로써 본질적으로 서로 다른 작업 간의 상호 학습을 달성합니다. 대용량 데이터를 기반으로 사전 학습된 모델은 지식 완성도가 뛰어나며 다운스트림 작업에서 미세 조정을 위해 적은 양의 데이터를 사용하더라도 여전히 좋은 결과를 얻을 수 있습니다. 그러나 사전 훈련 + 다운스트림 작업 미세 조정을 기반으로 하는 모델 제작 과정에서는 작업별로 모델을 별도로 훈련해야 하므로 연구 개발에 많은 자원이 소모됩니다. 이와 대조적으로 다중 작업 훈련 방식은 다중 작업의 데이터를 사용하여 강력한 일반 모델을 훈련하며, 이를 직접 적용하여 다중 작업을 처리함으로써 모델 생산성과 일반화 능력을 효과적으로 향상시킬 수 있습니다.

이 대회에서 참가자는 단일 모델을 사용하여 교통 현장의 분류, 감지 및 세분화라는 세 가지 대표적인 작업에 대한 공동 훈련을 동시에 완료해야 합니다. Tianyi Cloud AI 팀은 모델 설계 시 알고리즘 개발에 대한 풍부한 경험을 바탕으로 2위의 매개변수가 60%에 불과한 사전 훈련된 모델을 선택하여 더 적은 매개변수로 더 높은 정확도를 달성했습니다.

다중 작업 훈련에서 각 분기의 일관되지 않은 손실 함수와 기울기로 인해 발생하는 느린 수렴 문제를 해결하기 위해 Tianyi Cloud AI 팀은 손실 균형 및 기울기 스케일 통합 방법을 채택하여 각 작업 분기의 손실 함수 균형을 맞췄습니다. 그래디언트의 규모가 일관되게 유지되도록 하여 모델의 훈련 효율성과 수렴 속도를 향상시킵니다. 또한 Tianyi Cloud AI 팀은 세심하게 설계된 작업별 기능 피라미드와 주의 메커니즘을 사용하여 각 지점 작업이 자체 작업에 더 효과적인 백본 네트워크의 기능을 활용할 수 있도록 하여 전반적인 정확성과 성능을 더욱 향상시킵니다. 모델.

위의 모델 설계 및 훈련 전략을 통해 Tianyi Cloud AI 팀은 경쟁에서 탁월한 결과를 얻었으며 이미지, 오디오 및 다중 양식 분야에서 심층적인 축적과 지속적인 혁신 역량을 충분히 입증했습니다. 앞으로도 Tianyi Cloud는 광대한 인공 지능 분야에서 계속해서 혁신과 탐구를 이어갈 것이며, 더욱 발전된 기술과 탁월한 결과로 더 많은 사용자에게 혜택을 제공하고 수천 개 산업의 디지털 발전을 지원할 것입니다.

위 내용은 Tianyi Cloud가 국제 AI 서밋 대형 모델 챌린지에서 우승을 차지했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!