기사 소개:Google이 ViT(Vision Transformer)를 제안한 이후 ViT는 점차 많은 비전 작업의 기본 백본이 되었습니다. ViT 구조를 통해 이미지 분류, 분할, 감지, 인식 등을 포함한 많은 시각적 작업에 대한 SoTA가 더욱 향상되었습니다. 그러나 ViT 교육은 쉽지 않습니다. 더 복잡한 훈련 기술이 필요할 뿐만 아니라 모델 훈련에 필요한 계산량이 이전 CNN보다 훨씬 더 많은 경우가 많습니다. 최근 싱가포르 Sea AI LAB(SAIL) 연구팀과 북경대학교 ZERO Lab 연구팀은 절반의 계산량으로 ViT 훈련을 완료할 수 있는 새로운 심층 모델 최적화 프로그램 Adan을 공동 제안했습니다. 논문 링크: https://