訓練ViT和MAE減少一半計算量! Sea和北大聯合提出高效優化器Adan,深度模型都能用
文章簡介:自從Google提出Vision Transformer(ViT)以來,ViT漸漸成為許多視覺任務的預設backbone。憑藉著ViT結構,許多視覺任務的SoTA都得到了進一步提升,包括影像分類、分割、偵測、辨識等。然而,訓練ViT並非易事。除了需要較複雜的訓練技巧,模型訓練的計算量往往也比之前的CNN大很多。近日,新加坡Sea AI LAB (SAIL) 和北大ZERO Lab的研究團隊共同提出新的深度模型優化器Adan,該優化器可以只用一半的計算量就能完成ViT的訓練。論文連結:https:/
2023-04-11
評論 0
1158