NUS と Byte は業界を超えて協力し、モデルの最適化を通じて 72 倍高速なトレーニングを実現し、AAAI2023 の優秀論文を受賞しました。

最近、人工知能のトップ国際会議 AAAI 2023 が選考結果を発表しました。シンガポール国立大学 (NUS) と ByteDance 機械学習チーム (AML) が共同で作成した CowClip 技術論文が優秀論文の最終候補に選ばれました。 CowClip は、モデルの精度を確保しながら、単一の GPU でモデル トレーニングの速度を 72 倍向上させることができるモデル トレーニングの最適化戦略であり、関連するコードは現在オープンソースです。

論文アドレス: https://arxiv.org/abs/ 2204.06240

オープンソース アドレス: https://github.com/bytedance/LargeBatchCTR

AAAI は、国際人工知能推進協会が主催する年次会議で、人工知能の分野で最も古いトップ学術会議の 1 つです。 AAAI 2023 には合計 8,777 件の論文投稿があり、そのうち 1,721 件の論文が採択され、採択率は 19.6% でした。オックスフォード大学コンピュータサイエンス学部が会議の最高賞（優秀論文賞）を受賞し、北京大学などとの共同論文が優秀学生論文賞を受賞した。さらに、カンファレンスでは、モデルトレーニング戦略の最適化、グラフニューラルネットワークの最適化、ニューラルアーキテクチャの探索などの複数の方向をカバーする12の優秀論文も選出されました。

#モデルのトレーニング速度を向上させる方法は、機械学習の分野における永遠のテーマです。 2018 年に Google が最初の事前トレーニング済み大規模モデル BERT を提案して以来、大規模モデルのトレーニングは徐々に深層学習の分野でのトレンドと傾向になりました。ただし、モデルのサイズが大きくなるということは、完全なトレーニングに多くの時間と計算コストがかかることも意味します。 Google が以前に公開した情報によると、110 億パラメータの T5 (2019 年に Google が発表した事前トレーニング済みモデル) バリアントをトレーニングする場合、単一のランニングコストは 130 万米ドルを超えます。

優秀論文に選ばれたCowClipモデルトレーニング最適化戦略は、より大きなバッチサイズ（バッチサイズ）のモデル精度を確保することで、より十分なGPUパフォーマンスを実現できます。訓練速度を上げるという目的を達成するために発掘します。実験によると、CowClip を使用してトレーニングされたモデルは他の方法よりも精度が高いだけでなく、トレーニング速度も大幅に向上しました。単一の GPU で Deep FM モデルをトレーニングすると、次のデータに基づいてトレーニング時間を 12 時間から 10 分に短縮できます。公開データセットを使用すると、モデルのトレーニング速度が一度に 72 倍に向上します。

効率的なコンピューティングと、より正確な分析および意思決定機能を備えた人工知能テクノロジーは、医療、金融、製造、教育などでますます使用されています。電子商取引やその他の分野、モデルトレーニングの精度と効率は、引き続き人工知能産業の発展に影響を与える重要な要素となるでしょう。

レポートによると、Bytedance Machine Learning Team (AML) は、同社の一部のビジネスに CowClip のコア テクノロジーを導入しました。このチームは、Toutiao、Douyin、Xigua Video などの製品の推奨、広告、検索などのビジネス シナリオ向けの大規模なトレーニング システムや推論システムなど、機械学習のミドルエンド サービスを会社に提供しており、シンプルで簡単なサービスを提供しています。 -Volcano Engine を通じた企業顧客への使いやすいサービス、使いやすく、安定性と信頼性の高い機械学習プラットフォーム。

以上がNUS と Byte は業界を超えて協力し、モデルの最適化を通じて 72 倍高速なトレーニングを実現し、AAAI2023 の優秀論文を受賞しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。