7月の最も人気のあるAI研究リストが発表、馬毅氏の最新「標準モデル」が9位にランクイン

7月に最も人気のあるAI研究のリストが発表されました!

Reddit ネチズン @bycloudai がまとめたこのリストは、Twitter のいいね数、リツイート、DeepMind、Google、MIT CSAIL などの有名機関を含む Github スターに基づいて、2022 年 7 月の AI 研究トップ 10 にランク付けされています。

誰がリストに載っているのか見てみましょう~

TOP1: トランスフォーマーの形式アルゴリズム

著者: Mary Phuong、Marcus Hutter

機関: DeepMind

要約: この文書は、Transformer のアーキテクチャとアルゴリズムの独立した数学的に正確な概要を目的としています。 Transformer とは何か、そのトレーニング方法、その使用方法、主要なアーキテクチャ コンポーネント、および最も著名なモデルのプレビューについて説明します。

トップ 2: 自信に満ちた適応言語モデリング

著者: Tal Schuster、Adam Fisch、Jai Gupta、Mostafa Dehghani、Dara Bahri、Vinh Q Tran、Yi Tay、Donald Metzler

機関: Google、MIT CSAIL

要約: Transformer ベースの大規模言語モデル (LLM) の最近の進歩により、多くのタスクのパフォーマンスが大幅に向上しました。ただし、パフォーマンスが向上する一方で、モデルのサイズも大幅に増加するため、推論プロセスが複雑になり、コストが増加する可能性があります。ただし、実際には、大規模な言語モデルでは、さまざまな難易度からなる一連の反復が生成されます。

この研究では、さまざまな量のコンピューター入力と生成期間を動的に割り当てるためのフレームワークである Confident Adaptive Language Model-ing (CALM) を紹介します。

早期終了デコードには、ここで扱ういくつかの問題が含まれます: (1) どのような信頼性尺度を使用するか、(2) シーケンス レベルの制約をローカル トークンの終了決定にリンクする、(3) 失われた隠蔽表現のバックトラック前のトークンが早期に終了したため。 3 つの異なるテキスト生成タスクに関する理論分析と実験を通じて、計算量の削減におけるフレームワークの有効性を実証し、高いパフォーマンスを維持しながら最大 3 倍まで高速化できる可能性があります。

トップ 3: 言語モデルは (ほとんど) 知っていることを知っています

著者: Saurav Kadavath、Tom Conerly、Amanda Askell、Tom Henighan など

組織: Anthropic

要約: この論文では、言語モデルが自身の主張の妥当性を評価し、どの質問に正しく答えることができるかを予測できるかどうかを調査します。まず、より大きなモデルが正しい形式で提供されると、さまざまな多肢選択式質問や正誤問題に対して適切に調整されることを示します。したがって、モデルに最初に答えを提案してから、その答えが正しい確率 P(True) を評価するように依頼することで、オープン サンプリング タスクを自己評価できます。

P(True) は、そのパフォーマンス、キャリブレーション、さまざまなタスクにわたるスケーリングにおいて魅力的であると考えています。特定の可能性の妥当性を予測する前に、モデルが独自のサンプルの多くを考慮できるようにすると、自己評価のパフォーマンスがさらに向上します。次に、特定の提案された答えを参照せずに、「質問に対する答えを知っている」確率である P(IK) を予測するモデルをトレーニングできるかどうかを調査します。

トップ 4：YOLOv7: トレーニング可能な景品の袋がリアルタイム物体検出器の新しい最先端を確立

著者: Chien-Yao Wang、Alexey Bochkovskiy、Hong-Yuan Mark Liao

機関: 中央研究院情報科学研究所

トップ 5: 言語モデル カスケード

著者: David Dohan、Winnie Xu、 Aitor Lewkowycz 他

機関: Google

トップ 6: アニメキャラクター シートを使用した協調ニューラル レンダリング

著者: Zuzeng Lin、Ailin Huang、 Zhewei Huang 他

機関: 武漢大学、Megvii Technology

トップ 7: ニューラル ネットワークとチョムスキー階層

著者: Grégoire Delétang 、アニアン・ルオス、ジョルディ・グラウ＝モヤ、ティム・ジェネヴァインなど

機関: DeepMind

Top8: ピクセルによる言語モデリング

著者: Phillip Rust、Jonas F. Lotz、Emanuele Bugliarello、 etc.

機関: コペンハーゲン大学、ジョンズ・ホプキンス大学、ウプサラ大学

Top9: 知性の出現のための倹約と自己一貫性の原則について

著者: Ma Yi、Cao Ying、Shen Xiangyang

機関: カリフォルニア大学バークレー校、広東-香港-マカオ大湾区デジタル経済研究所

この論文は、Ma Yi 教授、コンピューター科学者の Shen Xiangyang 博士、神経科学者の Cao Ying 教授によって発表された人工知能の出現と発展に関する研究レビューであり、開発の概要とも言えます。過去 70 年間の AI の進歩を表しています。

トップ 10: スケーリングの法則とモデル アーキテクチャ: 帰納的バイアスはスケーリングにどのような影響を与えるか

著者: Yi Tay、Mostafa Dehghani、Samira Abnar

機関: Google、DeepMind

トップ 10 の専門家の論文を読んだ後、このリストの興味深い詳細について話しましょう。

誰もが知っているように、Twitter の「いいね」はロボットによって生成される可能性がありますが、著者が「いいね」の数をリストの重要な指標として使用していることには、確かに疑問の余地があります。

また、以前大好評だった「無限ビジュアル生成モデル NUWA-Infinity」はTwitterのいいね数では12位にとどまりましたが、Githubのスター数では2.4kを超えました。

NUWA Infinity は 2021 年 11 月に最初のバージョンをリリースしているため、このリストではそれ以降の 2 番目のバージョンの「いいね！」の数のみがカウントされているため、ランキングは 12 位にすぎません。

以上が7月の最も人気のあるAI研究リストが発表、馬毅氏の最新「標準モデル」が9位にランクインの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。