最も影響力のある AI 研究を発表したのは誰ですか? Google ははるかに先を行っており、OpenAI の成果コンバージョン率は DeepMind を上回っています

最も影響力のある AI 研究を発表しているのは誰ですか? 「百花咲かせ」の時代において、この問題は大きな可能性を秘めています。

あなたは、Google、Microsoft、OpenAI、DeepMind などのトップ機関の結論をいくつか推測したかもしれません。このような結論は半分しか正しくありません。他にもいくつかの情報があります。そうでなければ知られていなかった結論。

AI イノベーションの急速な発展に伴い、できるだけ早く何らかの「知性」を取得することが重要です。結局のところ、すべてを読む時間がある人はほとんどいませんが、確かなことは、この記事にまとめられた論文には人工知能技術の方向性を変える可能性があるということです。

R&D チームの影響力を実際に試すのは、もちろん、そのテクノロジーが製品にどのように実装されるかです。OpenAI は 2022 年 11 月末に ChatGPT をリリースし、この分野全体に衝撃を与えました。は 2022 年以降です。 3 月の論文「人間のフィードバックで指示に従う言語モデルのトレーニング」 (人間のフィードバックで指示に従う言語モデルのトレーニング) に続く、もう 1 つの画期的な進歩です。

製品がこれほど早く発売されることはまれです。したがって、より多くの情報を洞察するために、ゼータ アルファの統計では最近、古典的な学術指標である 引用数 が採用されました。

2022、2021、2020 年に最も引用された論文 100 件を詳細に分析することで、現在最も影響力のある AI 研究/分野を発表している機関や国についての洞察が得られます。暫定的な結論としては、米国と Google が依然として優勢であり、DeepMind も素晴らしい年でしたが、成果を考慮すると、OpenAI は製品への影響と研究の点で真の最前線にあり、迅速かつ広く採用できる可能性があります。

# 出典: ゼータ アルファ。

上の図に示すように、もう 1 つの重要な結論は、中国は研究引用の影響力の点で第 2 位にランクされているものの、米国と比較するとまだ差があるということです。多くのレポートでは「同等、あるいはそれを上回っている」と表現されています。

Zeta Alpha プラットフォームからのデータを使用し、手動キュレーションと組み合わせて、この記事では、2022 年、2021 年、2020 年に人工知能の分野で最も引用された論文を収集し、分析します。著者の機関および国/地域。これにより、純粋な出版データではなく、研究開発への影響によってこれらの論文をランク付けすることができます。

分析を作成するために、まず Zeta Alpha プラットフォームで年間最も引用された論文を収集し、次に論文が掲載されるように最初の出版日 (通常は arXiv プレプリント) を手動でチェックしました。正しい年に。その後、このリストは、より広範囲の範囲をカバーし、引用数で並べ替える機能を備えた Semantic Sc​​holar で引用度の高い AI 論文をマイニングすることで補完されました。これにより主に、Nature、Elsevier、Springer、その他のジャーナルなど、影響力の大きい外部出版社の論文が明らかになりました。次に、Google Scholar での各論文の引用数を代表的な指標として使用し、この数字に従って論文を並べ替えて、その年のトップ 100 に到達しました。これらの論文については、GPT-3 を使用して著者、所属、国を抽出し、これらの結果を手動でチェックしました (出版物内で国が明らかでない場合は、組織の本部がある国が使用されました)。論文に複数の機関の著者がいる場合、各機関は 1 回としてカウントされます。

このランキングを読んだ後、ボスのヤン・ルカン氏は非常に満足したと述べました。「メタ AI では、量よりも質を発表する傾向があります。これが、このランキングが 2022 年のランキングで引用された理由です。」人工知能に関する論文トップ 100 のうち、メタ AI が執筆（または共著）した論文は 16 件で、Google の 22 件に次いで 2 位にランクされており、私たちの研究は社会に多大な影響を与えています（さらに、ニューヨーク大学のランキングも非常に優れています） ."

それでは、今話したトップ論文とは何でしょうか?

数字の詳細に入る前に、過去 3 年間のトップ論文を見てみましょう。そのうちいくつかはご存知かと思います。

2022 Hot Papers

1. AlphaFold タンパク質構造データベース: 高精度モデルによりタンパク質配列空間の構造範囲を大幅に拡大

• 論文リンク: https://academic.oup.com/nar/article/50/D1/D439/6430488
#機関: DeepMind
引用数: 1372
• ##トピック: AlphaFold を使用してタンパク質構造データベースの適用範囲を拡大。

• 引用数: 1162
• トピック: オープンソースの効率的なタンパク質折りたたみモデル。

• 機関: OpenAI
• 引用数: 718
• トピック: DALL・E 2、最も畏敬の念を抱いた複雑なプロンプト画像生成
##4、2020 年代の ConvNet

##論文リンク: https://arxiv.org/abs/2201.03545

• 機関: Meta、カリフォルニア大学バークレー校
#引用数: 690
トピック: コンピューター ビジョンにおけるトランスフォーマーのブーム時に成功した CNN の最新化
• 5. PaLM: パスウェイを使用した言語モデリングのスケーリング

論文リンク: https://arxiv .org/abs/2204.02311

機関: Google
引用数: 452
トピック: Google の巨大な 540B 大規模言語モデル、新しい MLOps インフラストラクチャ、およびそのパフォーマンス
2021 年のホット ペーパー
1、「非常に高い評価」 AlphaFold による正確なタンパク質構造予測》

論文リンク: https://www.nature.com/articles/s41586-021-03819-2

機関: DeepMind
引用数: 8965
トピック: AlphaFold、タンパク質の画期的な進歩Deep Learning を利用した構造予測
• 2、《Swin Transformer: Shifted Windows を使用した階層型ビジョン Transformer》

論文リンク: https://arxiv.org/abs/2103.14030

• 機関: Microsoft
• 引用数: 4810
#トピック: Transformers for Vision の堅牢なバリアント
• ##3、《自然言語監視からの転送可能なビジュアル モデルの学習》

紙のリンク: https://arxiv.org/abs/2103.00020

機関: OpenAI
引用数: 3204
トピック: CLIP、画像とテキストのペアを大規模に学習し、画像とテキストの結合表現を自己教師付きで学習する
• 4、《確率的オウムの危険性について: 言語モデルは大きすぎる可能性がありますか?》

• 論文リンク: https://dl.acm.org/doi/10.1145/3442188.3445922
• 機関: U. Washington、Black in AI、The Aether
• 引用数: 1266
• トピック: 成長を続ける言語モデルの傾向を非常に批判し、その限界を強調した有名な意見書と危険

#5、《自己監視型ビジョントランスフォーマーの新たな特性》

• 論文リンク: https://arxiv.org/pdf/2104.14294.pdf
• 機関: Meta
• 引用数: 1219
• トピック: DINO、画像の自己監視がトランスフォーマーにおけるある種のプロトオブジェクト セグメンテーションの出現にどのようにつながったかを示す

#のホットペーパー2020

1.「画像は 16x16 ワードに相当します: 大規模な画像認識のためのトランスフォーマー」

• 論文リンク: https://arxiv.org/abs/2010.11929
• 機関: Google
• 引用: 11914
• トピック: 単純な Transformer がコンピューター ビジョンでどのように優れた効果を発揮できるかを示す最初の研究

2、《言語モデルは少数の学習者である》

• 紙のリンク: https://arxiv.org/abs/2005.14165
• 機関: OpenAI
• 引用数: 8070
• トピック: この論文については、現段階ではこれ以上の説明は必要ありません

3.「YOLOv4: 物体検出の最適な速度と精度」

• 論文リンク: https://arxiv.org /abs /2004.10934
• 機関: 中央研究院、台湾
• 引用数: 8014
• トピック: 堅牢で高速な物体検出は飛ぶように売れています

4、《統合されたテキストからテキストへの変換器による転移学習の限界の探求》

• 紙のリンク: https://arxiv.org/abs/1910.10683
• 機関: Google
• 引用数: 5906
• トピック: Transformers を使用した転移学習の厳密な研究。結果として有名な T5

5. 「自分自身の潜在力をブートストラップする: 自己教師あり学習への新しいアプローチ」

• 論文リンク: https: //arxiv.org/abs/2006.07733
• 機関: DeepMind、インペリアル カレッジ
• 引用数: 2873
• トピック: 否定表現は表現学習には必要ないことを示す

主要機関ランキング

いくつかの結果を見てみましょうトップ 100 に入る有力な機関 有名論文の数の順位:

Google は常に最強のプレーヤーであり、次に続くのはMeta、Microsoft、UC Berkeley、DeepMind、Stanford による。現在、AI 研究では産業界が主導権を握っており、単一の学術機関が与える影響はそれほど大きくありませんが、これらの機関の尾部ははるかに長いため、組織タイプごとに集計するとバランスが取れます。

研究総量に関しては、過去 3 年間で Google が 1 位、清華大学、カーネギーメロン大学、MIT、スタンフォード大学などが上位にランクインし、Microsoft は 3 位にランクされました。全体として、業界ではテクノロジー企業よりも学術機関の方が多くの研究を行っており、テクノロジー大手の 2 社である Google と Microsoft も過去 3 年間に多数の研究を発表しています。

実際、Google の科学研究における強みは常に非常に強力です。 2017 年に Google は、Transformer の出現を示す論文「Attending Is All You Need」を発表しました。今日に至るまで、トランスフォーマーは、ChatGPT を含むほとんどの NLP および CV モデルのアーキテクチャ基盤となっています。

先月、Bard の釈放に際し、Google CEO のサンダー ピチャイも公開書簡で次のように述べました。「Google AI と DeepMind は、最先端のテクノロジーの開発を促進します。 Transformer 研究プロジェクトと 2017 年のフィールド ペーパーは、拡散モデルにおける重要な進歩とともに、現在の多くの生成 AI アプリケーションの基礎となっています。」

もちろん、新しく推進された OpenAI としてストリーミング ChatGPT を運営する企業である同社は、過去 3 年間の調査結果のコンバージョン率において絶対的な優位性を持っています。近年、OpenAI の研究成果の多くは、特に大規模言語モデルにおいて大きな注目を集めています。

#2020 年、OpenAI は、1,750 億個のパラメータを持つ大規模言語モデルである GPT-3 をリリースしました。大規模な言語モデリングにおける多くの困難な問題を解決するため、言語モデリングの分野でゲームチェンジャーとなります。 GPT-3 は大規模言語モデルの流行を引き起こしました。ここ数年、言語モデルのパラメーター スケールは破られ続けており、人々は大規模な言語モデルのさらなる可能性を模索してきました。

2022 年末、ChatGPT が誕生し、テキスト生成と AI 対話システムが大きな注目を集めました。特に、ChatGPT は、知識ベースのコンテンツの生成とコードの生成において非常に高い機能を実証しています。 Google と Microsoft が相次いで ChatGPT と同様の機能を次世代検索エンジンに統合することを発表したため、ChatGPT は AIGC とインテリジェント ツールの新たな革命をリードすると考えられています。

最後に、2022 年に最も引用された論文 100 件を見てみましょう:

以上が最も影響力のある AI 研究を発表したのは誰ですか? Google ははるかに先を行っており、OpenAI の成果コンバージョン率は DeepMind を上回っていますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。