圧倒的な大型モデルの出現を経て、コンピュータサイエンスはついに「自然科学」となった

現在の人工知能（AI）は素晴らしい時代になっていて、驚くべき暗黙知が頻繁に登場しています（ポランニーの復讐と人工知能の新たなロマンと暗黙知） 知識、https:// bit.ly/3qYrAOY)、しかし、将来的にはコンピューターがこのタスクを長期間にわたって完了できないことは確かです。最近発表された興味深い研究は、大規模なネットワーク規模のマルチモーダル コーパスとトレーニング用の数十億のパラメータに基づく、Transformer アーキテクチャに基づく大規模な学習システムに関するものです。典型的な例としては、任意のテキスト プロンプトに応答する大規模な言語モデル、GPT3 および PALM、テキストを画像に変換する言語/画像モデル DALL-E および Imagen (GATO のような一般的な動作を持つモデルも) があります。

大規模学習モデルの出現により、人工知能研究の性質が根本的に変わりました。最近、研究者らが DALL-E を使用したとき、DALL-E は独自の言語を開発したようであり、人間がそれを使いこなすことができれば、DALL-E とより適切に対話できるようになるかもしれないと考えました。一部の研究者は、プロンプトに特定の魔法の呪文 (「段階的に考えてみましょう」など) を追加することで、推論問題における GPT3 のパフォーマンスを向上できることを発見しました。現在、GPT3 や DALL-E のような大規模な学習モデルは「外来種」のようなものであり、その動作を解読する必要があります。

これは間違いなく、人工知能にとって奇妙な転換点です。人工知能はその出現以来、工学 (特定の機能を持つシステム) と科学 (自然現象の法則の発見) の間の「無人地帯」でした。 AI の科学的部分は、人間の知性の性質についての洞察である当初の主張に由来していますが、工学的部分は、人間の知性についての洞察ではなく、インテリジェントな機能 (コンピューターが知的な動作を示すことを可能にする) に焦点を当てたことに由来しています。

現在の状況は急速に変化しており、特に人工知能が大規模学習モデルの代名詞になりつつあります。現状では、トレーニングされたモデルが特定の機能をどのように持つか、あるいはモデルが持つ可能性のある他の機能 (PALM のいわゆる「ジョークを説明する」機能など) についても、誰も何も知りません。多くの場合、その作成者でさえ、これらのシステムで何ができるのかわかりません。これらのシステムを調査してその「機能」範囲を理解することが、人工知能研究の最近のトレンドになっています。

人工知能の一部がエンジニアリングのルーツから逸脱していることがますます明らかになってきています。今日では、大規模な学習システムを、従来の意味での特定の目標を持ったエンジニアリング設計として考えることは困難です。結局のところ、自分の子供が「デザインされている」とは言えません。工学分野では通常、設計したシステムの予期せぬ新特性を祝うことはありません（土木技術者がカテゴリー 5 のハリケーンに耐えるように設計した橋が浮遊することが判明したときに興奮して祝わないのと同じです）。

これらの大規模で訓練された (ただし設計されていない) システムの研究が自然科学になる運命にあるという証拠が増えています: システムの機能の観察、アブレーション研究の実施、ベスト プラクティスの定性分析の実施。

現在、中身ではなく外観が研究されているという事実を考慮すると、これは、実際の証拠なしに「解明」しようとする生物学における野心的な目標に似ています。機械学習は、システムがそのように設計されたことを証明することよりも、システムがその動作を行う理由（大規模な学習システムの「MRI」研究を行うことを考えてください）に焦点を当てた研究活動です。これらの研究から得られた知識は、(医学と同様に) システムを微調整する能力を向上させることができます。もちろん、表面設定の研究により、内部設定よりもターゲットを絞った介入が可能になります。

人工知能がほぼすべてのコンピューティング分野に大きな影響を与えることを考えると、人工知能は自然科学となり、コンピューターサイエンス全体にも影響を与えるでしょう。コンピューターサイエンスの「サイエンス」という言葉も疑問視され、嘲笑されてきました。しかし、人工知能が大規模な人工学習システムを研究する自然科学になったため、それは変わりました。もちろん、コンピュータ サイエンスは長い間「構築による修正」の聖杯であったため、この移行には多くの抵抗や意見があるかもしれません。コンピュータ サイエンスは最初から、インセンティブに満ちたシステムの中で生きているのと同等でした。それは人間と同じように、よく訓練された犬のように正しいです。

2003 年に遡り、チューリング賞受賞者のレスリー ランポートは、コンピューティングの未来が論理ではなく生物学になる可能性について警鐘を鳴らし、コンピューター サイエンスによって私たちはホメオパシーと信仰治癒の世界に住めるようになるだろうと述べました。当時、彼の不安は主に、今日のより神秘的な大規模学習モデルではなく、人間によってプログラムされた複雑なソフトウェア システムについてでした。

意図的な設計と「構築による正確さ」に主に関係する分野から、既存の (設計されていない) 成果物を探索または理解しようとする分野に移行する場合、それがもたらす方法論の変化については、検討する価値があります。生物学における野生生物の研究とは異なり、人工知能は人間が作った「デザインセンス」のない人工物を研究するものであり、理解されていない人工物を作成・導入する場合には倫理的な問題が必ず生じます。大規模な学習モデルは、精度、透明性、公平性のいずれに関しても、証明可能な機能をサポートすることが保証される可能性は高くありませんが、これらはこれらのシステムを展開および実践する上で重要な問題です。人間もまた、自分自身の決定や行動の正しさに関する証拠を提供することはできませんが、人間を罰金、戒告、さらには懲役などの刑罰にさらすための法制度は存在します。大規模な学習システムの場合、同等のシステムは何ですか?

計算研究の美学も変化するでしょう。現在の研究者は、論文に定理や定義が含まれる割合によって論文を評価できます。しかし、コンピュータ サイエンスの目標が生物学などの自然科学の目標にますます似てくるにつれて、新しい計算上の美的方法論を開発する必要があります (ゼロ定理はゼロ定義比とそれほど変わらないため)。計算複雑さの分析が AI 研究において後回しになっている兆候があります。

以上が圧倒的な大型モデルの出現を経て、コンピュータサイエンスはついに「自然科学」となったの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。