2023 年が近づいています。ン エンダ、ベンジオ、その他のビッグマンの年間展望です。合理的な AI モデルは登場するのでしょうか?

あと3日もしないうちに2022年が過ぎます。

古いものに別れを告げ、新しいものを歓迎する機会に、Ng Enda、Bengio、その他の AI の大物たちが DeepLearning.ai に集まり、2023 年を楽しみにしています。自分の目。

DeepLearning.ai の創設者として、Andrew Ng 氏は最初に歓迎のスピーチを行い、最初に研究を始め、この多大な準備を整えた頃のことを思い出しました。ファセット 議論は大物も参加して順調なスタートを切りました。

親愛なる友人の皆様:

新年を迎えるにあたり、次のことを考えてみましょう。 2023 年は、単一の孤立した年ではなく、私たちが長期目標を達成する将来の数年の最初の年です。一部の結果は達成するまでに長い時間がかかりますが、単に 1 つのマイルストーンから次のマイルストーンに進むのではなく、道筋を思い描くことで、より効果的に達成できます。

#私は若い頃、短期的な行動と長期的な結果の間に具体的なつながりがほとんどありませんでした。私は常に次の目標、プロジェクト、または研究論文に焦点を当て、10 年後の漠然とした目標はあるものの、そこに到達するための明確な道筋はないと言いました。

10 年前、私は初めての機械学習コースを 1 週間で構築しました (撮影は午前 2 時になることが多かった)。今年は、機械学習専攻のコース内容を更新し、コース全体をより適切に計画しました (ただし、一部のショットはまだ午前 2 時に撮影されていますが、その数は減りました!)。

#以前のビジネスでは、製品を構築してから、それを顧客に届ける方法を考える傾向がありました。最近では、初期段階であっても、クライアントのニーズをより考慮するようになりました。

#友人や指導者からのフィードバックは、ビジョンを形作るのに役立ちます。私の成長における大きな一歩は、特定の専門家や指導者のアドバイスを信頼することを学び、それを理解しようとしたことでした。たとえば、私には世界的な地政学の専門家である友人がいますが、彼らは私に特定の国にもっと投資するようアドバイスすることがあります。

#これらの国についてはあまり詳しくないので、私自身はこの結論を出すことができません。しかし、私は自分の長期計画を説明し、フィードバックを求め、彼らが私に別の方向を示したときに注意深く耳を傾けることを学びました。

# さて、私の最大の目標の 1 つは、AI イノベーションを民主化することです。より多くの人がカスタマイズされた人工知能システムを構築し、その恩恵を受けることができるようにします。この目標に至るまでの道のりは長くて困難でしたが、そこに到達するためのステップが見え、友人や指導者のアドバイスが私の考え方を大きく形作りました。

# 2023 年が近づいてきましたが、どのくらい先のことを計画できますか?トピックに関する専門知識を獲得したいですか、キャリアを向上させたいですか、または技術的な問題を解決したいですか?パスの仮定を (テストされていないものでも) 立てて、テストして改良するためのフィードバックを求めますか?

#2023 年に向けて夢を持ってください。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃あけましておめでとう！

#Andrew Ng

Yoshua Bengio: 合理的な AI モデルを探しています

#

これまでのディープラーニングの進歩は、最新のアーキテクチャの採用、ハードウェアの改良、コンピューティング能力、データ、規模の拡大など、「多大な労力をかけて奇跡を起こす」ことが主でした。必要なアーキテクチャはすでにあり、あとは拡張を続けるためにより優れたハードウェアとデータ セットを開発するだけなのでしょうか?今何か足りないものはありますか？

#私はそれが欠けていると思います、そして来年にはこれらの欠けているものを見つけたいと思っています。

#私は神経科学者や認知神経科学者と協力して、最先端のシステムと人間との間のギャップを研究してきました。単にモデルのサイズを大きくするだけでは、このギャップは埋まりません。むしろ、上位の概念とそれらの関係を発見し推論する人間のような能力を現在のモデルに組み込むことで、ギャップがさらに広がる可能性があります。

# 「サンプルの複雑さ」と呼ばれる、新しいタスクを学習するために必要なサンプルの数を考慮してください。新しいビデオ ゲームをプレイするために深層学習モデルをトレーニングするには、人間が非常に早く学習できる多くのゲームプレイが必要です。しかし、コンピュータは A から B までの効率的なルートを計画するために無数の可能性を考慮する必要があります。人間にはそれは必要ありません。

人間は、適切な知識の断片を選択し、それらの断片を組み合わせて関連する説明、回答、または計画のセットを作成できます。さらに、一連の変数が与えられた場合、人間はどれが原因でどれが結果であるかを判断するのが非常に得意です。現在の人工知能技術は、この能力において人間のレベルには及びません。

通常、AI システムは、たとえ実際には間違っていたとしても、生成した答えや解決策の正しさに強い自信を持っています。この問題は、テキスト ジェネレーターやチャットボットなどのアプリケーションでは笑い話になるかもしれませんが、自動運転車や医療診断システムでは生命を脅かす可能性があります。

# 現在の AI システムは、そのように設計されているため、そのように動作します。たとえば、テキスト ジェネレータは、内部データ構造を構築したり、動作する概念やそれらの間の関係を説明したりするのではなく、次の単語を予測することのみを目的としてトレーニングされます。

#しかし、多くの利点を持つ現在の深層学習手法を活用しながら、物事の背後にある意味を追跡し、それについて推論できる AI システムを設計できると思います。 。これにより、過度のサンプルの複雑さから過信による不正確さに至るまでの課題に対処できます。

#紙のリンク: https://arxiv.org/pdf/2111.09266.pdf

私は、私たちのチームが 1 年前に始めたディープ ネットワークをトレーニングする新しい方法である「生成フロー ネットワーク」GFlowNets に非常に興味があります。このアイデアは、人間が一連のステップを推論し、各ステップで新しい関連情報を追加する方法からインスピレーションを得たものです。

#これは、モデルが問題を解決するためのポリシーを順番に学習するという点で強化学習に似ています。また、確率的推論に対応する解決策をサンプリングできるという点で、生成モデリングにも似ています。

#画像の解釈を考えると、その考えを文に変換できますが、それは文そのものではありません。代わりに、文内の概念に関する意味論的情報と関係情報が含まれています。一般に、この意味論的な内容はグラフとして表されます。各ノードは概念または変数です。

#これが唯一の解決策ではないと思いますので、さまざまなアプローチを期待しています。多様な探索を通じて、AI の分野に現在欠けているものを見つけ、現在の人間と人間レベルの AI の間のギャップを埋める可能性が高まります。

Yoshua Bengio は、モントリオール大学のコンピューターサイエンス教授であり、ミラ・ケベック人工知能研究所の科学ディレクターです。彼は、深層学習への画期的な貢献が評価され、ジェフリー・ヒントンおよびヤン・ルカンとともに 2018 年チューリング賞を受賞しました。

アロン・ハレヴィ: 個人データのタイムライン

##アロン・ハレヴィはイスラエル系アメリカ人のコンピューター科学者であり、データ統合分野の専門家です。彼は 2005 年から 2015 年まで Google で研究員を務め、Google Data Fusion Tables を担当しました。

彼は ACM のメンバーであり、2000 年に大統領賞 (PECASE) を受賞しています。彼はテクノロジー企業 Nimble Technology (現 Actuate Corporation) と Transformic Inc. の創設者でもあります。

2023 年の見通しにおいて、ハレヴィ氏は個人データのタイムラインの構築に重点を置いています。

#企業や組織はユーザー データをどのように使用しますか?この重要な問題は、技術界と政策界の両方で広く注目を集めています。

2023 年、より注目に値する同様に重要な問題があります。それは、健康を改善し、活力を高めるために、生成されたデータを個人としてどのように使用できるかです。そして生産性は？

#私たちは毎日あらゆる種類のデータを生成しています。写真は私たちの人生経験を記録し、携帯電話はトレーニングや場所を記録し、インターネットサービスは私たちが消費したものや購入したものを記録します。

行きたい旅行や食べてみたいレストラン、楽しみたい本や映画、やりたい社会活動など、さまざまな願いも記録します。持っている。 。

# 間もなく、スマートグラスが私たちの体験をより詳細に記録するようになるでしょう。ただし、このデータは多くのアプリケーションに分散しています。過去の経験をより適切に要約するには、毎日さまざまなアプリケーションから過去の記憶を整理する必要があります。

すべての情報を個人のタイムラインに統合して、目標、希望、夢に向かって進むことができたらどうなるでしょうか?実は、ずっと前にこのアイデアを持った人がいたのです。

1945 年という早い時期に、アメリカの科学者 Vannevar Bush は memex と呼ばれる製品を設計しました。 1990 年代、Gordon Bell と Microsoft Research の同僚は、個人の生活に関するすべての情報を保存できる MyLifeBits を構築しました。

#しかし、すべてのデータを 1 か所に保管する場合、プライバシーの保護と情報の悪用の防止が重要な問題となるのは明らかです。

#現在、当社のすべてのデータを所有している企業はなく、当社のデータをすべて保存する権限もありません。したがって、データ交換、暗号化されたストレージ、安全な処理のためのプロトコルなど、個人のタイムラインをサポートするテクノロジーを構築するには、協力的な取り組みが必要です。

#個人のタイムラインを確立するには、解決する必要のある技術的な課題が 2 つあります。

#最初の課題は、システムについて賢明な質問をすることです。テキストとマルチモーダル データに基づく質問応答は大幅に進歩しましたが、多くの場合、インテリジェントな質問応答では、一連の回答について明確に推論する必要があります。

これはデータベース システムの基礎です。たとえば、「東京でどのカフェを訪れましたか?」または「2 時間でハーフマラソンを何回走りましたか?」に答えるには、中間回答として検索コレクションが必要です。現時点では、このタスクを自然言語処理で完了することはできません。

データベースからさらにインスピレーションを引き出すには、システムは答えのソースを説明し、答えが正しく完全であるかどうかを判断できる必要もあります。

個人タイムライン構築における 2 番目の課題は、ユーザーの生活の質を向上させる個人データ軸分析テクノロジーをどのように開発するかです。

#ポジティブ心理学によれば、人は自分自身でポジティブな経験を作り、より良い発達のためのより良い習慣を身につけることができます。私たちの日常生活や目標にアクセスできる AI エージェントは、私たちが達成すべきことや避けるべきことを思い出させてくれます。

もちろん、何をするかは自分次第ですが、日々の活動を包括的に把握している人の方が記憶力が高いと思います。と計画スキル 人工知能はすべての人に大きな利益をもたらします。

#Douwe Kiela: 誇大宣伝を減らし、より慎重に

#Douwe Kiela は、スタンフォード大学の記号システムの非常勤教授。キーラはケンブリッジ大学で修士号と博士号を取得した後、IBM、マイクロソフト、Facebook AI の研究者として、また Hugging Face の研究ディレクターとして働いていました。

#新年の展望の中で、キーラ氏は人工知能システムの開発への願望を表明しました。

#今年は、人工知能が本格的に主流になり始める年です。 Stable Diffusion や ChatGPT などのシステムは、人々の想像力を完全に捉えています。

#今はエキサイティングな時代であり、私たちは何か素晴らしいことの瀬戸際にいます。この機能の変化は、以前と同じであると言っても過言ではありません。産業革命は破壊的な影響を及ぼします。

##しかし、興奮の最中でも、私たちは誇大宣伝に用心し、特に慎重になって、責任を持って研究開発を行う必要があります。

大規模な言語モデルの場合、これらのシステムが実際に「意味をなす」かどうかに関係なく、一般の人は、人間のパフォーマンスを発揮する能力があるため、それらを擬人化します。最も代表的なものは次のとおりです。言語を生み出すこと。

#しかし、一般の人々はコンピューターを昔ながらの記号プロセッサと考えているため、これらの人工知能システムの機能と限界について一般の人々を教育する必要があります。など、数学は得意だけど美術は苦手だったのに対し、現在は全く逆の状況です。

現代の AI には重大な欠陥があり、そのシステムは簡単に誤用されたり、意図的に悪用されたりする可能性があります。彼らは誤った情報を生み出すだけでなく、人々が自分たちの情報を信じていることに非常に自信を持っているようです。

これらの AI システムは、複雑で多面的な人間の世界を十分に理解しておらず、哲学者が「民族心理学」と呼ぶものや解釈を備えていません。他人の行動や精神状態を予測する。

現時点では、AI システムは依然として持続不可能なほどリソースを大量に消費する製品であり、入力トレーニング データと出力モデルの関係についてはほとんどわかっていません。

同時に、モデルのスケーリングによって効率が大幅に向上する可能性がありますが (たとえば、特定の機能はモデルが特定のサイズに達した場合にのみ表示されます)、このモデルがスケーリングするにつれてシステムが悪化する兆候もあります。偏見が生じやすく、さらに不公平です。

#したがって、2023 年の私の希望は、これらの問題を改善できることです。マルチモダリティ、ローカリゼーション、およびインタラクションに関する研究により、システムが現実世界と人間の行動をより深く理解できるようになり、ひいては人間への理解が深まる可能性があります。

アライメント、帰属、不確実性を研究することで、AI システムをより安全にし、幻覚を起こしにくくし、より正確な報酬モデルを構築できます。データ中心の AI は、データをより効果的に堅牢で公平なモデルに変換する、より効率的なスケーリング則を実証することを約束します。

# 論文リンク: https://arxiv.org/pdf/2007.14435.pdf

#最後に、私たちは現在進行中の人工知能の評価危機にもっと注意を払う必要があります。私たちは、私たちの進歩と限界を説明し、生態学的妥当性（AI システムの実世界の使用例など）の観点から私たちを理解できるようにするために、データとモデルをより詳細かつ包括的に測定する必要があります。人工知能の開発。

ビーン・キム: モデルを説明するために科学的研究を使用する

ビーンKim は Google Brain の科学者で、MIT を卒業しており、研究分野は対話型機械学習です。

AI がこの 1 年間に示した創造性と多くの成果に興奮する一方、彼女は AI の将来についての考えも述べました。リサーチ。

ジェネレーティブ アートやその他の多くのアプリケーションで成果が得られ、AI にとって刺激的な時代が到来しています。魅力的な進歩が見られます。

これらの方向性は刺激的ですが、私たちは、AI が何を作成できるか、より多くのものを作成できるか、またはどれだけ大きなモデルを作成できるかだけでなく、あまりめまぐるしい作業に従事する必要があると思います。

#基本に立ち返り、人工知能モデルの研究を科学的調査の目標にしましょう。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃あなたはなぜこれをやっているのですか？

解釈可能性の分野は、複雑なモデルの出力に対する説明を生成するツールを作成し、AI と人間の関係の探求に役立てることを目的としています。

#たとえば、あるツールは画像と分類モデルを取得し、重み付けされたピクセルの形式で説明を生成します。ピクセルの重みが大きいほど、その重要性は高くなります。たとえば、その値が出力に与える影響が大きいほど重要性が高くなりますが、重要性の定義方法はツールによって異なります。

#生成 AI はある程度の成功を収めていますが、多くのツールが私たちの予想外の方法で機能することが証明されています。

たとえば、トレーニングされていないモデルの説明は、トレーニングされたモデルの説明と定量的および質的に区別できず、同じ出力が生成されるにもかかわらず、説明が異なることがよくあります。 . 入力の小さな変化で変化します。

さらに、モデルの出力とツールの解釈の間にはあまり因果関係がありません。他の研究では、モデルの出力を適切に解釈しても、人々がモデルを使用する方法に必ずしも良い影響を与えるわけではないことが示されています。

#この期待と結果の不一致は何を意味するのでしょうか?また、それに対して何をすべきでしょうか?これは、これらのツールを構築する方法を検討する必要があることを示唆しています。

#現在、私たちはエンジニアリング中心のアプローチ、つまり試行錯誤を行っています。私たちは直感に基づいてツールを構築します（たとえば、個々のピクセルではなくピクセルのブロックごとに重みを生成します。解釈はより直感的です）。

論文リンク: https://arxiv.org/pdf/1811.12231.pdf

#テュービンゲン大学のチームは、画像を解釈する場合でも、ニューラル ネットワークは形状 (象の輪郭) よりもテクスチャ (象の皮膚など) を認識していることを発見しました。象のシルエットが見える可能性があります。集合的に強調表示されたピクセルの形式で。

この研究では、モデルは形状ではなくテクスチャを認識する可能性があることを示しています。これは誘導バイアスと呼ばれます。これは、モデルのアーキテクチャまたは特定の傾向でモデルを最適化しているためです。モデルのクラス。

# 人間の傾向を明らかにすることで人間の行動 (不公平な決定など) を理解することができるのと同じように、この傾向を明らかにすることはモデルを理解するのに役立ちます。

#人間を理解するためによく使用されるこの方法は、モデルを理解するのにも役立ちます。モデルの場合、その内部構造の構築方法により、理論分析という別のツールが使用されます。

この方向での取り組みにより、モデル、オプティマイザー、損失関数の動作に関する興味深い理論的結果が得られました。統計、物理学、力学システム、信号処理などの古典的なツールを利用するものもありますが、人工知能の研究ではさまざまな分野のツールの多くがまだ研究されていません。

# 科学の追求は、実践をやめるべきだという意味ではありません。科学により、原理と知識に基づいたツールを構築でき、実践によってアイデアが現実に変わります。

# 論文リンク: https://hal.inria.fr/inria-00112631/document

実践は科学にインスピレーションを与えることもできます: 2012 年の高性能畳み込みネットワークが多くの研究者に影響を与えたのと同じように、実践でうまく機能したものは、科学的に構造化されたモデル構造の参考となる可能性があります。理論論文と同じです。畳み込みが一般化に役立つ理由を分析します。

Reza Zadeh: ML モデルを積極的に学習させましょう

Reza Zadeh は、コンピューター ビジョン会社の創設者兼 CEO です。 Matroid は、スタンフォード大学を卒業しました。彼の研究分野は、機械学習、分散コンピューティング、離散応用数学です。Databricks の初期メンバーでもあります。

# 彼は、来る 2023 年はアクティブ ラーニングが本格化する年になると信じています。

新年を迎えるにあたり、アクティブ ラーニングにおける生成 AI の爆発的な普及が期待されています )。大きな進歩をもたらしました。

この手法により、ML システムは独自のトレーニング サンプルを生成し、それらにラベルを付けることができます。一方、他のほとんどの形式の機械学習では、アルゴリズムにはサンプルの固定セットが与えられ、通常は学習のみが可能です。これらの例から。

それでは、アクティブ ラーニングは機械学習システムに何をもたらすのでしょうか?

• #変化する状況に適応する
• 少ないタグから学ぶ
• 最も価値のある/困難な例を人々に理解してもらう
• より高いパフォーマンスを達成する

アクティブ ラーニングの考え方は何十年も前から存在していましたが、実際には普及しませんでした。これまで、アルゴリズムが人間が評価して学習アルゴリズムを進めることができる画像や文章を生成することは困難でした。

#しかし、画像とテキスト生成 AI の普及により、アクティブ ラーニングは大きな進歩を遂げると予想されています。学習アルゴリズムがエンコード空間の一部の正しいラベルが不明な場合、その部分から入力用のデータを積極的に生成できるようになりました。

アクティブ ラーニングは、時間の経過とともにシステムを改善し、適応させることができるため、機械学習の方法に革命をもたらす可能性があります。

アクティブ ラーニング システムは、ラベル付きデータの固定セットに依存するのではなく、新しい情報や例を探して、何をしようとしているのかをよりよく理解できます。解決した問題。

#これにより、より正確で効果的な機械学習モデルが実現し、大量のラベル付きデータの必要性が軽減されます。

#生成 AI におけるアクティブ ラーニングの最新の進歩を楽しみにしています。新年を迎え、アクティブ ラーニング手法を実装する機械学習システムがさらに増える可能性があり、2023 年はアクティブ ラーニングが本格的に始まる年になる可能性があります。

以上が2023 年が近づいています。ン エンダ、ベンジオ、その他のビッグマンの年間展望です。合理的な AI モデルは登場するのでしょうか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。