OpenAI CEO によって閉鎖された後、Yann LeCun は再び批判しました: ChatGPT の現実の把握は非常に表面的です

大ボス間の関係は、時々非常に複雑になります。

昨日、OpenAI CEO のサム アルトマン氏が、Meta の主任人工知能科学者であるヤン ルカン氏の Twitter でのフォローを解除したことが誰かに発見されました。

この撤退がいつ発生したかを特定することは困難ですが、基本的に原因を特定することはできます。この事件—— 数日前、ヤン・ルカン氏はメディアや経営陣が集まる小規模なオンライン集会でChatGPTに関する自身の見解を表明した:

「基盤となるテクノロジーに関する限り」 , ChatGPT は特別なことではありません。イノベーションは革新的ではありません。多くの研究機関が同じテクノロジーを使用して同じ作業を実行しています。」

ZDNet の「ChatGPT は「特に革新的ではない」 「そして『何も革命的ではない』とメタの主任AI科学者は言う」 レポートでは、ルカン氏のスピーチの詳細の一部が明らかになった。驚くべきコメントがいくつかあります:

• #「他の研究室と比較して、OpenAI は特別な進歩を遂げていません。」
• 「 ChatGPT で使用される Transformer アーキテクチャは、この自己教師ありの方法で事前にトレーニングされています。自己教師あり学習は、OpenAI の出現以前にまで遡り、私が長い間提唱してきたものです。」
• 「Transformer は Google の発明であり、この種の言語プロジェクトの取り組みは数十年前に遡ります。」
• ......

#このように、サム・アルトマン氏の排除行為も許されるものである。

「ブロック解除」が発見されてから 4 時間後、Yann LeCun はニュースを更新し、再び「陰陽」ChatGPT からの記事を転送しました:

ChatGPT のような大規模な言語モデルは、なぜ際限なくナンセンスを吐き出すことができるのでしょうか?彼らの現実認識は非常に表面的なものです。

これに反対する人もいます。「ChatGPT は、多数の書籍やその他の情報源で訓練を受けており、広範な知識と驚異的な創造性の源です。」

#これに関して、LeCun 氏も次のように意見を表明しました。「#LLM が役に立たないとは誰も言っていません。私はこう言いました」 FAIR がギャラクティカを短期リリースしたときのことです。人々はナンセンスを生み出したため、それを十字架につけました。ChatGPT も同じことをしました。しかし、繰り返しになりますが、それは彼らが役に立たなかったという意味ではありません。##実際、この「Atlantic」記事は MIT 認知科学グループによる論文のレビューです。具体的な研究内容を見ていきましょう。

この論文には何が書かれていますか?

この論文のタイトルは「大規模言語モデルにおける言語と思考の分離: 認知的視点」で、著者はテキサス大学オースティン校、MIT、UCLAの出身者です。

#論文アドレス: https://arxiv.org/pdf/2301.06627.pdf

今日の大規模言語モデル (LLM) は、多くの場合、一貫性があり、文法的で、意味が通じるように見えるテキストの一節を生成できることがわかっています。この成果により、これらのネットワークはすでに抽象的な知識と推論を必要とするタスクを実行できる「考える機械」になっているか、まもなく「考える機械」になるのではないかという憶測が高まっています。

この記事では、著者は言語使用パフォーマンスの 2 つの異なる側面を考慮して、それぞれ次のように LLM の能力を観察します。

• #形式的な言語能力# (特定の言語のルールとパターンに関する知識を含む);
• 機能的言語能力、現実世界で言語を理解し使用するために必要な一連の知覚能力。

著者らは、認知神経科学の証拠に基づいて、人間の形式的能力は特定の言語処理メカニズムに依存しているのに対し、機能的能力には言語を超えた複数の能力が必要であることを示しています。形式的推論、世界知識、状況モデリング、社会認識などです。人間における 2 つの能力の区別と同様に、#LLM は形式言語能力を必要とするタスクでは (不完全ではあるものの) うまく機能しますが、機能的能力を必要とする多くのテストでは失敗する傾向があります。

この証拠に基づいて、著者らは、第一に、現代の LLM は形式的な言語スキルを備えたモデルとして真剣に受け止められるべきであり、第二に、現実の言語使用のニーズを扱うモデルであると主張します。組み込まれるか開発されるコア言語モジュールと、思考をモデル化するために必要な複数の非言語固有の認知能力。

要約すると、形式言語能力と機能言語能力の区別は、LLM の可能性に関する議論を明確にするのに役立ち、人間の言語の理解と使用を構築するための基礎を提供すると主張しています。モデルは方法を提供します。多くの非言語タスクで LLM が失敗しても、LLM が言語処理の優れたモデルとして弱くなるわけではありません。人間の心と脳をアナロジーとして使用する場合、

AGI の将来の進歩は、言語モデルを次のように組み込むことに依存する可能性があります。抽象的な知識を表現するだけでなく、複雑な推論をサポートするモデルと組み合わせる#。ChatGPT 数学的レベルはまだ改善の必要があります

LLM には言語を超えた機能的能力 (推論など) が欠けており、OpenAI の ChatGPT はその一例です。彼の数学能力が向上したと公式に発表されましたが、ネチズンは彼が足し算と引き算が10以内しかできないと不満を言いました。

最近、「ChatGPT の数学的能力」という論文で、オックスフォード大学、ケンブリッジ大学、その他の機関の研究者が、公開されているものと手作りされたもので ChatGPT の数学的能力をテストしました。データセット を作成し、ミネルバなどの数学的コーパスでトレーニングされた他のモデルと比較してそのパフォーマンスを測定しました。同時に、数学者の日常の職業活動（質疑応答、定理探索）で生じるさまざまなユースケースをシミュレートすることにより、ChatGPTがプロの数学者にとって有用なアシスタントと言えるかどうかをテストします。

#論文アドレス: https://arxiv.org/pdf/2301.13867.pdf

研究者らは、新しいデータセット - GHOSTS を導入し、公開しました。これは、数学研究者によって作成および管理される初の自然言語データセットであり、大学院レベルの数学をカバーします。言語モデルの数学的機能。彼らは GHOSTS 上で ChatGPT のベンチマークを行い、きめ細かい基準に基づいてパフォーマンスを評価しました。

テストの結果、ChatGPT の数学的能力は通常の数学大学院生に比べて著しく低く、質問は理解できますが、正しい答えを与えることはできません

。

$20/月、ChatGPT Plus メンバーシップが利用可能です

いずれにしても、ChatGPT の商業的成功は誰の目にも明らかです。先ほど、OpenAIは月額20ドルの新しい有料会員サービス「ChatGPT Plus」を発表しました。

購読者はいくつかの特典を受けられます:

• ピーク時でも ChatGPT を広く使用;
• 応答時間が短縮;
• #最初になる新しい機能や改善を得るために。

OpenAIは、「今後数週間以内に」米国内および待機リストに登録されている人々にこのサービスへの招待状を送信すると述べ、他の国にも宣伝すると付け加えたそして地域。

1 週間以上前、OpenAI が ChatGPT サービスのプラスまたはプロ バージョンを月額 42 ドルで開始するというニュースがありましたが、最終価格は 20 ドルです学生や企業など、より幅広い人々がサービスを利用できるようにすることは明らかです。

ある意味、これは、発売を希望する市場の AI チャットボットに対する支払いの標準を設定することになります。 OpenAI がこの分野の先駆者であることを考えると、他の企業が月額 20 ドルを超えるボットをリリースしようとする場合、最初に 1 つのことを説明する必要があります。なぜ自社のチャットボットが ChatGPT Plus よりも価値があるのかということです。

以上がOpenAI CEO によって閉鎖された後、Yann LeCun は再び批判しました: ChatGPT の現実の把握は非常に表面的ですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。