GPT-4の不正行為が発覚！ LeCun氏は、トレーニングセット、チワワまたはマフィンの順序の混乱がエラーにつながるテストを行う場合は注意を呼び掛けています-AI-php.cn

GPT-4の不正行為が発覚！ LeCun氏は、トレーニングセット、チワワまたはマフィンの順序の混乱がエラーにつながるテストを行う場合は注意を呼び掛けています

PHPz

リリース： 2023-11-13 20:17:23

転載

496 人が閲覧しました

GPT-4 は、かつて無数の人々を驚かせた有名なインターネットミーム「チワワまたはブルーベリーマフィン」を解決しました。

しかし、今度は「不正行為」として告発されてしまったのです！

GPT-4の不正行為が発覚！ LeCun氏は、トレーニングセット、チワワまたはマフィンの順序の混乱がエラーにつながるテストを行う場合は注意を呼び掛けています写真

元の質問に表示されている写真はすべて使用されていますが、順序と配置がめちゃくちゃです。

GPT-4 の最新バージョンは、オールインワン機能で有名です。しかし、驚くべきことに、認識した画像の数に誤りがあり、本来は正しく認識されていたチワワでも認識誤りが発生しました。

GPT-4の不正行為が発覚！ LeCun氏は、トレーニングセット、チワワまたはマフィンの順序の混乱がエラーにつながるテストを行う場合は注意を呼び掛けています Pictures

GPT-4 が元の画像で良好なパフォーマンスを発揮する理由は何ですか?

UCSC 助教授 Xin Eric Wang の推測によると、このテストを実施する理由は、インターネット上のオリジナル画像の人気が高すぎるためです。彼は、GPT-4 がトレーニングプロセス中に元の答えに何度も遭遇し、それらをうまく記憶したと信じています。

チューリング賞受賞者の 3 人のうちの 1 人である LeCun 氏も、この点に注目し、次のように述べています:

トレーニングセットでのテストには注意してください。

テディとフライドチキンの違いがわかりません

元の写真の人気はどうですか。インターネット上でのみこの有名な問題は、コンピュータビジョンの分野では古典的な問題となっており、関連する論文研究でも何度も登場しています。

多くのネチズンは、元の画像の影響に関係なく、GPT-4 の機能が制限されている領域に関して独自のテスト計画を提案しています

配置が複雑すぎて影響を与える可能性を排除するために、単純な 3x3 配置に変更し、多くの間違いを犯した人もいます。

誰かが写真の一部を取り出して GPT に送信しました別に - 4、正解率は 5/5 でした。

GPT-4の不正行為が発覚！ LeCun氏は、トレーニングセット、チワワまたはマフィンの順序の混乱がエラーにつながるテストを行う場合は注意を呼び掛けています #写真

Xin Eric Wang は、これらの混同されやすい画像を 1 つにまとめることがこの課題の中心であると考えています

#写真 GPT-4の不正行為が発覚！ LeCun氏は、トレーニングセット、チワワまたはマフィンの順序の混乱がエラーにつながるテストを行う場合は注意を呼び掛けています最終的に、誰かが人工知能に「深呼吸」と「段階的に考える」という 2 つの重要なテクニックを同時に使用することに成功し、正しい答えを導き出しました。結果

写真 GPT-4の不正行為が発覚！ LeCun氏は、トレーニングセット、チワワまたはマフィンの順序の混乱がエラーにつながるテストを行う場合は注意を呼び掛けています GPT-4の回答「これは視覚的なダジャレまたは有名なミームの一例です」の文言からも、元の画像がトレーニングデータに実際に存在する可能性があります。以下のように言い換えます: ただし、GPT-4 はその回答で「これは視覚的なダジャレまたは有名なミームの一例です」と使用しており、これは元の画像が実際にトレーニングデータに存在する可能性があることも明らかにしています

#写真

GPT-4の不正行為が発覚！ LeCun氏は、トレーニングセット、チワワまたはマフィンの順序の混乱がエラーにつながるテストを行う場合は注意を呼び掛けています ##最後に、よく一緒に現れる「テディまたはフライドチキン」テストも誰かがテストしたところ、GPT-4 がうまく区別できないことがわかりました。