砲撃スキャンダルにスタンフォードAI研究所所長激怒！盗作チームの 2 人のメンバーが責任を負い、1 人が失踪し、彼の犯罪歴が暴露されました。ネチズン: 中国のオープンソース モデルを再理解する。

スタンフォードチームが清華大学の大型モデルを盗用した続報 -

Llama3-Vチームは盗作を認め、スタンフォード大学の学部生2人も別の著者との関係を断った。

Siddharth Sharma(Siddhartha)とAksh Garg(Akshy)によって送信された最新の謝罪ツイート。

その中にはいませんが、南カリフォルニア大学のムスタファ・アルハデリー(ラオ・ムーと呼ばれます)は主な過失当事者として告発されており、昨日から行方不明です:

私たちはラオ・ムーが最初の声明を出しましたが、昨日から連絡が取れなくなりました。

Siddharth、私(Akshi)、そしてLao MuはLlama3-Vをリリースし、Lao Muがプロジェクトのコードを書きました。

シッダースと私の役割は、彼がこのモデルを Medium と Twitter で宣伝するのを手伝うことです。この研究の革新性を検証するために最近の論文を調べましたが、壁インテリジェンスに関する以前の研究については知らされておらず、発見されていませんでした。

逃亡容疑で告発されたムー爺さん自身、Xのホームページは保護されロックされています。申請することでのみフォローできます:

全体として、この謝罪ツイートと昨日のツイートは発信後慌てて削除 投稿されたツイートの内容はほぼ同じで、主に謝罪とさらなる責任転嫁が中心でした。

結局のところ、スタンフォード人工知能研究所の所長、クリストファー・マニングさえ出てきて、不平を言い始めました:

これは、自分の間違いを認めない典型的なケースです!

彼は、インシデント後、チームが「アーキテクチャが似ている」と「MiniCPM が私たちよりも早く実装された」という言い訳を使って重要な問題を回避したと信じており、盗作であることを認めませんでした。

しかし、新たな謝罪声明によってネチズンの疑念は止まらなかった。そして最新の啓示は、これらの兄弟たちが単に盗作の常習犯であり、彼らが以前に書いた教科書も盗作されたものであることも指摘している。

原作者チームFace Wall Intelligenceについては、昨日「国際チームにも認められた手法である」と回答したCEOLi Dahaiに加え、主任科学者Liu Zhiyuanも個人的な答え:

私は Llama3-V が MiniCPM-Llama3-V 2.5 シェルに適しているとすでに確信しています。

人工知能の急速な発展は、人々が常に SOTA の肩に立って前進し続けることができるように、グローバルなアルゴリズム、データ、モデルのオープンソース共有と切り離すことができません。今回のオープンソース MiniCPM-Llama3-V 2.5 では、最新の Llama3 を言語モデル ベースとして使用します。オープンソース共有の基礎は、オープンソース プロトコルへの準拠、他の貢献者への信頼、そして先人の功績への敬意と敬意です。Llama3-V チームは間違いなくこれを著しく損なったと言えます。質問を受けた後、彼らはハギングフェイスからデータベースを削除した。チームのメンバー 3 人のうち 2 人はスタンフォード大学の学部生にすぎない。間違いが修正されるのであれば、それは素晴らしいことだ。改善。

新たな証拠

まずはこの大きなメロンについて簡単におさらいしましょう。

これを一言で要約すると、一部のネチズンは、最近オープンソースコミュニティで人気が出てきたスタンフォードチームのマルチモーダル大規模モデルLlama3-Vが国内のMiniCPMとほぼ同じアーキテクチャとコードを持っていることを発見しました-Llama3-V 2.5 および多数のリスト 証拠は Llama3-V の盗作を直接示しています。

事件が徐々に明らかになるにつれて、スタンフォードAIチームはデータベースを削除して逃走し、壁に面したインテリジェンスチームもこの問題の調査を開始しました。

清華大学の壁に面したインテリジェンスの主任研究者で常任准教授のLiu Zhiyuan氏は、Llama3-VがMiniCPM-Llama3-V 2.5シェルである主な理由を述べましたが、それはまさに清華ジェーンの認識能力です。

これは MiniCPM-Llama3-V 2.5 の「イースターエッグ」機能です。これらは清華大学から逐語的にスキャンされラベル付けされたデータセットを使用してトレーニングされました。公開されていません。 Llama3-V のパフォーマンスは MiniCPM-Llama3-V 2.5 とまったく同じです。正解する問題だけでなく、間違いも同じです。

今日、証拠の第一波に基づいて、他のネチズンが新たな手がかりを発見しました。

調査の結果、Llama3-V のほぼすべてのレイヤーの重みの差が、平均 0、標準偏差 1.4e-3 のガウス分布に準拠していることが判明した人もいます。

そのため、Llama3-V は、

低分散ノイズ を MiniCPM の重みに直接追加しているだけであると推測されます。

さらに、逃亡した兄のラオ・ムーが以前に「コンピュータネットワーク設計」に関する本を執筆しており、

もそれをコピーしていたことが明らかになりました。

本から無作為に章を取り出し、盗作検出器を使用してそれを検出すると、赤い点の束が表示されます:

そして、この本の著者欄には、この本には、ネチズンによると、シッダの名前もたくさんあります。

一部のネチズンは、本のコピーが真実かどうかはまだ調査されていないと信じています。しかし、現在ではこの本も

404となっています。

この盗作について話すと、シッダールスとアクシャイも謝罪声明の中で、彼らがブラザー・ムーとともにこのプロジェクトを推進した理由は、私がこのマルチモーダルなモデルに特に気に入っているからであると述べました。 Brother Mu によって説明された Idefics、SigLip、および UHD に基づく拡張機能。

しかし、実際には、ネチズンは、空間モードなど多くの点で Llama3-V の具体的な実装が LLaVA-UHD とは異なるものの、驚くほど MiniCPM-Llama3-V 2.5 と一致していることに早くから気づきました。

MiniCPM-Llama3-V 2.5 のホームページによると、MiniCPM-Llama3-V 2.5 は、壁面インテリジェント MiniCPM-V シリーズの最新のオープンソース モデルであり、SigLip-400M と Llama3-8B-Instruct に基づいて構築されています。 、合計 8B のパラメーターがあります。

パフォーマンスの面では、MiniCPM-Llama3-V 2.5 は OpenCompass で 65.1 の平均スコアを達成し、GPT-4V-1106、Gemini Pro、Claude 3、Qwen-VL-Max などの独自モデルを上回り、大幅に向上しました。他の Llama 3 ベースのマルチモーダル言語モデルを上回ります。

さらに、MiniCPM-Llama3-V 2.5 は強力な OCR 機能も備えており、OCRBench で 700 以上のスコアを獲得し、GPT-4o、GPT-4V-0409、Qwen-VL-Max、Gemini Pro を上回っています。

最新の RLAIF-V メソッドに基づくと、MiniCPM-Llama3-V 2.5 の Object HalBench での錯視率は 10.3% であり、これも GPT-4V-1106 の 13.6% よりも低くなります。

「中国の有力モデルは無視されてきた」

非難はすぐに放り出されたものの、ネチズンはすぐにアクシャイとシッダールトの謝罪声明の明るい点を発見した:

あなた方二人は何も共著していない。プロモーションに協力した場合、プロジェクトの作成者とみなされますか?

発表当時は3人のプロジェクトと言われていましたが、何か問題があった場合、責任は1人に押し付けられるのでしょうか？

Lao Mu がすべてのコードを 1 人で書いた場合、2 人は投稿するだけで何をしますか?

一部のネチズンはより重要なトピックを提起し、さらに白熱した議論を引き起こしました -

オープンソースコミュニティは中国からの大規模なモデルの結果を無視しましたか？

Google DeepMind 研究者で ViT の著者である Lucas Beyer 氏は、Llama3-V はコピーされたが、コストは 500 米ドル未満であり、その効果は Gemini に直接追いつくことができ、GPT-4 オープン ソース モデルは存在すると述べています。

しかし、それは同じではありません。Llama3-V と比較すると、私も含め、MiniCPM はあまり注目されていません。

主な理由は、そのようなモデルがアイビーリーグの学校ではなく、中国の研究室から来たものであるようです。

Huaqiang プラットフォームおよびコミュニティの責任者である Omar Sanseviero 氏は、より直接的に次のように述べています:

コミュニティは中国の機械学習エコシステムの取り組みを無視してきました。彼らは、興味深い大きな言語モデル、大きなビジョン モデル、オーディオおよび拡散モデルを使って驚くべきことを行っています。

Qwen、Yi、DeepSeek、Yuan、WizardLM、ChatGLM、CogVLM、Baichuan、InternLM、OpenBMB、Skywork、ChatTTS、Ernie、HunyunDiT などが含まれます。

多くのネチズンはこれに「彼らは現時点で最高のオープンソースVLMを立ち上げた」と同意しました。

大規模なモデル分野のより客観的な観点から見ると、この声明は真実です。

モデルが 1 対 1 で競い合うビジュアル大型モデルの分野では、01Wansheng の Yi-VL-Plus が Google の Gemini Pro Vision を上回り 5 位にランクされました。 Zhipu AI と清華大学の共同研究である CogVLM もトップ 10 にランクインしました。

このほか、今回盗用されたDeepSeek、Tongyi Qianwen、マルチモーダルモデルのMiniCPMシリーズも好調でした。

より広く認知されている LMSYS Chatbot Arena Leaderboard アリーナ リストでは、中国の大型モデルも「最も強力なオープンソース」の新記録を常に樹立しています。

教師のLiu Zhiyuan氏はこう言いました:

水平的な観点から見ると、Sora や GPT-4o などのトップレベルの国際的研究との間には明らかにまだ大きな差がありますが、同時に垂直的な観点から見ると、私たちは 10 年ほど前には無名だった企業からリーダーへと急速に成長しました。人工知能技術革新の鍵となる。

このメロンは大きくて、たくさんの人が食べています、そしておそらくもっと重要なことに、いくつかの固定概念が崩れてきています。どう思いますか？

MiniCPMオリジナルペーパーhttps://arxiv.org/abs/2404.06395