ChatGPT の最初のリリースからほぼ 4 か月が経過しました。この間、ChatGPT の驚異的なパフォーマンスにより、人々は AIGC が事前に実現するのではないかと疑っていました。
しかし、よく知られている秘密は、ChatGPT がオープンソースになる可能性が低いということです。コンピューティング能力と膨大なトレーニング データへの巨額の投資と相まって、研究に多くの障害をもたらしています。コミュニティがその実装プロセスをコピーするレベル。
ChatGPT の猛攻撃に直面すると、オープンソースの代替案は良い選択であり、同様の機能を実現すると同時に、代替案を通じて ChatGPT の動作メカニズムを理解することもできます。
テクノロジーの進歩に伴い、ChatGPT に似た他の新しい AI モデルが多数登場しています。この記事では、ChatGPT のオープンソース代替プロジェクトを概観します。内容は 2 つの部分に分かれており、1 つは ChatGPT 風のオープンソース プロジェクトの概要であり、もう 1 つはプロジェクトの概要の補足です。
プロジェクト作成者 nichtdax は、9 つのオープンソース ChatGPT 代替プロジェクトをコンパイルしました。次回からは順次紹介していきます。
#プロジェクトアドレス: https://github.com/nichtdax/awesome -totally-open-chatgpt
PaLM-rlhf-pytorch
最初のプロジェクトは「 PaLM-rlhf-pytorch」のプロジェクト作成者は Phil Wang です。このプロジェクトは、PaLM アーキテクチャ上に RLHF (ヒューマン フィードバックによる強化学習) を実装したもので、基本的には PaLM を使用した ChatGPT です。
このプロジェクトは、GitHub で 5.8k スターを獲得しました。
プロジェクトアドレス: https://github.com/lucidrains/PaLM-rlhf- pytorch
#下の図はトレーニング プロセスを示しています。
OpenChatKit は、Togetter、LAION、Ontocord.ai を統合した OIG-43M トレーニング データセットでトレーニングされています。プロジェクトの作成者は、これはモデルのリリースであるだけでなく、オープンソース プロジェクトの始まりでもあると述べています。彼らは一連のツールとプロセスをリリースし、コミュニティへの貢献を通じてそれらを継続的に改善しています。
このプロジェクトは、GitHub で 5.7,000 個のスターを獲得しました。
text-generation-webui
機能には、ドロップダウン メニューを使用した異なるモデル間の切り替え、OpenAI プレイグラウンドに似たノートブック モードの提供、対話やロールプレイングのためのチャット モードの提供、美しい HTML 出力の生成などが含まれます。
このプロジェクトは GitHub で 3.4k を受け取りました。
プロジェクトアドレス: https://github.com/oababooga/text-generation- webui
4 番目のプロジェクトは「KoboldAI-Client」です。これは、複数のローカルおよびリモート AI モデルによるブラウザベースのフロントエンドです。AI を実装します。執筆補助。
KoboldAI-Client は、メモリ、作成者メモ、世界情報、保存とロード、調整可能な AI 設定、書式設定オプション、既存のテキストのインポートなどの標準ツール セットを提供します。 AIダンジョンアドベンチャーゲーム。アドベンチャー モードをオンにしたり、AI Dungeon Unleashed などのゲームをプレイしたりできます。
このプロジェクトは GitHub で 1.4k を受け取りました。
プロジェクトアドレス: https://github.com/KoboldAI/KoboldAI-Client
Open-Assistant5 番目のプロジェクトは「Open-Assistant」です。これは、大規模なチャットベースの言語モデルを誰でも利用できるようにすることを目的としています。プロジェクトの作成者らは、安定した普及が世界に新しい方法で芸術や画像を生み出すのと同じように、言語の革新に革命を起こすことを望んでいる。
プロジェクト作成者は、50,000 件を超えることを目標に、手動で生成された高品質の命令実行サンプル (命令応答) を収集することを計画しています。収集された指示ごとに、複数の完了結果がサンプリングされます。次に、指導と報酬モデルに基づいて RLHF トレーニング フェーズに入ります。
このプロジェクトは、GitHub で 19,000 個のスターを獲得しました。
stanford_alpaca
6 番目のプロジェクトは「stanford_alpaca」です。これは、命令に従う LLaMA モデルを構築して共有することを目的としています。このリポジトリには、モデルを微調整するための 52k データ、データを生成するコード、モデルを微調整するためのコードが含まれています。このプロジェクトは、GitHub で 9.5,000 個のスターを獲得しました。
ChatRWKV
このプロジェクトは、GitHub で 3.5,000 個のスターを獲得しました。
8 番目のプロジェクトは、同社の Zhipu AI オープンソース、中国語と英語のバイリンガル会話言語モデル「ChatGLM-6B」で、清華社の技術成果を一般言語モデルに基づいて変換したものです。 62 億パラメータを持つ (GLM) アーキテクチャ。モデル量子化テクノロジーと組み合わせることで、ユーザーはそれを民生用グラフィック カードにローカルに展開できます (INT4 量子化レベルでは最低 6GB のビデオ メモリが必要です)。
ChatGLM-6B は、ChatGPT と同様のテクノロジーを使用しており、中国語の Q&A と対話用に最適化されています。約 1T の識別子を使用した中国語と英語のバイリンガル トレーニングを経て、教師付き微調整、フィードバック セルフサービス、ヒューマン フィードバック強化学習、その他のテクノロジーによって補完された後、62 億のパラメーターを備えた ChatGLM-6B は、次の内容と完全に一致する回答を生成することができました。人間の好み。
ただし、ChatGLM-6B は規模が小さいため、事実/数学的論理エラー、有害/偏った情報が生成される可能性など、かなりの制限があることが現在知られています。弱い文脈スキル、混乱した自己認識、中国語の指示と完全に矛盾する英語の指示の作成。
このプロジェクトは GitHub で 6,000 個のスターを獲得しました。
プロジェクトアドレス: https://github.com/THUDM/ChatGLM-6B
xmtf9 番目のプロジェクトは「xmtf」です。これには、作成論文「マルチタスク微調整によるクロスリンガルの一般化」で紹介された BLOOMZ、mT0、および xP3 のすべてのコンポーネントが含まれています。
その中で、BLOOMZ は 1,760 億のパラメータとオープンアクセスの多言語モデルであり、mT0 (ここでは特に Google の T5X を指します)、xP3 は 46 言語の教師ありデータセットです。英語と機械翻訳のプロンプトがあります。
プロジェクトアドレス: https://github.com/bigscience-workshop/xmtf
上記のモデルに加えて、ChatGPT 代替プロジェクトには、メタ オープン ソースの大規模モデル シリーズ LLaMA (Large Language Model Meta AI) に基づくいくつかの研究も含まれています。モデルの範囲は 70 億から 650 億です。 130 億のパラメータを持つ LLaMA モデルは、「ほとんどのベンチマーク」で GPT-3 (1,750 億のパラメータ) を上回るパフォーマンスを示し、単一の V100 GPU で実行できます。一方、650 億のパラメータを持つ最大の LLaMA モデルは、Google Chinchilla-70B および PaLM- に匹敵します。 540B。
この調査に基づいて、開発者はいくつかのオープンソース プロジェクトも提案されています。
llama.cpp GPU は不要、LLaMA を実行できますllama.cpp プロジェクトは MacBook 上で LLaMA を実行することを実現し、開発者は 4GB の MacBook 上で LLaMA を実行することに成功しました。 RAM LLaMA 7B は Raspberry Pi 上で実行されています。要約すると、開発者は GPU がなくても LLaMA モデルを実行できます。
ChatLLaMA LLaMA 大型モデル シリーズは RLHF メソッドを使用していないため、スタートアップ Nebuly AI は LLaMA の RLHF バージョン (ChatLLaMA) のトレーニング メソッドをオープンソース化しました。そのトレーニング プロセスは ChatGPT に似ており、このプロジェクトでは、事前トレーニングされた LLaMA モデルに基づいて ChatGPT スタイルのサービスを構築できます。 ChatGPT と比較すると、LLaMA のアーキテクチャは小さいですが、トレーニング プロセスとシングル GPU 推論は高速で安価です。ライブラリはすべての LLaMA モデル アーキテクチャ (7B、13B、33B、65B) もサポートしているため、ユーザーはパフォーマンスの好みを推論できます。モデルを微調整します。 プロジェクトアドレス: https://github.com/nebuly-ai/nebullvm/ tree/main/apps/accelerate/chatllama 今後さらに多くのオープンソース プロジェクトが参加することを楽しみにしています。 
以上がChatGPT をプレイできないことがまだ心配ですか?これらの数十のオープンソース代替手段とのインテリジェントな対話を体験することもできますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
