1 つの API を使用して複数の LLM にアクセスする AI チャットボットを作成する方法-Python チュートリアル-php.cn

元々は Liz Acosta による Streamlit ブログで公開されました

初めて AI 画像ジェネレーターを使って遊んだときのすばらしさを覚えていますか?それらの 2,000 万本の指と悪夢のようなスパゲッティを食べる画像は、ただ面白いだけではなく、うっかりそれを暴露してしまいました。 AI モデルの賢さは私たちと同じくらいです。私たちと同じように、彼らも手を描くのに苦労しています

How to create an AI chatbot using one API to access multiple LLMs

AI モデルは急速に洗練されてきましたが、現在では非常に多くのモデルが存在します。そして、繰り返しになりますが、私たちと同じように、彼らの中には、特定のタスクにおいて他のタスクよりも優れている人もいます。たとえば、テキストの生成を考えてみましょう。 Llama、Gemma、Mistral はすべて LLM ですが、コード生成が得意な人もいれば、ブレインストーミング、コーディング、クリエイティブライティングが得意な人もいます。プロンプトに応じてさまざまな利点があるため、AI アプリケーションに複数のモデルを含めることは理にかなっている場合があります。

しかし、コードを複製せずに、これらすべてのモデルをアプリにどのように統合するのでしょうか? AI の使用をよりモジュール化し、維持と拡張を容易にするにはどうすればよいでしょうか?そこで API は、さまざまなテクノロジー間で通信するための標準化された一連の命令を提供できます。このブログ投稿では、Streamlit で Replicate を使用して、単一の API 呼び出しでさまざまな LLM を構成してプロンプトを表示できるアプリを作成する方法を説明します。心配しないでください。私が「アプリ」と言うとき、Flask サーバー全体を起動したり、ルートを面倒に設定したり、CSS について心配したりする必要があるという意味ではありません。 Streamlit がそれをカバーします?

続きを読んで学習してください:

レプリケートとは

読みたくないですか?このデモを探索する他の方法は次のとおりです:

ここの Streamlit Cookbook リポジトリでコードを見つけてください

レプリケートとは何ですか?

Replicate は、開発者が CLI、API、または SDK を介してオープンソース AI モデルをデプロイ、微調整し、アクセスできるようにするプラットフォームです。このプラットフォームにより、プログラムによって AI 機能をソフトウェアアプリケーションに簡単に統合できます。

Replicateで利用可能なモデル

テキスト

画像
音声
ビデオ
Replicate を一緒に使用すると、入力を受け入れ、テキスト、画像、音声、ビデオなどのさまざまな形式で出力を生成できるマルチモーダルアプリを開発できます。

ストリームリットとは何ですか?

Streamlit は、わずか数行のコードで高度にインタラクティブなアプリを構築できるオープンソースの Python フレームワークです。 Streamlit は、LLM、ベクトルデータベース、または LangChain、LlamaIndex、Weights & Biases などのさまざまな AI フレームワークなど、生成 AI のすべての最新ツールと統合します。 Streamlit のチャット要素を使用すると、AI との対話が特に簡単になるため、「データと対話する」チャットボットを構築できます。

Replicate などのプラットフォームと組み合わせることで、Streamlit を使用すると、アプリ設計のオーバーヘッドなしで生成 AI アプリケーションを作成できます。

？ Streamlit がどのように前進に向けてバイアスをかけるかについて詳しくは、このブログ投稿をご覧ください。

Streamlit について詳しくは、101 ガイドをご覧ください。

アプリのレシピをお試しください: Replicate + Streamlit

でも、私の言葉を鵜呑みにしないでください。自分でアプリを試すか、ビデオのウォークスルーを見てどう思うかを確認してください。

このデモでは、Replicate を使用して Streamlit チャットボットアプリを起動します。このアプリは単一の API を使用して 3 つの異なる LLM にアクセスし、温度やトップポイントなどのパラメーターを調整します。これらのパラメーターは、AI が生成したテキストのランダム性と多様性、およびトークンの選択方法に影響を与えます。

？

モデル温度とは何ですか?

温度は、モデルがトークンを選択する方法を制御します。温度が低いとモデルはより保守的になり、一般的で「安全な」単語が優先されます。逆に、温度が高いと、モデルは可能性の低いトークンを選択することでより多くのリスクを取ることが奨励され、その結果、より創造的な出力が得られます。

？top-p とは何ですか?「核サンプリング」とも呼ばれ、ランダム性を調整するためのもう 1 つの方法です。これは、top-p 値が増加するにつれて、より幅広いトークンのセットを考慮することで機能します。 top-p 値が高いほど、より多様な範囲のトークンがサンプリングされ、より多様な出力が生成されます。

前提条件

？ API キーの詳細については、こちらのブログ投稿をご覧ください。

環境設定

ローカルセットアップ

GitHub コードスペースのセットアップ

GitHub のクックブックリポジトリで、[コード] ボタンから [コードスペース] オプションを選択して新しいコードスペースを作成します
コードスペースが生成されたら、Replicate API キーを Recipes/replicate/.streamlit/secrets_template.toml ファイルに追加します
ファイル名を Secrets_template.toml から Secrets.toml に更新します
(Streamlit でのシークレット処理の詳細については、こちらのドキュメントを参照してください。)
Cookbook のルートディレクトリから、ディレクトリを Replicate レシピに変更します: cd Recipes/replicate
依存関係をインストールします: pip install -rrequirements.txt

Replicate を使用してテキスト生成モデルを実行する

次のコードをファイルに追加します:

リーリー
スクリプトを実行します: python replicate_hello_world.py

モデルによって生成されたテキストの印刷が表示されるはずです。

レプリケートモデルとその動作の詳細については、ここでドキュメントを参照してください。その中核となる、レプリケート「モデル」とは、入力を受け入れて出力を返す、トレーニングされ、パッケージ化され、公開されたソフトウェアプログラムを指します。

この特定のケースでは、モデルは meta/meta-llama-3-8b で、入力は "prompt": "What is Streamlit?" です。スクリプトを実行すると、Replicate エンドポイントへの呼び出しが行われ、印刷されるテキストは Replicate 経由でモデルから返される出力です。

デモの実行 Streamlit チャットボットアプリを複製する

デモアプリを実行するには、Streamlit CLI を使用します: streamlit run streamlit_app.py。

このコマンドを実行すると、アプリがローカルホストのポートにデプロイされます。この場所にアクセスすると、Streamlit アプリが実行されていることがわかります。

How to create an AI chatbot using one API to access multiple LLMs

このアプリを使用すると、レプリケート経由でさまざまな LLM にプロンプトを表示し、指定した構成に従って生成テキストを生成できます。

複数の LLM モデルに共通の API

Replicate を使用すると、1 つの API で複数のオープンソース LLM にプロンプトを表示できるため、最新のソフトウェアフローへの AI の統合が簡素化されます。

これは次のコードブロックで実現されます:

リーリー

モデル、温度、およびトップ p 構成は、Streamlit の入力ウィジェットを介してユーザーによって提供されます。 Streamlit のチャット要素を使用すると、アプリにチャットボット機能を簡単に統合できます。最も良い点は、これらのコンポーネントを実装してスタイル設定するために JavaScript や CSS の知識が必要ないことです。Streamlit は、それらすべてをすぐに提供します。

ベストプラクティスを複製する

プロンプトに最適なモデルを使用する

Replicate は、パブリックモデルを検索するための API エンドポイントを提供します。 Web サイトで注目のモデルやユースケースを調べることもできます。これにより、特定のニーズに適したモデルを簡単に見つけることができます。

モデルが異なれば、パフォーマンス特性も異なります。精度と速度のニーズに基づいて適切なモデルを使用してください。