GPT4ALL: Die ultimative Open-Source-Lösung für große Sprachmodelle

Es gibt ein wachsendes Ökosystem von Open-Source-Sprachmodellen, das Einzelpersonen umfassende Ressourcen zur Erstellung von Sprachanwendungen für Forschungs- und kommerzielle Zwecke bietet.

Dieser Artikel befasst sich eingehend mit GPT4ALL, das über spezifische Anwendungsfälle hinausgeht und umfassende Bausteine ​​bereitstellt, die es jedem ermöglichen, ChatGPT-ähnliche Chatbots zu entwickeln.

Was ist das GPT4ALL-Projekt?

GPT4ALL kann die gesamte Unterstützung bieten, die bei der Verwendung hochmoderner Open-Source-Modelle für große Sprachen erforderlich ist. Es kann auf Open-Source-Modelle und -Datensätze zugreifen, sie mithilfe des bereitgestellten Codes trainieren und ausführen, über eine Webschnittstelle oder Desktop-Anwendung mit ihnen interagieren, eine Verbindung zum Langchain-Backend für verteiltes Computing herstellen und die Python-API für eine einfache Integration verwenden.

Die Entwickler haben kürzlich den Apache-2-lizenzierten GPT4All-J-Chatbot auf den Markt gebracht, der auf einem großen und kuratierten Korpus von Assistenteninteraktionen trainiert ist, darunter Wortfragen, Gespräche mit mehreren Runden, Code, Gedichte, Lieder und Geschichten. Um es zugänglicher zu machen, veröffentlichten sie außerdem Python-Bindungen und eine Chat-Benutzeroberfläche, sodass fast jeder das Modell auf einer CPU ausführen kann.

Sie können es selbst ausprobieren, indem Sie einen lokalen Chat-Client auf Ihrem Desktop installieren.

• Mac/OSX (https://gpt4all.io/installers/gpt4all-installer-darwin.dmg)
• Windows (https://gpt4all.io/installers/gpt4all-installer-win64.exe)
• Ubuntu (https://gpt4all.io/installers/gpt4all-installer-linux.run)

Führen Sie anschließend das GPT4ALL-Programm aus und laden Sie das Modell Ihrer Wahl herunter. Sie können das Modell auch manuell hier herunterladen (https://github.com/nomic-ai/gpt4all-chat#manual-download-of-models) und es an dem Speicherort installieren, der im Modell-Download-Dialogfeld in der GUI angegeben ist.

Die Verwendung von GPT4ALL sorgt für ein besseres Erlebnis auf Laptops und liefert schnelle und genaue Antworten. Auch technisch nicht versierte Personen können GPT4ALL problemlos nutzen, da es sehr benutzerfreundlich ist.

GPT4ALL Python-Client

GPT4ALL verfügt über Python, TypeScript, Web-Chat-Schnittstelle und Langchain-Backend.

In diesem Abschnitt betrachten wir die Python-API für den Zugriff auf Modelle mithilfe von nomic-ai/pygpt4all.

1. Verwenden Sie PIP, um die Python GPT4ALL-Bibliothek zu installieren.

<code>pip install pygpt4all</code>

2. Laden Sie das GPT4All-Modell von http://gpt4all.io/models/ggml-gpt4all-l13b-snoozy.bin herunter, auch hier verfügbar (https://github.com/nomic-ai/gpt4all-chat# manueller-Download-von-Modellen), um andere Modelle zu durchsuchen.
3. Erstellen Sie eine Text-Callback-Funktion, laden Sie das Modell und geben Sie der Funktion mode.generate() einen Hinweis zum Generieren von Text. Weitere Informationen finden Sie in der Dokumentation der Bibliothek (https://nomic-ai.github.io/pygpt4all/).

<code>from pygpt4all.models.gpt4all import GPT4Alldef new_text_callback(text):print(text, end="")model = GPT4All("./models/ggml-gpt4all-l13b-snoozy.bin")model.generate("Once upon a time, ", n_predict=55, new_text_callback=new_text_callback)</code>

Darüber hinaus können Konverter zum Herunterladen und Ausführen von Inferenzen verwendet werden. Geben Sie einfach den Modellnamen und die Version an. Die Beispiele in diesem Artikel beziehen sich auf das neueste und verbesserte v1.3-groovy-Modell.

<code>from transformers import AutoModelForCausalLMmodel = AutoModelForCausalLM.from_pretrained("nomic-ai/gpt4all-j", revisinotallow="v1.3-groovy")</code>

Erste Schritte

Im nomic-ai/gpt4all-Repository können Sie Quellcode, Modellgewichte, Datensätze und Dokumentation für Training und Inferenz erhalten. Einige Modelle können Sie zunächst ausprobieren und dann über den Python-Client oder LangChain integrieren.

GPT4ALL stellt uns einen CPU-quantifizierten GPT4All-Modellprüfpunkt zur Verfügung. Um darauf zuzugreifen, müssen wir:

• Laden Sie die Datei gpt4all-lora-quantized.bin von Direct Link oder [Torrent-Magnet] herunter.
• Klonen Sie diese Ressourcenbibliothek und verschieben Sie die heruntergeladene Bin-Datei in den Chat-Ordner.
• Führen Sie den entsprechenden Befehl aus, um auf das Modell zuzugreifen:
• M1 Mac/OSX: cd chat;./gpt4all-lora-quantized-OSX-m1

• Linux: cd chat;./gpt4all-lora-quantized-linux- x86

• Windows (PowerShell): CD-Chat;./gpt4all-lora-quantized-win64.exe

• Intel Mac/OSX: CD-Chat;./gpt4all-lora-quantized-OSX-intel

Sie können auch zu Hugging Face Spaces gehen und die Demo von Gpt4all ausprobieren.

Bilder von Gpt4all

资源：

• 技术报告：GPT4All-J: Ein Apache-2-lizenzierter Chatbot im Assistentenstil（https://static.nomic.ai/gpt4all/2023_GPT4All-J_Technical_Report_2.pdf）
• GitHub：nomic-ai/gpt4all （https://github.com/nomic-ai/gpt4all）
• Python-API：nomic-ai/pygpt4all（https://github.com/nomic-ai/pygpt4all）
• 模型：nomic-ai/gpt4all- j（https://huggingface.co/nomic-ai/gpt4all-j）
• 数据集：nomic-ai/gpt4all-j-prompt-generations（https://huggingface.co/datasets/nomic-ai/gpt4all -j-prompt-generations）
• Hugging Face演示：Gpt4all（https://huggingface.co/spaces/Monster/GPT4ALL）
• ChatUI：nomic-ai/gpt4all-chat: gpt4all-j chat（https:// github.com/nomic-ai/gpt4all-chat）
• GPT4ALL后端：GPT4ALL - ????LangChain 0.0.154（https://python.langchain.com/en/latest/modules/models/llms/integrations /gpt4all.html）

Das obige ist der detaillierte Inhalt vonGPT4ALL: Die ultimative Open-Source-Lösung für große Sprachmodelle. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!