Heim > Technologie-Peripheriegeräte > KI > Wählen Sie GPT-3.5 oder optimieren Sie Open-Source-Modelle wie Llama 2? Nach einem umfassenden Vergleich lautet die Antwort

Wählen Sie GPT-3.5 oder optimieren Sie Open-Source-Modelle wie Llama 2? Nach einem umfassenden Vergleich lautet die Antwort

WBOY
Freigeben: 2023-10-16 14:17:06
nach vorne
917 Leute haben es durchsucht

Es ist bekannt, dass die Feinabstimmung von GPT-3.5 sehr teuer ist. In diesem Artikel wird anhand von Experimenten überprüft, ob manuell fein abgestimmte Modelle die Leistung von GPT-3.5 zu einem Bruchteil der Kosten erreichen können. Interessanterweise tut dieser Artikel genau das. Beim Vergleich der Ergebnisse von

zu SQL-Aufgaben und Funktionsdarstellungsaufgaben wurde in diesem Artikel Folgendes festgestellt:

  • GPT-3.5 ist bei beiden Datensätzen (einer Teilmenge des Spider-Datensatzes und des Viggo-Funktionsdarstellungsdatensatzes) besser ) als nach Code Llama 34B, der von Lora verfeinert wurde, schnitt etwas besser ab.
  • GPT-3.5 ist vier- bis sechsmal teurer in der Schulung und teurer in der Bereitstellung.

Eine der Schlussfolgerungen dieses Experiments ist, dass die Feinabstimmung von GPT-3.5 für die erste Verifizierungsarbeit geeignet ist, danach jedoch ein Modell wie Llama 2 die beste Wahl sein könnte:

  • Wenn Sie überprüfen möchten, ob die Feinabstimmung der richtige Weg zur Lösung einer bestimmten Aufgabe/eines bestimmten Datensatzes ist, oder wenn Sie eine vollständig verwaltete Umgebung wünschen, dann optimieren Sie GPT-3.5.
  • Wenn Sie Geld sparen, maximale Leistung aus Ihrem Datensatz herausholen, mehr Flexibilität beim Training und der Bereitstellung der Infrastruktur haben oder einige private Daten behalten möchten, dann optimieren Sie etwas wie Llama 2, ein Open-Source-Modell.

Als nächstes wollen wir sehen, wie dieser Artikel umgesetzt wird.

Das Bild unten zeigt die Leistung von Code Llama 34B und GPT-3.5, die auf Konvergenz bei SQL-Aufgaben und funktionalen Darstellungsaufgaben trainiert wurden. Die Ergebnisse zeigen, dass GPT-3.5 bei beiden Aufgaben eine bessere Genauigkeit erreicht.

选择GPT-3.5、还是微调Llama 2等开源模型?综合比较后答案有了

In Bezug auf die Hardwarenutzung wurde im Experiment eine A40-GPU verwendet, die etwa 0,475 US-Dollar pro Stunde kostet.

选择GPT-3.5、还是微调Llama 2等开源模型?综合比较后答案有了

Darüber hinaus wurden im Experiment zwei Datensätze ausgewählt, die sich sehr gut für die Feinabstimmung eignen, eine Teilmenge des Spider-Datensatzes und des Viggo-Funktionsdarstellungsdatensatzes.

Um einen fairen Vergleich mit dem GPT-3.5-Modell zu ermöglichen, führte das Experiment eine minimale Feinabstimmung der Hyperparameter an Llama durch.

Die beiden wichtigsten Optionen in den Experimenten dieses Artikels sind die Verwendung der Code-Llama-34B- und Lora-Feinabstimmung anstelle der vollständigen Parameter-Feinabstimmung.

Das Experiment folgte weitgehend den Regeln für die Feinabstimmung von Lora Hyperparameter. Die LORA-Adapterkonfiguration lautet wie folgt:

选择GPT-3.5、还是微调Llama 2等开源模型?综合比较后答案有了

SQL-Eingabeaufforderung lautet wie folgt:

选择GPT-3.5、还是微调Llama 2等开源模型?综合比较后答案有了

SQL-Eingabeaufforderung Teilweise Anzeige. Vollständige Tipps finden Sie im Originalblog. Das Experiment hat nicht den gesamten Spider-Datensatz verwendet. Create-Context-Datensatz und der Spider-Datensatz. Der für das Modell bereitgestellte Kontext ist ein SQL-Erstellungsbefehl wie folgt:

department : Department_ID [ INT ] primary_key Name [ TEXT ] Creation [ TEXT ] Ranking [ INT ] Budget_in_Billions [ INT ] Num_Employees [ INT ] head : head_ID [ INT ] primary_key name [ TEXT ] born_state [ TEXT ] age [ INT ] management : department_ID [ INT ] primary_key management.department_ID = department.Department_ID head_ID [ INT ] management.head_ID = head.head_ID temporary_acting [ TEXT ]
Nach dem Login kopieren

Code und Daten für die SQL-Aufgabe: https://github.com/samlhuillier/spider-sql-finetune

Funktionsdarstellung Tipps Die Das Beispiel lautet wie folgt:

Der Tipp zur funktionalen Darstellung wird teilweise angezeigt. Den vollständigen Tipp finden Sie im Originalblog.

选择GPT-3.5、还是微调Llama 2等开源模型?综合比较后答案有了Die Ausgabe lautet wie folgt:

CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)
Nach dem Login kopieren

In der Evaluierungsphase , die beiden Experimente wurden schnell abgeschlossen. Konvergiert:

funktionale Darstellung Aufgabencode und Datenadresse: https://github.com/samlhuillier/viggo-finetune

Weitere Informationen finden Sie im Originalblog . 选择GPT-3.5、还是微调Llama 2等开源模型?综合比较后答案有了

Das obige ist der detaillierte Inhalt vonWählen Sie GPT-3.5 oder optimieren Sie Open-Source-Modelle wie Llama 2? Nach einem umfassenden Vergleich lautet die Antwort. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Verwandte Etiketten:
Quelle:51cto.com
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage