Es ist bekannt, dass die Feinabstimmung von GPT-3.5 sehr teuer ist. In diesem Artikel wird anhand von Experimenten überprüft, ob manuell fein abgestimmte Modelle die Leistung von GPT-3.5 zu einem Bruchteil der Kosten erreichen können. Interessanterweise tut dieser Artikel genau das. Beim Vergleich der Ergebnisse von
zu SQL-Aufgaben und Funktionsdarstellungsaufgaben wurde in diesem Artikel Folgendes festgestellt:
Eine der Schlussfolgerungen dieses Experiments ist, dass die Feinabstimmung von GPT-3.5 für die erste Verifizierungsarbeit geeignet ist, danach jedoch ein Modell wie Llama 2 die beste Wahl sein könnte:
Als nächstes wollen wir sehen, wie dieser Artikel umgesetzt wird.
Das Bild unten zeigt die Leistung von Code Llama 34B und GPT-3.5, die auf Konvergenz bei SQL-Aufgaben und funktionalen Darstellungsaufgaben trainiert wurden. Die Ergebnisse zeigen, dass GPT-3.5 bei beiden Aufgaben eine bessere Genauigkeit erreicht.
In Bezug auf die Hardwarenutzung wurde im Experiment eine A40-GPU verwendet, die etwa 0,475 US-Dollar pro Stunde kostet.
Darüber hinaus wurden im Experiment zwei Datensätze ausgewählt, die sich sehr gut für die Feinabstimmung eignen, eine Teilmenge des Spider-Datensatzes und des Viggo-Funktionsdarstellungsdatensatzes.
Um einen fairen Vergleich mit dem GPT-3.5-Modell zu ermöglichen, führte das Experiment eine minimale Feinabstimmung der Hyperparameter an Llama durch.
Die beiden wichtigsten Optionen in den Experimenten dieses Artikels sind die Verwendung der Code-Llama-34B- und Lora-Feinabstimmung anstelle der vollständigen Parameter-Feinabstimmung.
Das Experiment folgte weitgehend den Regeln für die Feinabstimmung von Lora Hyperparameter. Die LORA-Adapterkonfiguration lautet wie folgt:
SQL-Eingabeaufforderung lautet wie folgt:
SQL-Eingabeaufforderung Teilweise Anzeige. Vollständige Tipps finden Sie im Originalblog. Das Experiment hat nicht den gesamten Spider-Datensatz verwendet. Create-Context-Datensatz und der Spider-Datensatz. Der für das Modell bereitgestellte Kontext ist ein SQL-Erstellungsbefehl wie folgt:
department : Department_ID [ INT ] primary_key Name [ TEXT ] Creation [ TEXT ] Ranking [ INT ] Budget_in_Billions [ INT ] Num_Employees [ INT ] head : head_ID [ INT ] primary_key name [ TEXT ] born_state [ TEXT ] age [ INT ] management : department_ID [ INT ] primary_key management.department_ID = department.Department_ID head_ID [ INT ] management.head_ID = head.head_ID temporary_acting [ TEXT ]
Code und Daten für die SQL-Aufgabe: https://github.com/samlhuillier/spider-sql-finetune
Funktionsdarstellung Tipps Die Das Beispiel lautet wie folgt:
Der Tipp zur funktionalen Darstellung wird teilweise angezeigt. Den vollständigen Tipp finden Sie im Originalblog.
Die Ausgabe lautet wie folgt:
CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)
In der Evaluierungsphase , die beiden Experimente wurden schnell abgeschlossen. Konvergiert:
funktionale Darstellung Aufgabencode und Datenadresse: https://github.com/samlhuillier/viggo-finetune
Weitere Informationen finden Sie im Originalblog .
Das obige ist der detaillierte Inhalt vonWählen Sie GPT-3.5 oder optimieren Sie Open-Source-Modelle wie Llama 2? Nach einem umfassenden Vergleich lautet die Antwort. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!