„Falcon' macht LLaMA kaputt und ist komplett Open Source! 40 Milliarden Parameter, Billionen Token-Training, dominierendes Hugging Face

Was ist im Zeitalter der großen Modelle am wichtigsten?

Die Antwort, die LeCun einmal gab, lautet: Open Source.

Als der Code für Metas LLaMA auf GitHub durchgesickert war, erhielten Entwickler auf der ganzen Welt Zugriff auf das erste LLM auf GPT-Ebene.

Als nächstes geben verschiedene LLMs verschiedene Blickwinkel auf die Open Source von KI-Modellen.

LLaMA ebnete den Weg und bereitete die Bühne für Modelle wie Stanfords Alpac und Vicuna und machte sie zum Marktführer im Bereich Open Source.

In diesem Moment brach der Falke „Falcon“ erneut aus der Belagerung aus.

Falcon

„Falcon“ wurde vom Technology Innovation Institute (TII) in Abu Dhabi, Vereinigte Arabische Emirate, entwickelt. In Bezug auf die Leistung schneidet Falcon besser ab als LLaMA.

Derzeit gibt es „Falcon“ in drei Versionen – 1B, 7B und 40B.

TII sagte, Falcon sei das bislang leistungsstärkste Open-Source-Sprachmodell. Seine größte Version, Falcon 40B, verfügt über 40 Milliarden Parameter und ist damit immer noch etwas kleiner als LLaMA mit 65 Milliarden Parametern.

Obwohl der Maßstab klein ist, ist die Leistung hoch.

Faisal Al Bannai, Generalsekretär des Advanced Technology Research Council (ATRC), glaubt, dass die Veröffentlichung von „Falcon“ die Erwerbsmethode von LLM durchbrechen und es Forschern und Unternehmern ermöglichen wird, die innovativsten Anwendungsfälle vorzuschlagen.

Zwei Versionen von FalconLM, Falcon 40B Instruct und Falcon 40B, belegen die ersten beiden der Hugging Face OpenLLM-Rangliste, während Metas LLaMA auf dem dritten Platz liegt.

Es ist erwähnenswert, dass Hugging Face diese Modelle anhand von vier aktuellen Benchmarks zum Vergleich von Mannigfaltigkeiten bewertet – AI2 Reasoning Challenge, HellaSwag, MMLU und TruthfulQA.

Obwohl das „Falcon“-Papier noch nicht öffentlich veröffentlicht wurde, wurde Falcon 40B umfassend anhand eines sorgfältig geprüften 1-Billion-Token-Netzwerkdatensatzes trainiert.

Forscher haben herausgefunden, dass „Falcon“ großen Wert darauf legt, während des Trainingsprozesses eine hohe Leistung bei großen Datenmengen zu erzielen.

Was wir alle wissen ist, dass LLM sehr empfindlich auf die Qualität von Trainingsdaten reagiert, weshalb Forscher viel Mühe darauf verwenden, eine Datenpipeline aufzubauen, die eine effiziente Verarbeitung auf Zehntausenden von CPU-Kernen durchführen kann.

Der Zweck besteht darin, durch Filterung und Deduplizierung hochwertige Inhalte aus dem Internet zu extrahieren.

Derzeit hat TII einen verfeinerten Netzwerkdatensatz veröffentlicht, bei dem es sich um einen sorgfältig gefilterten und deduplizierten Datensatz handelt. Die Praxis hat gezeigt, dass es sehr effektiv ist.

Das Modell, das nur mit diesem Datensatz trainiert wird, kann mit anderen LLMs mithalten oder diese sogar in der Leistung übertreffen. Dies zeigt die hervorragende Qualität und den Einfluss von „Falcon“.

Darüber hinaus ist das Falcon-Modell auch mehrsprachig.

Es versteht Englisch, Deutsch, Spanisch und Französisch und beherrscht auch einige kleine europäische Sprachen wie Niederländisch, Italienisch, Rumänisch, Portugiesisch, Tschechisch, Polnisch und Schwedisch.

Falcon 40B ist nach der Veröffentlichung des H2O.ai-Modells auch das zweite wirklich Open-Source-Modell. Da H2O.ai jedoch nicht mit anderen Modellen in diesem Ranking verglichen wurde, haben diese beiden Modelle den Ring noch nicht betreten.

Wenn ich auf LLaMA zurückblicke, war der Code zwar auf GitHub verfügbar, seine Gewichte waren jedoch nie Open Source.

Das bedeutet, dass die kommerzielle Nutzung dieses Modells etwas eingeschränkt ist.

Darüber hinaus basieren alle Versionen von LLaMA auf der ursprünglichen LLaMA-Lizenz, was LLaMA für kleine kommerzielle Anwendungen ungeeignet macht.

An dieser Stelle hat „Falcon“ erneut die Nase vorn.

Das einzige kostenlose kommerzielle Modell!

Falcon ist derzeit das einzige Open-Source-Modell, das kostenlos kommerziell genutzt werden kann.

Zu Beginn verlangte TII, dass eine „Nutzungssteuer“ von 10 % erhoben wird, wenn Falcon für kommerzielle Zwecke genutzt wird und mehr als 1 Million US-Dollar an anrechenbarem Einkommen generiert.

Aber es dauerte nicht lange, bis die reichen Magnaten des Nahen Ostens diese Einschränkung aufhoben.

Zumindest vorerst wird die gesamte kommerzielle Nutzung und Feinabstimmung von Falcon kostenlos sein.

Die Reichen sagten, dass sie mit diesem Modell vorerst kein Geld verdienen müssen.

Darüber hinaus wirbt TII auch um Kommerzialisierungspläne aus der ganzen Welt.

Für potenzielle wissenschaftliche Forschungs- und Kommerzialisierungslösungen werden sie auch mehr „Trainingsrechenleistungsunterstützung“ bereitstellen oder weitere Kommerzialisierungsmöglichkeiten bieten.

E-Mail zur Projekteinreichung: Submissions.falconllm@tii.ae

Das heißt einfach: Solange das Projekt gut ist, kann das Modell kostenlos verwendet werden! Genug Rechenleistung! Wenn Sie nicht genug Geld haben, können wir es trotzdem für Sie einsammeln!

Für Start-ups ist dies einfach eine „One-Stop-Lösung für KI-Großmodell-Unternehmertum“ vom Nahost-Tycoon.

Hochwertige Trainingsdaten

Ein wichtiger Aspekt des Wettbewerbsvorteils von FalconLM ist laut dem Entwicklungsteam die Auswahl der Trainingsdaten.

Das Forschungsteam hat einen Prozess entwickelt, um hochwertige Daten aus öffentlich gecrawlten Datensätzen zu extrahieren und doppelte Daten zu entfernen.

Nach der gründlichen Bereinigung redundanter und doppelter Inhalte blieben 5 Billionen Token erhalten – genug, um ein leistungsstarkes Sprachmodell zu trainieren.

Der 40B Falcon LM verwendet 1 Billion Token für das Training, und die 7B-Version des Modell-Trainingstokens erreicht 1,5 Billionen.

(Das Forschungsteam zielt darauf ab, mithilfe des RefinedWeb-Datensatzes nur Rohdaten höchster Qualität aus Common Crawl herauszufiltern)

Mehr kontrollierbare Trainingskosten

TII sagte, mit GPT-3 im Vergleich zu Falcon erzielte mit Falcon erhebliche Leistungsverbesserungen und nutzte dabei nur 75 % des Trainings-Rechenbudgets.

und benötigt nur 20 % der Berechnungszeit während der Inferenz.

Die Schulungskosten von Falcon entsprechen nur 40 % von Chinchilla und 80 % von PaLM-62B.

Erfolgreiche effiziente Nutzung der Rechenressourcen erreicht.

Das obige ist der detaillierte Inhalt von„Falcon' macht LLaMA kaputt und ist komplett Open Source! 40 Milliarden Parameter, Billionen Token-Training, dominierendes Hugging Face. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!