Das Open-Source-Modell gewinnt zum ersten Mal GPT-4! Der neueste Kampfbericht von Arena hat eine hitzige Debatte ausgelöst, Karpathy: Dies ist die einzige Liste, der ich vertraue

Ein Open-Source-Modell, das GPT-4 schlagen kann, ist erschienen!

Der neueste Kampfbericht der Large Model Arena:

Das Open-Source-Modell Command R+ mit 104 Milliarden Parametern kletterte auf den 6. Platz, gleichauf mit GPT-4-0314 und übertraf GPT-4-0613.

Bilder

Dies ist auch das erste Modell mit offenem Gewicht, das GPT-4 im großen Modellbereich übertrifft.

Die große Modellarena ist einer der wenigen Testbenchmarks, denen der Meister Karpathy vertraut.

Bilder

Befehl R+ vom KI-Einhorn Cohere. Mitbegründer und CEO dieses großen Modell-Startups ist kein geringerer als Aidan Gomez, der jüngste Autor von Transformer (auch „der Weizenschnitter“ genannt).

Bilder

Sobald dieser Kampfbericht herauskam, löste er eine weitere Welle hitziger Diskussionen in der großen Model-Community aus.

Der Grund, warum alle aufgeregt sind, ist einfach: Das große Basismodell wurde ein ganzes Jahr lang eingeführt, aber im Jahr 2024 wird sich die Landschaft unerwartet weiterentwickeln und verändern.

HuggingFace-Mitbegründer Thomas Wolf sagte:

Die Situation im großen Modellbereich hat sich in letzter Zeit dramatisch verändert:

Anthropics Claude 3-Opus dominiert das Closed-Source-Modell.

Command R+ von Cohere hat sich zum stärksten unter den Open-Source-Modellen entwickelt.

Ich hätte nicht erwartet, dass sich das Team für künstliche Intelligenz im Jahr 2024 sowohl auf Open-Source- als auch auf Closed-Source-Routen so schnell entwickeln wird.

Bilder

Darüber hinaus wies Cohere Machine Learning Director Nils Reimers auch auf etwas hin, das Aufmerksamkeit verdient:

Das größte Merkmal von Command R+ ist die umfassende Optimierung des integrierten RAG (Retrieval Augmentation Generation) und Im großen Modellwettbewerb im Feld wurden Plug-in-Fähigkeiten wie RAG nicht in den Test einbezogen.

Bilder

RAG-Optimierungsmodell besteigt den Open-Source-Thron

In der offiziellen Positionierung von Cohere ist Command R+ ein „RAG-Optimierungsmodell“.

Das heißt, dieses große Modell mit 104 Milliarden Parametern wurde umfassend für die Technologie zur Generierung der Abrufverbesserung optimiert, um die Entstehung von Halluzinationen zu reduzieren, und ist besser für Arbeitslasten auf Unternehmensebene geeignet.

Wie beim zuvor gestarteten Command R beträgt die Kontextfensterlänge von Command R+ 128 KB.

Darüber hinaus verfügt Command R+ über die folgenden Funktionen:

• deckt mehr als 10 Sprachen ab, darunter Englisch, Chinesisch, Französisch, Deutsch usw.;
• kann Tools verwenden, um die Automatisierung komplexer Geschäftsprozesse abzuschließen

Von Die Testergebnisse: In den drei Dimensionen Mehrsprachigkeit, RAG und Tool-Nutzung hat Command R+ das Niveau von GPT-4 Turbo erreicht.

Aber gemessen an den Inputkosten beträgt der Preis für Command R+ nur 1/3 des GPT-4-Turbos.

In Bezug auf die Produktionskosten beträgt Command R+ die Hälfte des GPT-4-Turbos.

Bilder

Dies hat die Aufmerksamkeit vieler Internetnutzer auf sich gezogen:

Bilder

Trotz seiner auffälligen Leistung in menschlichen subjektiven Bewertungen wie der großen Modellarena sind einige Internetnutzer jedoch immer noch verwarf einige unterschiedliche Ansichten.

Bei HumanEval übertrafen die Codierungsfunktionen von Command R+ GPT-3.5 nicht einmal und belegten in den beiden Testreihen den 32. bzw. 33. Platz.

Die neueste Version von GPT-4 Turbo gewann ohne Spannung den ersten Platz.

Bilder

Darüber hinaus haben wir auch kurz die chinesischen Fähigkeiten von Command R+ am Mentally Retarded Benchmark getestet, der kürzlich in seriösen Veröffentlichungen aufgeführt wurde.

Bilder

Wie würden Sie es bewerten?

Es ist zu beachten, dass die Open Source von Command R+ nur für die akademische Forschung bestimmt ist und nicht für die kommerzielle Nutzung kostenlos ist.

Noch etwas

Lassen Sie uns zum Schluss noch mehr über den Weizenschneider reden.

Aidan Gomez, der jüngste der Transformer Knights of the Round Table, war gerade ein Student, als er dem Forschungsteam beitrat –

Allerdings trat er dem Hinton-Labor bei, als er ein Junior an der University of Toronto war.

Im Jahr 2018 wurde Kao Maozi an der Universität Oxford zugelassen und begann wie seine Abschlussarbeitspartner mit dem Doktoratsstudium in Informatik.

Aber im Jahr 2019, mit der Gründung von Cohere, entschied er sich schließlich, die Schule abzubrechen und sich der Welle des KI-Unternehmertums anzuschließen.

Cohere bietet hauptsächlich große Modelllösungen für Unternehmen und hat derzeit einen Wert von 2,2 Milliarden US-Dollar.

Referenz. Link:
[1]//m.sbmmt.com/link/3be14122a3c78d9070cae09a16adcbb1[2]//m.sbmmt.com/link/93fc5aed8c051ce4538e052cfe9f8692