Microsoft stellt das Phi-2-Modell mit 2,7 Milliarden Parametern vor, das viele große Sprachmodelle übertrifft

Microsoft hat ein Modell für künstliche Intelligenz namens Phi-2 veröffentlicht, dessen Leistung mit größeren und ausgereifteren Modellen, die 25-mal größer sind, vergleichbar ist oder diese sogar übertrifft.

Kürzlich gab Microsoft in einem Blogbeitrag bekannt, dass Phi-2 ein Sprachmodell mit 2,7 Milliarden Parametern ist. Im Vergleich zu anderen Basismodellen zeigt Phi-2 insbesondere in komplexen Benchmark-Tests eine verbesserte Argumentation, Sprachverständnis, Mathematik, Programmierkenntnisse und Allgemeinwissen. Jetzt wurde Phi-2 über den Modellkatalog von Microsoft Azure Artificial Intelligence Studio veröffentlicht, was bedeutet, dass Forscher und Entwickler es in Anwendungen von Drittanbietern integrieren können.

Phi-2 wurde 11 von Microsoft-CEO Satya Nadella gegründet. Es wurde erstmals veröffentlicht bei die Ignite-Konferenz im März. Die Leistung des Produkts beruht auf Daten in „Lehrbuchqualität“, wie Microsoft sie nennt, die speziell für die Datenerhebung entwickelt wurden und sich auch auf Erkenntnisse aus anderen Modellen stützen hängt von der Größe seiner Parameter ab. Im Allgemeinen bedeutet ein Modell mit mehr Parametern leistungsfähigere Fähigkeiten. Das Aufkommen von Phi-2 hat dieses traditionelle Konzept jedoch verändert. Microsoft sagte, dass Phi-2 in einigen Benchmark-Tests die Fähigkeit bewiesen habe, mit größeren Basismodellen mitzuhalten oder diese sogar zu übertreffen. Zu diesen Benchmarks gehören Mistral AIs 7-Milliarden-Parameter-Mistral, Meta Platforms' 13-Milliarden-Parameter-Llama-2 und übertrifft in einigen Benchmarks sogar den 70-Milliarden-Parameter-Llama-2. Eine überraschende Aussage mag sein, dass seine Leistung sogar Googles Gemini Nano am meisten übertrifft effizientes Modell der Gemini-Serie, das letzte Woche veröffentlicht wurde. Gemini Nano wurde für Aufgaben auf dem Gerät entwickelt und kann auf Smartphones ausgeführt werden. Es ermöglicht Funktionen wie Textzusammenfassung, erweitertes Korrekturlesen, Grammatikkorrektur und kontextbezogene intelligente Antworten.

Microsoft-Forscher sagten, dass die in Phi-2 enthaltenen Tests sehr umfangreich sind Sprachverständnis, Argumentation, Mathematik, Codierungsherausforderungen und mehr.

Das Unternehmen gibt an, dass Phi-2 so hervorragende Ergebnisse erzielt, weil es mit sorgfältig ausgewählten Daten auf Lehrbuchniveau trainiert wird, um Argumentation, Wissen und gesunden Menschenverstand zu lehren, was bedeutet, dass es aus weniger Informationen mehr lernen kann. Microsoft-Forscher verwendeten auch Techniken, die es ermöglichen, Erkenntnisse aus kleineren Modellen zu gewinnen.

Forscher wiesen darauf hin, dass es erwähnenswert ist, dass Phi-2 immer noch in der Lage ist, eine starke Leistung zu erzielen, ohne Techniken wie Verstärkungslernen oder auf menschlichem Feedback basierende Feinabstimmung von Anweisungen zu verwenden. Diese Techniken werden häufig verwendet, um das Verhalten von Modellen der künstlichen Intelligenz zu verbessern. Auch wenn diese Techniken nicht zum Einsatz kommen, erzielt Phi-2 im Vergleich zu anderen Open-Source-Modellen, die dies tun, dennoch eine gute Leistung bei der Reduzierung von Vorurteilen und schädlichen Inhalten. Das Unternehmen geht davon aus, dass dies auf die Anpassung des Data Wrangling zurückzuführen ist. Microsoft-Forscher bezeichnen Phi-2 als die neueste Version der „Small Language Model (SLM)“-Reihe. Phi-1, das erste Modell der Serie und erstmals Anfang des Jahres veröffentlicht, verfügt über 1,3 Milliarden Parameter und ist auf grundlegende Python-Codierungsaufgaben abgestimmt. Im September dieses Jahres brachte Microsoft Phi-1.5 auf den Markt, ein Modell mit 1,3 Milliarden Parametern, das mithilfe neuer Datenquellen trainiert wurde, darunter eine Vielzahl synthetischer Texte, die mit natürlicher Sprachprogrammierung generiert wurden. Microsoft sagte, dass Phi-2 aufgrund seiner hohen Effizienz ein Ideal sei Plattform für Forscher zur Erforschung von Bereichen wie der Verbesserung der Sicherheit künstlicher Intelligenz, der Interpretierbarkeit und der ethischen Entwicklung von Sprachmodellen.

Das obige ist der detaillierte Inhalt vonMicrosoft stellt das Phi-2-Modell mit 2,7 Milliarden Parametern vor, das viele große Sprachmodelle übertrifft. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!