Unterstützt die gleichzeitige Eingabe von 380.000 Wörtern! Tencent Hunyuan führt ein 256.000 langes Artikelmodell ein, das über Tencent Cloud für Unternehmen und einzelne Entwickler zugänglich ist

KIGroßmodelltechnologie wird zu einer Schlüsselkraft bei der Förderung der Entwicklung hochwertiger Produktivität und spielt eine wichtige Rolle bei der Integration mit Tausenden von Branchen. Das Hunyuan-Großmodell von Tencent hat das Modell durch die Übernahme der Struktur des Hybrid-Expertenmodells (MoE) auf eine Billionen-Parameterskala erweitert, wodurch die Kapazität von "brain" erhöht und gleichzeitig die Vorhersageleistung verbessert und die Kosten gefördert wurden Die Argumentation wird reduziert. Als allgemeines Vorbild ist Tencent Hunyuan branchenweit führend in der chinesischen Leistung, insbesondere in den Bereichen Textgenerierung, mathematische Logik und Dialog mit mehreren Runden.

Kürzlich hat Tencent Hunyuan Large Model das 256klange Textmodell offiziell veröffentlicht und steht den meisten Unternehmen und Einzelentwicklern über Tencent Cloud zur Unterstützung eines breiteren Spektrums an Innovationen und Anwendungen offen. Die Modellversion Tencent Hunyuan 256k ist in der Lage, extrem lange Texte mit mehr als 380000 Zeichen zu verarbeiten. In Konversationsanwendungsszenarien kann dieses Modell „ sich merken “ mehr Konversationsinhalte ermöglichen und so Informationen und andere Probleme effektiv vermeiden „ vergessen “ . Darüber hinaus verfügt es über hervorragende kontextbezogene Analysefunktionen, um den Gesprächsteilnehmern präziseres und relevanteres Feedback zu geben und ihnen dabei zu helfen, fundiertere Entscheidungen zu treffen.

Darüber hinaus zeigt diese Modellversion auch eine starke Leistung beim Leseverständnis langer Dokumente und bei der Analyse umfangreicher Daten. Es kann Fachkräften in den Bereichen Finanzen, Medizin, Bildung, Reisen und anderen Branchen eine starke Arbeitsunterstützung bieten und ihre Arbeitseffizienz erheblich verbessern. Das Modell wurde auch hinsichtlich der Inferenzleistung umfassend optimiert, um sicherzustellen, dass Benutzer in tatsächlichen Anwendungen auf Plattformen wie Tencent Cloud ein reibungsloseres und effizienteres Erlebnis genießen können.

Reduzieren Sie „Vergesslichkeit“ und machen Sie große Modelle intelligenter

Bei Produkten für große Modelle ist der Umgang mit Gesprächsanforderungen eine Kernfunktion. Aufgrund der Einschränkungen bei der Verarbeitung langer Texte neigen herkömmliche große Modelle jedoch dazu, während Gesprächen die Richtung zu verlieren oder ihnen das Gedächtnis zu fehlen Die Dauer des Gesprächs nimmt zu. Auch die Menge der vergessenen Informationen nimmt zu. Das Modell Tencent Hunyuan256k ist speziell für diese Herausforderung optimiert. Es übernimmt die fortschrittliche „Expert Hybrid“ (

) Architektur und integriert innovative Technologien wie RoPE-NTK und Flash Attention V2, die beide beibehalten die Fähigkeit, allgemeine Kurztexte (weniger als 4.000 Zeichen) effizient zu verarbeiten und gleichzeitig einen Durchbruch in der Tiefe und Breite der Langtextverarbeitung zu erzielen. Derzeit verfügt das große Modell von Tencent Hunyuan bereits über die Fähigkeit zum ultralangen Kontextverständnis von 256k, und die Anzahl der gleichzeitig verarbeiteten Zeichen übersteigt 38 Millionen. Die Nadel im Heuhaufen finden“

99,99 % erreicht, was auch international eine Spitzenposition einnimmt. Durch die kontinuierliche und stabile Iteration wird die Effizienz der Anwendung großer Modelle verbessert ) Struktur, und in diesem Prozess wurde eine große Anzahl selbst entwickelter Technologien angesammelt. In der Vorgängerversion 32K hat dieses Modell ähnliche Open-Source-Modelle auf dem Markt deutlich übertroffen und in einer Vielzahl von Anwendungsszenarien eine hervorragende Leistung gezeigt. Nach einer neuen Iteration beträgt Tencent Hunyuan 256k

GSB

-Bewertung im allgemeinen Bereich beträgt die Gewinnquote im Vergleich zur vorherigen Version 50,72 %. Gleichzeitig integriert der Trainingssatz von Tencent Hunyuan

256k hochwertige annotierte Daten wie Langtextdaten, Übersetzungsdaten und Fragen und Antworten aus mehreren Dokumenten in mehreren Bereichen wie Medizin und Finanzen, wodurch das Modell erstellt wird Praktischer in praktischen Anwendungen, insbesondere in der Medizin- und Finanzbranche, die eine häufige Analyse und Verarbeitung großer Mengen langer Textdaten erfordern, kann eine genauere und effizientere Arbeitsunterstützung bieten. Wenn beispielsweise ein von der Zentralbank herausgegebener Finanzbericht in das Tencent Hunyuan 256k-Modell eingegeben wird, kann das Modell die wichtigsten Punkte des Berichts schnell verfeinern und zusammenfassen und so eine beeindruckende Verarbeitungsgeschwindigkeit und Genauigkeit erreichen. Zufriedenstellendes Niveau.

Inferenzleistungsoptimierung, die bessere Fähigkeiten zum Verständnis großer Modelle bietet

Gleichzeitig wurde Tencent Hunyuan 256k in der Inferenzleistung tiefgreifend optimiert. Im INT8Präzisionsmodus erreichte die QPM (Abfragerate pro Sekunde) des Modells im Vergleich zur FP16Präzision eine deutliche Verbesserung von 23,9 %, während das erste Wort nur Es verbrauchte um 5,7 % erhöht. Diese Verbesserungen verbessern die Reaktionsfähigkeit und Gesamteffizienz des Modells in realen Anwendungen erheblich.

Nehmen Sie als Beispiel die Analyse von „The Romance of the Three Kingdoms“ 256k kann diesen klassischen Roman mit Hunderttausenden Wörtern schnell lesen und abrufen und nicht nur den Schlüssel genau identifizieren Charaktere und Ereignisse im Roman, selbst detaillierte Beschreibungen des Wetters, der Kleidung der Charaktere usw. können genaue Informationen liefern. Als Schlüsselkomponente neuer Produktivität spielen große Modelle eine entscheidende Rolle bei der Förderung der industriellen Modernisierung und der Erzielung einer qualitativ hochwertigen Entwicklung. Die Einführung des 256k

Derzeit ist das

lange Artikelmodell von Tencent Hunyuan für die Mehrheit der Unternehmen und Einzelentwickler über Tencent Cloud geöffnet. Benutzer können auf die hunyuan-Standardversion256klange Artikel zugreifen Modell eingeben. Dies ermöglicht mehr Entwicklern und Benutzern den einfachen Zugriff und die Nutzung der leistungsstarken Funktionen des Hunyuan-Modells von Tencent, wodurch intelligente Lösungen für alle Lebensbereiche bereitgestellt und die Realisierung innovativerer Anwendungsszenarien gefördert werden.