Anerkennung durch den ersten Preis des Science and Technology Progress Award: Tencent hat das Problem gelöst, große Modelle mit Billionen von Parametern zu trainieren

Die Liste der Gewinner der China Electronics Society 2023 Science and Technology Awards wurde bekannt gegeben. Dieses Mal haben wir eine bekannte Figur gefunden – die Tencent Angel Machine Learning Platform.

Angesichts der rasanten Entwicklung großer Modelle wird der Wissenschafts- und Technologiepreis an Forschungs- und Anwendungsprojekte für maschinelle Lernplattformen verliehen, was den Wert und die Bedeutung von Modelltrainingsplattformen voll und ganz bestätigt.

Der Wissenschafts- und Technologiepreis würdigt die Forschung und Anwendung von Plattformprojekten für maschinelles Lernen, insbesondere im Zusammenhang mit der schnellen Entwicklung groß angelegter Modelle, und erkennt den Wert und die Bedeutung von Modelltrainingsplattformen voll und ganz an.

Mit dem Aufstieg des Deep Learning haben große Unternehmen begonnen, die Bedeutung maschineller Lernplattformen für die Entwicklung der Technologie der künstlichen Intelligenz zu erkennen. Unternehmen wie Google, Microsoft und Nvidia haben ihre eigenen Plattformen für maschinelles Lernen eingeführt, um den Trainingsprozess von Modellen der künstlichen Intelligenz zu beschleunigen. Diese Plattformen bieten Entwicklern komfortable Unterstützung und ermöglichen es ihnen, komplexe Systeme der künstlichen Intelligenz schneller aufzubauen und zu optimieren. Dieser Trend hat dazu geführt, dass die Menschen der Entwicklung der Technologie des maschinellen Lernens mehr Aufmerksamkeit schenken und eine solide Grundlage für zukünftige Anwendungen der künstlichen Intelligenz gelegt haben.

Ab 2023 wird der Aufstieg von Großmodellen die Zunahme der Anzahl der Modellparameter weiter fördern. Große Unternehmen haben Modelle mit Parameterskalen von Hunderten von Milliarden oder sogar Billionen auf den Markt gebracht, und diese Modelle verwenden im Allgemeinen tiefe neuronale Netzwerkstrukturen. Allerdings hat diese Entwicklung auch zwei Kernprobleme mit sich gebracht: die Schwierigkeit des verteilten Trainings von Modellen und die Herausforderungen beim Modelldesign, die durch die Anwendungskomplexität verursacht werden.

Warum Angel Machine Learning Platform?

Ausführliche Erläuterung der vier Kerntechnologiedurchbrüche

Der aus einer Reihe von Akademikern und anderen maßgeblichen Experten bestehende Bewertungsausschuss ist der Ansicht, dass die Tencent Angel-Plattform für maschinelles Lernen technisch komplex, schwer zu entwickeln und innovativ ist und breite Anwendungsaussichten bietet. und die Gesamttechnologie hat das international fortgeschrittene Niveau erreicht, darunter die effiziente Cache-Planungs- und Verwaltungstechnologie für die All-to-All-Kommunikation, die adaptive Vorabtastung und die Technologie zur Suche nach Graphenstrukturen haben das international führende Niveau erreicht. El Tencent Angel-Plattformarchitektur

Die Angel-Plattform für maschinelles Lernen von Tencent verwendet eine verteilte Parameterserverarchitektur. Diese Architektur zeichnet sich durch die beiden Aufgaben der Speichermodellparameter und der Ausführungsmodelle aus, die auf verschiedenen Servern ausgeführt werden. Durch das Hinzufügen weiterer Server können größere Modelle mit höheren Rechenanforderungen unterstützt werden. Diese Architektur macht den Modelltrainingsprozess effizienter und kann große Datensätze und komplexe Modellberechnungen verarbeiten. Das Design des verteilten Parameterservers ermöglicht dem System eine gute Skalierbarkeit und Flexibilität und kann maschinelle Lernaufgaben unterschiedlichen Umfangs und Bedarfs erfüllen. Der Vorteil dieser Architektur besteht darin, dass sie Clusterressourcen effektiv nutzen, die Recheneffizienz verbessern und Benutzern eine schnellere und effizientere Bereitstellung bieten kann.

Angesichts der enormen Datenmenge und des Schulungsbedarfs für sehr große Modelle ist die Tencent Angel-Plattform für maschinelles Lernen im Netzwerk Kommunikation und Caching, Modell. Technische Durchbrüche wurden in Kernbereichen wie Speicherung und Planung, multimodalen Modellen und Fusion-Learning-Sortierung sowie groß angelegten Graphenmodellen und Struktursuchtechnologie erzielt.

Um die Trainingseffizienz zu verbessern, verwenden maschinelle Lernmodelle auf TB-Ebene normalerweise verteilte Trainingsmethoden, die eine große Anzahl von Parametern und Gradientensynchronisation erfordern. Am Beispiel des 1,8-T-Modells für Kilokalorientraining ist das IO-Kommunikationsvolumen erreicht 25 TB und das Zeitaufwandsverhältnis beträgt 53 %. Darüber hinaus haben diese in Verbindung mit der heterogenen Netzwerkumgebung zwischen verschiedenen Rechenleistungsclustern und unterschiedlichen Kommunikationsnetzwerkverzögerungen höhere Anforderungen an den Kommunikationsaufwand während des Modelltrainings gestellt. Die Tencent Angel-Plattform für maschinelles Lernen basiert auf der effizienten Kommunikations- und Cache-Planungsverwaltungstechnologie des Tencent Cloud Xingmai-Netzwerks, die das Problem des hohen Kommunikationsaufwands für das Modelltraining auf TB-Ebene effektiv lösen, die Netzwerkkommunikationszeit um 80 % reduzieren und eine verteilte Leistung erzielen kann Trainingsleistung, die die gängige Lösung in der Branche erreicht.

Unter den aktuellen Rechenleistungsbedingungen erreicht das Modell zwar das TB-Niveau, der Videospeicher der Mainstream-GPU beträgt jedoch immer noch nur 80 G und es gibt einen Engpass bei der Parameterspeicherung. Als Reaktion auf das Hauptproblem der Schwierigkeit beim Speichern von Modelltrainingsparametern auf Terabyte-Ebene schlägt die Tencent Angel-Plattform für maschinelles Lernen einen Speicherverwaltungsmechanismus aus einer einheitlichen Perspektive von Videospeicher und Hauptspeicher vor, der eine im Vergleich zum Modell verdoppelte Speicherkapazität erreicht Branche und eine Schulungsleistung, die doppelt so hoch ist wie die der gängigen Lösungen in der Branche.

Um ein großes Modell zu einem allgemeinen Modell zu entwickeln, ist es untrennbar mit der Verarbeitung multimodaler Daten verbunden. Die Ausrichtung, Fusion und das Verständnis verschiedener Modalitäten wie Text, Bilder, Videos und anderer Daten sind schwer zu verstehen. Beim Training multimodaler Modelle schlägt die Tencent Angel-Plattform für maschinelles Lernen eine Full-Link-Ranking-Werbeempfehlungstechnologie vor, die auf multimodalem Fusionslernen für Werbeszenarien basiert und dabei hilft, die Werbeerinnerungsrate um mehr als 40 % zu erhöhen.

Darüber hinaus hat die Tencent Angel-Plattform für maschinelles Lernen für das Diagrammmodelltraining für Empfehlungssysteme eine adaptive Diagrammnetzwerkstruktur-Suchtechnologie für Diagrammknoten entwickelt, die automatisch die optimale Struktur ausgeben und das „Diagrammproblem“ im TB-Diagramm lösen kann Modellanwendungen: „Data Mining ist schwierig“, die Modelltrainingsleistung ist um das 28-fache verbessert und weist im Branchenvergleich die beste Skalierbarkeit auf.

Der Weg zur Entwicklung der Tencent Angel-Plattform für maschinelles Lernen

Das große Tencent Hunyuan-Modell wurde auf Billionenmaßstab erweitert

Als Basisplattform der Tencent-Technologie für künstliche Intelligenz wurde die Tencent Angel-Plattform 2015 geboren und unterstützt PS-Worker Verteilungsformeltraining und das Training eines LDA-Modells mit Milliarden Parametern.

Im Jahr 2017 war das Angel-Framework Open Source auf Github und für Entwickler zugänglich. Gleichzeitig löste Angel technisch gesehen das Kommunikationsproblem unter heterogenen Netzwerken und verbesserte die Leistung weiter. Im Jahr 2019 gelang uns ein Durchbruch in der multimodalen Verständnistechnologie skalierbarer Graphenmodelle und wir lösten das Problem skalierbarer Graphenmodelle mit Billionen von Knoten. Im Jahr 2021 wird eine einheitliche Perspektivspeichertechnologie für den GPU-Speicher vorgeschlagen, um das Problem der Speicherung und Leistung großer Modellparameter zu lösen.

Bei der Entwicklung des großen allgemeinen Modells für künstliche Intelligenz von Tencent, Tencent Hunyuan, spielte auch die maschinelle Lernplattform Angel von Tencent eine wichtige Rolle.

Im September 2023 wurde das Hunyuan-Großmodell von Tencent offiziell der Öffentlichkeit vorgestellt. Der Pre-Training-Korpus umfasst mehr als 2 Billionen Token und verfügt über starke chinesische Verständnis- und Erstellungsfähigkeiten, logische Denkfähigkeiten und zuverlässige Aufgabenausführungsfähigkeiten.

Angesichts der Notwendigkeit, große Modelle von Tencent Hunyuan zu erstellen, hat die Plattform für maschinelles Lernen von Tencent Angel die selbst entwickelten Frameworks für maschinelles Lernen Angel PTM und Angel HCF für das Training und die Inferenz großer Modelle entwickelt, die ultragroße Einzelaufgaben auf 10.000-ka-Ebene unterstützen. Schulung im großen Maßstab und groß angelegte Bereitstellung von Scale-Inferenzdiensten. Die Effizienz des Trainings großer Modelle wird auf das 2,6-fache der gängigen Open-Source-Frameworks gesteigert. Durch das Training von Hunderten Milliarden großen Modellen können 50 % der Rechenleistungskosten eingespart werden. Nach dem Upgrade wird ein Training im extrem großen Maßstab mit 10.000 Karten unterstützt pro Aufgabe. In Bezug auf die Argumentation wurde die Argumentationsgeschwindigkeit der Tencent Angel-Plattform für maschinelles Lernen um das 1,3-fache erhöht. Bei der Anwendung des großen Tencent Hunyuan-Modells Wenshengtu wurde die Argumentationszeit von ursprünglich 10 Sekunden auf 3 bis 4 Sekunden verkürzt.

Darüber hinaus bietet Angel auch eine One-Stop-Plattform von der Modellentwicklung bis zur Anwendungsimplementierung und unterstützt Benutzer dabei, die Funktionen großer Tencent Hunyuan-Modelle schnell über API-Schnittstellen oder Feinabstimmungen aufzurufen, wodurch die Erstellung großer Modellanwendungen, Tencent-Konferenzen und Tencent beschleunigt wird Nachrichten, Tencent Video und mehr als 400 Tencent-Produkte und -Szenarien wurden mit internen Tests von Tencent Hunyuan verbunden.

Tencent Hunyuan hat das Modell durch die Einführung einer Mixed-Expert-Model-Struktur (MoE) auf Billionen von Parametern erweitert und so die Leistungsverbesserung und die Reduzierung der Inferenzkosten gefördert. Als allgemeines Modell ist Tencent Hunyuan branchenführend in der chinesischen Leistung, insbesondere in den Bereichen Textgenerierung, mathematische Logik und Dialog mit mehreren Runden. Derzeit entwickelt Tencent Hunyuan auch aktiv multimodale Modelle, um die Möglichkeiten von Vincent-Bildern und Vincent-Videos weiter zu verbessern.

Tencents große Anzahl an Anwendungsszenarien bietet Experimentierfeld für die Implementierung der Tencent Angel-Plattform für maschinelles Lernen. Zusätzlich zum Hunyuan-Großmodell von Tencent unterstützt die maschinelle Lernplattform Angel von Tencent auch Produkte wie Tencent-Werbung und Tencent-Konferenzen und bedient über Tencent Cloud mehrere Branchen und Unternehmenskunden und unterstützt so die digitale und intelligente Entwicklung aller Lebensbereiche.

Nehmen Sie Tencent Advertising als Beispiel: Mithilfe innovativer Technologien wie Tencent Angels maschinellem Lernen, flach verteilter Trainingsoptimierung und multimodalem Verständnis von Graph Data Mining wurde die Trainingsgeschwindigkeit multimodaler großer Modelle in Werbegeschäftsszenarien um das Fünffache erhöht , und die Modellgröße wurde um das Zehnfache erhöht, wodurch eine deutliche Steigerung der Werbeerinnerung erreicht wurde.

Das obige ist der detaillierte Inhalt vonAnerkennung durch den ersten Preis des Science and Technology Progress Award: Tencent hat das Problem gelöst, große Modelle mit Billionen von Parametern zu trainieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!