Tencent stellt die neueste Trainingsmethode für große Modelle vor, die 50 % der Rechenleistungskosten einspart

Angesichts des Mangels an Rechenleistung ist die Frage, wie die Effizienz des Trainings und der Inferenz großer Modelle verbessert und die Kosten gesenkt werden können, zum Schwerpunkt der Branche geworden.

Am 23. November gab Tencent bekannt, dass Angel, das selbst entwickelte maschinelle Lernframework hinter Tencents Hunyuan-Großmodell, erneut aktualisiert wurde. Die Trainingseffizienz großer Modelle wurde auf das 2,6-fache der gängigen Open-Source-Frameworks erhöht. Durch Hunderte Milliarden große Modellschulungen können 50 % der Rechenleistungskosten eingespart werden. Der aktualisierte Angel unterstützt extrem umfangreiches Training auf der 10.000-ka-Ebene in einer einzigen Aufgabe und verbessert so die Leistung und Effizienz des dedizierten HCC-Großmodell-Computing-Clusters von Tencent Cloud weiter.

Gleichzeitig bietet Angel auch eine One-Stop-Plattform von der Modellentwicklung bis zur Anwendungsimplementierung und unterstützt Benutzer beim schnellen Aufrufen großer Modellfunktionen von Tencent Hunyuan über API-Schnittstellen oder bei der Feinabstimmung, wodurch die Erstellung großer Modellanwendungen beschleunigt wird. Tencent-Konferenzen, mehr als 300 Tencent-Produkte und -Szenarien, darunter Tencent News und Tencent Video, wurden mit internen Tests von Tencent Hunyuan verbunden.

Derzeit wurden relevante Funktionen über Tencent Cloud für die Außenwelt geöffnet. Basierend auf dem aktualisierten Angel-Framework für maschinelles Lernen kann die Tencent Cloud TI-Plattform bessere Trainings- und Inferenzbeschleunigungsfunktionen bieten und Kunden dabei unterstützen, ihre eigenen Daten für One-Stop-Training und Feinabstimmung zu verwenden und exklusive intelligente Anwendungen basierend auf Tencents Hunyuan Large zu erstellen Modell.

Das selbst entwickelte Framework für maschinelles Lernen wurde aktualisiert und die Effizienz des Trainings und der Inferenz großer Modelle wurde weiter verbessert

Mit dem Aufkommen der Ära großer Modelle sind die Modellparameter exponentiell gestiegen und haben erreicht Billionen-Ebene. Große Modelle entwickeln sich allmählich von der Unterstützung einer einzelnen Modalität und Aufgabe zur Unterstützung mehrerer Aufgaben in mehreren Modalitäten. Unter diesem Trend erfordert das Training großer Modelle eine enorme Rechenleistung, die weit über der Verarbeitungsgeschwindigkeit eines einzelnen Chips liegt, und der Kommunikationsverlust beim verteilten Training mit mehreren Karten ist enorm. Die Verbesserung der Auslastung von Hardwareressourcen ist zu einer wichtigen Voraussetzung für die Entwicklung und Praktikabilität der inländischen Großmodelltechnologie geworden.

Um große Modelle zu trainieren, hat Tencent ein Trainingsframework für maschinelles Lernen namens AngelPTM entwickelt, das den gesamten Prozess des Vortrainings, der Modellfeinabstimmung und des Verstärkungslernens beschleunigt und optimiert. AngelPTM nutzt die neueste FP8-Mixed-Precision-Trainingstechnologie, kombiniert die tiefgreifend optimierte 4D-Parallelität und den ZeROCache-Mechanismus, um die Speicherung zu optimieren. Es kann mit einer Vielzahl von Haushaltshardware kompatibel sein und mit weniger Ressourcen und höherer Geschwindigkeit trainieren Im April 2023 veröffentlichte Tencent Cloud eine neue Generation von HCC-Hochleistungs-Computing-Clustern für große Modelle, deren Leistung im Vergleich zur vorherigen Generation um das Dreifache verbessert wurde. Zusätzlich zu den Hardware-Upgrades hat HCC auch Optimierungen auf Systemebene an Netzwerkprotokollen, Kommunikationsstrategien, KI-Frameworks und Modellkompilierung durchgeführt und so die Kosten für Schulung, Optimierung und Rechenleistung erheblich gesenkt. AngelPTM hat zuvor Dienste über HCC bereitgestellt. Dieses Upgrade des Angel-Frameworks für maschinelles Lernen wird die Leistung des dedizierten Computerclusters von HCC für große Modelle weiter verbessern und Unternehmen dabei helfen, die praktische Anwendung großer Modelle zu beschleunigen Modellparameter Um die Probleme zunehmender Trainingsherausforderungen und steigender Argumentationskosten zu lösen, hat AngelHCF, das von Tencent selbst entwickelte Argumentationsframework für große Modelle, die Leistung durch die Erweiterung paralleler Fähigkeiten und die Einführung mehrerer Strategien zur Aufmerksamkeitsoptimierung verbessert. Gleichzeitig ist das Framework auch an eine Vielzahl von Komprimierungsalgorithmen angepasst, um den Durchsatz zu verbessern, wodurch eine schnellere Inferenzleistung und geringere Kosten erzielt werden und große Modellinferenzdienste unterstützt werden

Im Vergleich zu den gängigen Frameworks der Branche ist die Inferenzgeschwindigkeit von AngelHCF höher wird um das 1,3-fache verbessert. Bei der Anwendung des Hunyuan-Großmodells Wenshengtu von Tencent wurde die Inferenzzeit von ursprünglich 10 Sekunden auf 3 bis 4 Sekunden verkürzt. Darüber hinaus unterstützt AngelHCF auch eine Vielzahl flexibler Komprimierungs- und Quantisierungsstrategien für große Modelle sowie die automatische Komprimierung

Anwendungskonstruktion aus einer Hand, sodass große Modelle sofort verwendet werden können

Als praktische Ebene großes Modell, Tencent Hybrid Das Yuanda-Modell ist seit Beginn der Forschung und Entwicklung auf Anwendungsszenarien ausgerichtet und hat die Schwierigkeiten bei der praktischen Umsetzung großer Modelle gelöst. Tencent verfügt über viele Arten von Produkten und Anwendungen und einen großen Datenverkehr, was es sehr schwierig macht, das Modell tatsächlich zu „nutzen“. Basierend auf Angel hat Tencent eine One-Stop-Plattform für den Zugriff auf große Modelle und die Anwendungsentwicklung aufgebaut, einschließlich Diensten wie Datenverarbeitung, Feinabstimmung, Modellbewertung, Ein-Klick-Bereitstellung und sofortiger Wortoptimierung, sodass große Modelle verwendet werden können „out of the box“ werden möglich.

In Bezug auf den Modellzugriff bietet Tencent Hunyuan Large Model Modelle mit Größen von Hunderten von Milliarden, Dutzenden von Milliarden und Milliarden, die sich vollständig an die Anforderungen verschiedener Anwendungsszenarien anpassen. Mit einfacher Feinabstimmung können Sie Geschäftsanforderungen erfüllen und die Ressourcenkosten für Modelltraining und Inferenzdienste senken. In gängigen Anwendungsszenarien wie Fragen und Antworten und Inhaltsklassifizierung ist es kostengünstiger

Auf der Ebene der Anwendungsentwicklung wurden mehr als 300 Unternehmen und Anwendungsszenarien innerhalb von Tencent für interne Tests mit dem Tencent Hunyuan-Großmodell verbunden Im Vergleich zum letzten Monat hat sich die Zahl verdoppelt und umfasst mehrere Bereiche wie Textzusammenfassung, Zusammenfassung, Erstellung, Übersetzung und Codierung.

Im September 2023 wurde Tencent Hunyuan, ein von Tencent unabhängig entwickeltes praktisches Großmodell, offiziell vorgestellt und über Tencent Cloud eröffnet. Tencent Hunyuan hat eine Parameterskala von mehr als 100 Milliarden und der Korpus vor dem Training enthält mehr als 2 Billionen Token. Es integriert die unabhängige Technologieakkumulation von Tencent in Pre-Training-Algorithmen, Plattformen für maschinelles Lernen und zugrunde liegende Rechenressourcen und iteriert weiterhin in Anwendungen, um die Fähigkeiten groß angelegter Modelle kontinuierlich zu optimieren. Derzeit haben Kunden aus verschiedenen Branchen wie Einzelhandel, Bildung, Finanzen, medizinische Versorgung, Medien, Transport, Regierungsangelegenheiten usw. über Tencent Cloud auf das Großmodell von Tencent Hunyuan zugegriffen

Das obige ist der detaillierte Inhalt vonTencent stellt die neueste Trainingsmethode für große Modelle vor, die 50 % der Rechenleistungskosten einspart. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!