Sangfor und TrendForce bündeln ihre Kräfte, um Hochleistungsspeicher zur Unterstützung der Entwicklung großer KI-Modelle zu nutzen

Vor Kurzem haben Beijing Trendong Technology Co., Ltd. (im Folgenden „Trendong Technology“ genannt) und Sangfor offiziell eine gemeinsame Lösung auf den Markt gebracht. Diese Lösung kombiniert den Hochleistungsspeicher von Sangfor EDS mit der OrionX AI Computing-Ressourcen-Pooling-Software und der Gemini AI-Trainingsplattform. Ziel ist es, Speicher- und Computing-Ressourcen zu integrieren, um Benutzern beim Aufbau effizienter künstlicher Intelligenzplattformen und deren effektiver Verwaltung und Nutzung künstlicher Intelligenzressourcen zu helfen

Konkret wird die Einführung gemeinsamer Lösungen folgende Änderungen beim Aufbau der Nutzerinfrastruktur im Bereich der künstlichen Intelligenz mit sich bringen

Die leistungsstarke Gelenklösung ist bereit, eine effizientere Trainingsplattform zu schaffen

Da sich die Konstruktion groß angelegter Modelle für künstliche Intelligenz beschleunigt, stellen Benutzer immer höhere Anforderungen an die Effizienz des Modelltrainings für künstliche Intelligenz. Aufgrund von Problemen wie unzureichenden GPU-Rechenressourcen und unzureichender Lese- und Schreibleistung kleiner Dateien im zugrunde liegenden Speicher müssen jedoch viele Trainingsaufgaben auf der Trainingsplattform in die Warteschlange gestellt werden. Unzureichende Rechenleistung und Speicherkapazität verlangsamen die Trainingseffizienz der gesamten Trainingsplattform für künstliche Intelligenz

Um dieses Problem zu lösen, wurde die gemeinsame Lösung vollständig optimiert. Als Reaktion auf das Effizienzproblem der Trainingsplattform der oberen Ebene hilft die OrionX AI Computing Resource Pooling-Software von Trend Technology Benutzern dabei, GPU-Ressourcen flexibel entsprechend den Aufgabenbedingungen zuzuweisen, indem sie einen Computing-Ressourcenpool erstellt, um Ressourcensegmentierung, Aggregation, Remote-Anrufe usw. zu erreichen Super-Scoring, Aufgabenwarteschlange, dynamisches Mounten und Freigeben sowie inländisches heterogenes Pooling und andere Funktionen, um den Rechenleistungsbedarf verschiedener Trainingsaufgaben vollständig zu decken und den Fortschritt von Aufgaben zu beschleunigen. Gleichzeitig optimiert die von der Gemini AI-Trainingsplattform bereitgestellte Planungsfunktion den Verwaltungsmechanismus der Trainingsplattform. Unter einheitlicher Planung ist das Training von KI-Modellen effizienter

Durch den von EDS selbst entwickelten heuristischen Read-Ahead-Mechanismus und den Multi-Live-Metadatendienst können wir die Leistungsprobleme des zugrunde liegenden Speichers effektiv lösen. Selbst bei Dutzenden Milliarden Datensätzen können wir immer noch Hochgeschwindigkeits-Lese- und Schreibfunktionen bereitstellen. Auf diese Weise kann nicht nur die Wartezeit der GPU verkürzt, sondern auch der Durchsatz und die Trainingseffizienz des kurzfristigen Schleifentrainings verbessert werden

2. Kapazität und Leistung können gleichzeitig erweitert werden, um eine kostengünstige Speicherlösung zu schaffen

Um das Modell im täglichen Trainingsprozess für KI-Datensätze genauer zu machen, ist es häufig erforderlich, umfangreiche Bilder, Texte und andere Daten zum Trainieren des KI-Modells zu verwenden. Das schnelle Datenwachstum hat einen enormen Druck auf die Kapazität und Leistung des zugrunde liegenden Speichers ausgeübt. Das kostenintensive und ineffiziente Erweiterungsmodell des herkömmlichen Speichers wird immer schwieriger, die Leistungs- und Kapazitätsanforderungen zu erfüllen.

Mit vollständig selbst entwickelten Technologien wie Matrixspeicheralgorithmen kann EDS das Problem der Platzverschwendung, das durch die Schreibverstärkung kleiner Dateien beim Speichern kleiner Dateien wie Bilder, Texte und Videos verursacht wird, effektiv lösen und so die Speichernutzung maximieren Speicherplatz und ein aus drei Knoten bestehender Cluster können den Speicherbedarf eines mittelgroßen KI-Schulungsteams decken. Im Hinblick auf die Leistungserweiterung profitiert EDS auch von den architektonischen Vorteilen des softwaredefinierten Speichers und kann während der Erweiterung eine gleichzeitige Kapazitäts- und Leistungserweiterung erreichen und so flexibel auf die schnell wachsenden Leistungsanforderungen des KI-Geschäfts reagieren.

3. Einheitliche Verwaltung und umfassende Ausschöpfung des Datenwerts

Vor der Veröffentlichung der Lösung hat EDS über NFS CSI, S3 und andere Protokolle erfolgreich eine nahtlose Integration mit der Gemini AI-Trainingsplattform von Trend Technology erreicht. Durch umfassende Anpassung kann die Kubernetes-Container-Orchestrierungsplattform die dynamische Zuweisung von Speicherressourcen schneller abschließen. Benutzer können die Machbarkeitsstudie der Lösung während der Bereitstellung direkt überspringen und KI-Schulungsaufgaben schnell starten. Gleichzeitig unterstützt EDS auch die Dateninteroperabilität zwischen mehreren Protokollen. Die Ergebnisdaten jeder Stufe müssen nicht über Speicher hinweg kopiert werden, wodurch ein effizienter Fluss gewährleistet wird und eine effektive Nutzung gewährleistet wird Datenergebnisse, um den Wert von Daten einfacher zu ermitteln

In Zukunft werden die beiden Parteien auch die Zusammenarbeit im technischen Bereich stärken und Benutzern dabei helfen, die Aktualisierung und den Aufbau von KI-Trainingsplattformen zu beschleunigen, indem sie gemeinsame Lösungen mit höherer Speicherleistung bereitstellen, sodass mehr Benutzer schnellere und genauere Ergebnisse erzielen können Weg zum KI-Training. Stetige Fortschritte

Über Trend Technology: Trend Technology ist bestrebt, Benutzern die weltweit führenden KI-Rechenleistungsvirtualisierungs- und Ressourcenpooling-Lösungen auf Rechenzentrumsebene bereitzustellen. Derzeit nutzen viele führende Unternehmen und Anwender in den Bereichen künstliche Intelligenz, Internet, Betreiber, Finanzen, Automobil und autonomes Fahren, Bildung und anderen Branchen die KI-Computing-Ressourcen-Pooling-Lösung von OrionX

Das obige ist der detaillierte Inhalt vonSangfor und TrendForce bündeln ihre Kräfte, um Hochleistungsspeicher zur Unterstützung der Entwicklung großer KI-Modelle zu nutzen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!