Bevor das Installationsvideo veröffentlicht wurde, startete Lehrer Li Mu einmal eine kleine Fragebogenumfrage, um die Preissenkung bei Grafikkarten zu nutzen und herauszufinden, wie interessiert Kinder an der Installation und dem Betrieb von Transformer sind.
Damals gefiel es sogar Huaweis talentiertem Jungen „Zhihui Jun“, was zeigt, dass sich alle immer noch darauf freuen.
Nein, Mu Shen ist hier mit seinem Installationsvideo. Wie kann man ein 10-Milliarden-Modell mit den niedrigsten Kosten trainieren?
Erst kürzlich kühlte sich der Währungskreis ab und auch die GPU-Preise sind deutlich gesunken. Beispielsweise liegt der Preis für die NVIDIA 3090TI jetzt bei 1.600 US-Dollar (ursprünglicher Preis liegt bei 2.000 US-Dollar).
Zu Beginn dieses Projekts wurden zwei Prototypmaschinen installiert, bei denen es sich jeweils um eine RTX 3090TI mit zwei Karten handelte, die zur Geräuschreduzierung ein wassergekühltes Kühlsystem verwendeten.
Die Kosten für die Installation einer Maschine betragen mehr als 5.000 US-Dollar, etwa 35.000 Yuan.
Werfen wir ohne Umschweife einen Blick darauf, wie Mu Shen installiert wird ~
Die erste Voraussetzung für die Installation ist, leise genug zu sein. Andernfalls wird es zu laut und Sie können nicht arbeiten.
Die zweite Voraussetzung ist eine gute Wärmeableitung. Andernfalls führt eine zu hohe Temperatur zu einer Untertaktung der GPU.
Der dritte Punkt ist, dass die Bandbreite der GPU gut genug sein muss, da wir ein relativ großes Transformer-Modell ausführen müssen.
Wenn Sie zuvor einen GPU-Server zur Ausführung von CNN installiert haben, gelten andere Anforderungen für die Ausführung des Transformer-Modells. Da das Transformer-Modell größer ist als das CNN-Modell, ist die Speichernutzung höher. Daher ist die Speichergröße der GPU sehr wichtig.
Mu Shen sagte zuvor auch, dass ein so großes Transformer-Modell auf mehreren GPUs trainiert werden muss. Ingenieure von Google, Microsoft usw. verwenden alle Maschinen wie DGA X100, um es auszuführen. Selbst auf solchen Maschinen bleibt die Bandbreite der GPU ein Flaschenhals.
Der Unterschied zwischen dem Kauf einer solchen Server-GPU und einer Spiele-GPU besteht darin, dass es bei ersterer nicht darum geht, wie schnell eine einzelne Karte laufen kann, sondern darum, wie schnell die Karten verbunden werden können.
Der Kernpunkt des Installationskonzepts besteht also darin, den GPU-Speicher so weit wie möglich zu erhöhen und die Bandbreite der Verbindung zwischen GPUs zu erhöhen.
Wenn eine Maschine viele Karten unterbringen möchte, Es ist notwendig, eine Turbine zur Wärmeableitung zu kaufen.
Wenn Sie leise sein möchten, kaufen Sie einen wassergekühlten Kühlkörper für 4 Yuan von 3090 TI. Der Vorteil der Verwendung einer Wasserkühlung besteht darin, dass sie relativ leise ist, der Nachteil ist jedoch, dass sie viel Platz beansprucht.
Wenn Sie also vier Karten in das Gehäuse stecken möchten, kaufen Sie nicht die wassergekühlte Version, sondern die Version mit nur einem Turbolüfter.
Und die Windrichtung im Fahrwerk ist ein besonders wichtiges Thema. Wenn Sie eine Karte mit drei Lüftern kaufen, dringt die Luft von vorne in das Gehäuse ein und leitet die Wärme dann aus allen Richtungen ab. Wenn die Karten zu nahe beieinander liegen, ist die Temperatur im Inneren des Gehäuses sehr hoch.
Mu Shen sagte auch, dass er vor vielen Jahren vier Karten mit zwei großen Fächern gekauft und sie zusammengefügt habe, wodurch eine Karte überhitzt und verbrannt sei.
Nach der Auswahl der GPU (ASUS ROG) ist die restliche Konfiguration relativ einfach. Die CPU ist eine 12-Kern-AMD-CPU, das Motherboard ist eine Marke namens PCIE 4.0 16, die Festplatte ist eine 2 TB M.2-Festplatte, der Lüfter ist ein wassergekühlter 120-mm-Lüfter und ein Gehäuse in voller Größe hinzugefügt.
Nachdem die Installationsliste fertiggestellt ist, ist der nächste Schritt der spezifische Installationsprozess. Die Schritte sind wie folgt:
Setzen Sie zuerst die GPU ein. Beachten Sie, dass Sie während des Platzierungsvorgangs keine Metallstellen mit den Händen berühren dürfen. Wenn statische Elektrizität vorhanden ist, führt dies leicht dazu, dass die GPU Elektrizität leitet.
Nach dem Einsetzen der GPU die Schrauben festziehen. Dann den Ventilator einbauen.
Nachdem Sie den Strom angeschlossen haben, binden Sie das Netzkabel und die Wasserleitung zusammen. Schließen Sie dann die NVLink-Brücke an.
Schließlich die Stromversorgung anschließen und die Maschine ist betriebsbereit.
Nach Abschluss der Installation besteht die nächste Aufgabe darin, mit der Installation des Betriebssystems fortzufahren.
Mushen installierte Ubuntu22 und stellte eine Remoteverbindung her.
Natürlich hat Mu Shen auch verschiedene Situationen ausführlicher erläutert. Neben Ubuntu22 sind auch Windows und Linux für unterschiedliche Anforderungen verfügbar.
Hier verwendet Mu Shen SSH für die Remoteverbindung.
Mushens System hat den Treiber bereits installiert. Gleichzeitig wies er auch darauf hin, dass man nvidia-driver-515 auch mit apt-get installieren kann.
Nach der Installation können Sie nvidia-smi ausführen und das System sehen.
Sie können daraus verschiedene Informationen einsehen. Zum Beispiel die Anzahl der GPUs, Temperatur, Wattzahl, Speichernutzung usw.
Als nächstes können Sie auch anhand der Topo-M-Matrix von nvidia-smi sehen, ob der NV-Link normal ist.
Sie können sehen, dass die beiden GPUs durch NV4 verbunden sind. 4 bedeutet 4 Kanäle, was bedeutet, dass die Verbindung normal ist.
Die nächste Frage besteht darin, die Temperatur des Systems unter Volllast zu testen.
Mushen sagte, dass die GPU mit einem kleinen Programm namens gpu-burn getestet wird, das von Github heruntergeladen werden kann.
Hier simulierte Mu Shen zehn Minuten lang und sah die Temperaturen der beiden GPUs. Mu Shen scherzte auch, dass man die heiße Luft aus der GPU spüren könne.
Ähnlich kann auch die CPU die Temperatur auf diese Weise testen, indem sie CPU-Burn verwendet.
Am Ende blieben die Temperaturen der beiden GPUs bei 58 Grad und 55 Grad und die Leistungsaufnahme erreichte mehr als 440 Watt (volle Leistungsaufnahme 480 Watt), was ziemlich gut ist.
Der letzte Parameter ist der Stromverbrauch der Maschine. Mu Shens Test verbrauchte etwa 1240 Watt, was 1,5 Kilowattstunden Strom pro Stunde bedeutet.
Nach den aktuellen Daten zu urteilen, ist die Stabilität in Ordnung.
Was die Leistung beim Ausführen von Transformer auf diesem Computer betrifft, müssen wir auf das nächste Video warten.
Nach der Veröffentlichung des Videos zeigten auch die Internetnutzer von Station B großes Interesse.
Ein Schülervertreter der perfekten Klasse erschien und listete die im Video erwähnte vollständige Konfigurationsliste auf. 
Einige Internetnutzer beeilten sich, um „Lernen Sie, die Maschine von Li Mu zu installieren“ anzusehen.
Mushen selbst sagte, dass er der Meinung sei, dass die 3090ti-Karte nicht sehr gut sei. Ein Internetnutzer kommentierte sofort: „Wenn es nicht funktioniert, rauchen Sie es einfach und verschenken Sie es.“
Natürlich müssen die Kommentare unter diesem Hardcore-Installationsvideo humorvoll sein.
Ich kann nur sagen, es ist so wahr.
Das obige ist der detaillierte Inhalt vonDas Installationsvideo von KI-Meister Li Mu ist da! Sie können auch 10 Milliarden große Modelle üben. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
