Wenn 2023 als das erste Jahr der KI anerkannt wird, dann dürfte 2024 ein Schlüsseljahr für die Popularisierung großer KI-Modelle sein.
Im vergangenen Jahr sind zahlreiche große KI-Modelle und zahlreiche KI-Anwendungen entstanden. Hersteller wie Meta und Google haben auch damit begonnen, ihre eigenen großen Online-/Lokalmodelle der Öffentlichkeit zugänglich zu machen Konzepte der „KI-künstlichen Intelligenz“ Der Begriff der Unerreichbarkeit kommt den Menschen plötzlich in den Sinn.
Heutzutage sind Menschen in ihrem Leben zunehmend künstlicher Intelligenz ausgesetzt. Wenn Sie genau hinschauen, werden Sie feststellen, dass fast alle der verschiedenen KI-Anwendungen, auf die Sie Zugriff haben, in der „Cloud“ bereitgestellt werden. Wenn Sie ein Gerät bauen möchten, mit dem große Modelle lokal betrieben werden können, handelt es sich bei der Hardware um brandneue AIPCs mit einem Preis von mehr als 5.000 Yuan, was für normale Verbraucher nicht gerade günstig ist.
(Fotoquelle: Google)
Aber das Budget aufs Äußerste zu komprimieren und dann eine „brauchbare“ Konsole zusammenzustellen, ist der ultimative Spaß für jeden Heimwerker. Die Frage ist nun: Wie viel wird es kosten, wenn Sie wirklich einen Computer haben möchten, der ein großes Sprachmodell lokal ausführen kann?
Mein Budget beträgt - 300 Yuan.
Obwohl die Preise für ernsthafte Speicher-/Speicherprodukte in letzter Zeit gestiegen sind, hat sich der Preis für ausländische Müll-CPUs und Mining-Karten-GPUs nicht wesentlich verändert. Im Kontext des aktuellen KI-Trends bin ich nicht einmal bereit, mich an die Audio- und Videoanforderungen des Büros zu halten, und beschloss, mich mit einem Budget von 300 Yuan der Herausforderung zu stellen, einen kostengünstigen lokalen Großmodell-Host der Einstiegsklasse zu bauen .
Was den konkreten Vorgang betrifft und ob das Endergebnis zufriedenstellend ist, erfahren Sie natürlich, nachdem Sie mir gefolgt sind.
Was die CPU-Auswahl betrifft, habe ich mir direkt einen Intel® Core™ i3-4170T von Xianyu geholt.
Dieser Prozessor verfügt über zwei Kerne und vier Threads, eine Hauptfrequenz von 3,2 GHz, keine Turbofrequenzfähigkeit, einen 3 MB großen Smart-Cache und eine Haswell-Architektur mit 22-nm-Prozesstechnologie. Das größte Merkmal ist, dass er über ein HD4400-Kerndisplay verfügt Deshalb habe ich mich für den Schlüssel entschieden.
(Fotoquelle: Lei Technology)
Wie das Sprichwort sagt, kommt ein preisgünstiges U mit günstigen Platinen. Das Motherboard, das ich ausgewählt habe, ist ein ASUS Work Package H81M-V3-Motherboard. und es gibt nur zwei. Ganz zu schweigen vom DDR3-Speichersteckplatz, es gibt keine HDMI-Ausgangsschnittstelle oder einen M2-Festplattensteckplatz. Es gibt nur zwei USB 3.0- und SATA III-Schnittstellen. Der größte Vorteil dieser Sache ist der supergünstige Gebrauchtpreis .
Dieses Board-U-Set kostet insgesamt weniger als 80 Yuan und das Preis-Leistungs-Verhältnis ist auch heute noch hervorragend.
(Quelle: Taobao)
Mit dieser Art von CPU müssen Sie sich nicht allzu viele Gedanken über die Wärmeableitung machen.
Die von Xianyu in 20er-Packs gelieferte Push-Down-Luftkühlungs-Wärmeableitung sieht zwar etwas hässlich und grob aus, ist aber definitiv mehr als genug, um meine Ultra-Low-Price-Konfiguration zu unterdrücken.
(Fotoquelle: Lei Technology)
Was die Grafikkarte betrifft, wurden kürzlich viele P106-090/P106-100-Mining-Karten auf Xianyu veröffentlicht, darunter der Preis von Ersteres liegt im Allgemeinen bei etwa 120 Yuan. Da ich dieses Mal nicht für Spiele gedacht war, habe ich mich schließlich für eine Zotac P106-090-Mining-Karte entschieden Gaming, aber der Preis stimmt.
Zuletzt statten Sie es einfach mit zwei No-Name-DDR3-Speichern aus, um einen Dual-Channel-Speicher zu bilden, verwenden ein 350-W-Great-Wall-Netzteil zur Stromversorgung, eine 120-GB-SATA-SSD als Systemfestplatte und begnügen sich mit dem Großes Buffalo-Silikonfett, das von der letzten Installation übrig geblieben ist, und schließlich ein kleines Computer-City-Gehäuse für 20 Yuan hinzufügen, und wir haben die gesamte grundlegende Hardware für eine 300-Yuan-Installation.
(Fotoquelle: Lei Technology)
Komplette Installation, Beleuchtung des Chassis!
Lassen Sie uns zunächst einen einfachen Leistungstest durchführen. Als Veteran, der viele Jahre im Dienst war, ist die Leistung des Intel® Core™ i3-4170T einfach so. Selbst wenn der Stromverbrauch mit TrottlesStop freigeschaltet ist Fast gleichwertig mit mobilen End-End-Prozessoren der 6. Generation und Core 7. Generation.
(Fotoquelle: Lei Technology)
In der tatsächlichen Testsitzung betrug der Single-Core-Lauf-Score des CPU-Z-Tests 319,9 Punkte und der Multi-Core-Lauf-Score 881,0 Punkte. Gemäß dem CINEBENCH-Teststandard betrug der CINEBENCH R20 Multi-Core 732cb, Single-Core. Kern 301cb. Natürlich ist diese Leistung nicht überragend, für die tägliche Büroarbeit und leichte Unterhaltung reicht sie jedoch vollkommen aus.
(Fotoquelle: Lei Technology)
Was den GPU-Teil angeht, wird der Zotac P106-090 im 16-nm-Verfahren hergestellt. Der Grafikkartenkern ist GP106 und die Kernfrequenz ist 1354 MHz, kann auf 1531 MHz erhöht werden, verfügt über 768 Schattierungseinheiten, unterstützt DirectX12, die Speicherspezifikation beträgt 3072 MB/192 Bit Samsung GDDR5-Speicher und die Speicherfrequenz kann 2002 MHz erreichen.
(Quelle: Lei Technology)
Es ist erwähnenswert, dass die Schnittstelle von P106-090 PCI-E x4 1.1 ist, während die Schnittstelle von P106-100 PCI-E x16 1.1 ist Dies führt zu einem relativ offensichtlichen Leistungsunterschied zwischen den beiden, selbst wenn sie den gleichen Kern haben. Ich habe mich einfach für die P106-090-Grafikkarte entschieden, weil sie CUDA-Rechenleistung zu einem extrem niedrigen Preis bereitstellen kann.
Wie in der Abbildung gezeigt, erreichte P106-90 im Fire Strike-Test zur Bewertung der DX11-Leistung einen Grafikwert von 3287 Punkten, im Time Spy-Test zur Bewertung der DX12-Leistung erreichte P106-90 Ein Grafik-Score von 3287 Punkten im Basistest. Im Test wurde ein Grafik-Score von 2251 Punkten erreicht. Diese Leistung ähnelt der der GTX1050, es gibt jedoch eine gewisse Lücke zur Kern-Display-Leistung des R5-7640H.
(Quelle: Lei Technology)
In Bezug auf den Speicher haben wir 40 Yuan ausgegeben, um diese 128-GB-Sata-SSD-Festplatte eines Fremdherstellers mit sequentiellen Lese- und Schreibgeschwindigkeiten von 505,28 MB/s zu kaufen. s und 400,09 MB/s, zufälliges 4K-Lesen und Schreiben erreicht 132,35 MB/s und 244,29 MB/s. Obwohl es nicht mit einer M2-SSD-Festplatte vergleichbar ist, ist es definitiv mehr als genug als Systemstartfestplatte.
(Quelle: Lei Technology)
Für dieses Paar Dual-Channel-DDR3-Speicher wurde AIDA64 für den Speicher-Cache-Test verwendet. Die gemessene Lesegeschwindigkeit betrug 20894 MB/s Die Schreibgeschwindigkeit betrug 20894 MB/s, die Kopiergeschwindigkeit 20901 MB/s und die Latenz 67,5 ns, was für diesen Computer genau richtig ist. (Bildquelle: Lei Technology) -Modell-Spielekonsole, daher ist das tatsächliche Erlebnis definitiv das, worauf wir am meisten achten.
Probieren Sie zunächst Koblodcpp aus, ein llamacpp-Startprogramm, das die Koblod.AI-Schnittstelle integriert. Es kann lokale große Modelle im GGUF-Format ausführen, die derzeit im Internet beliebt sind. Es kann sogar große Sprachmodelle integrieren zu erreichende Modelle Während eines Gesprächs werden die Stimme und entsprechende Szeneneffekte generiert.
Leider übersteigt die Kapazität der derzeit auf Huggingface geteilten Modelle im großen GGUF-Format im Allgemeinen 3 GB, auch wenn die ausgewählte Kapazität nur etwa 5 GB beträgt. Das causallm_7b-Modell Dennoch führt dies dazu, dass der Grafikkartenspeicher überläuft und die CPU in die Berechnungen eingreift, was letztendlich zu einer Verringerung der Betriebseffizienz des gesamten großen Modells führt.
(Quelle: Lei Technology)
In diesem Modus erreicht die längste Antwort von Kobold.AI etwa 599 Sekunden (also 10 Minuten), und die kürzeste Antwort dauert auch Die Generierung dauert etwa 50 Sekunden, was deutlich von den durchschnittlichen 10 Sekunden für die Bereitstellung von Antworten bei großen Cloud-Modellen abweicht.
In diesem Fall können wir uns genauso gut mit dem nächstbesten zufrieden geben und den Intel AIGC Assistant verwenden, um das lokale große Sprachmodell zu erleben. Dies ist eine Demo, die eine Vielzahl lokaler großer Sprachmodelle integriert und auf die Ausführung ohne ausgelegt ist Anbindung an das Netzwerk realisieren intelligenten Mensch-Maschine-Dialog.
Wenn das Computernetzwerk ausgeschaltet ist, können nachfolgende Fragen, mit Ausnahme der ersten Bereitstellung eines großen Modells, die eine gewisse Zeit in Anspruch nimmt, grundsätzlich innerhalb von 5 Sekunden beantwortet werden, sei es beim Beantworten von Fragen, beim Übersetzen oder beim Schreiben , es ist sehr schnell, obwohl bei der Lösung einiger Denksportaufgaben oder Rechenaufgaben immer noch logische Fehler auftreten, ist das Gesamterlebnis in diesem Fall viel besser als zuvor.
(Fotoquelle: Lei Technology)
Erweiterte Funktionen wie Charakterkarten und Aufforderungswörter sind natürlich definitiv nicht verfügbar.
Schauen wir uns noch einmal die KI-Malerei an. Ich verwende hier den von bilibili UP integrierten Huiyo-Launcher, der Stablediffsion-WebUI, verschiedene SD-Plug-In-Downloads und Modell-Remote-Nutzung integriert. ein Launcher-Gerät.
... Der tatsächlich gemessene P106-90 benötigt etwa drei Minuten, um vier 128*160-Bilder zu erzeugen, sieben bis acht Minuten, um vier 240*320-Bilder zu erzeugen, und etwa sechs Minuten, um ein 512*512-Bild zu erzeugen.
(Bildquelle: Lei Technology)
Aus tatsächlicher Erfahrung empfehle ich persönlich, mit 128 * 160 Bildern zu beginnen und gleichzeitig Aufforderungswörter und Plug-Ins zu reduzieren, wenn Sie auf ein geeignetes Bild stoßen Anschließend wird ein einzelnes Bild einer KI-Aktualisierung und Neuzeichnung unterzogen, sodass das Gesamterlebnis recht gut ist. Andernfalls ist die Wahrscheinlichkeit, dass das Bild verworfen wird, im Allgemeinen nicht hoch, wenn das Bild mit der Spezifikation 512 * 512 generiert wird.
(Quelle: Lei Technology, mit SD generierte Bilder)
Wie sieht es mit dem Spielerlebnis aus, da das lokale Großmodell verwendet werden kann?
(Quelle: Lei Technology)
Wenn wir uns das Rennspiel noch einmal ansehen, haben wir in „F1 2020“ die mittlere Qualität 1920*1080 aktiviert und einen Test an einem sonnigen Tag mit dem Australier durchgeführt Die endgültige durchschnittliche Bildrate kann 59 fps erreichen, und selbst diese Mining-Karte, die schon oft im Einsatz war, kann reibungslos laufen.
(Fotoquelle: Lei Technology)
Als Standard-Testspiel hat „Shadow of the Tomb Raider“ diesen Test natürlich nicht verpasst. Ohne FSR zu aktivieren und standardmäßig die niedrigste Bildqualität von 1920 x 1080 zu verwenden, beträgt die durchschnittliche Bildrate dieses Computers, auf dem der Spiele-Benchmark-Test durchgeführt wird, 50 fps, was einem stabilen 60 fps-Spielerlebnis unter diesen 3A-Spielen am nächsten kommt.
(Fotoquelle: Lei Technology)
Zum Schluss noch eine schwierige Frage, „Horizon: Zero Dawn“, denn die niedrigste Bildqualität sprengt auch den Videospeicher, mit dem dieser Computer läuft 1280 *Bei der niedrigsten Bildqualität von 720 kann es kaum die Grenze von 30 fps erreichen, was man nur als ungeeignet für Spiele bezeichnen kann.
(Fotoquelle: Lei Technology)
Im Allgemeinen ist die tatsächliche Leistung des P106-090 aufgrund starker Bandbreitenbeschränkungen nicht so gut wie die der GTX1050, die ähnliche Laufwerte aufweist Es ist etwas stärker als das Iris
2. Der Mining-Kartentreiber ist sehr leicht zu verlieren und es treten von Zeit zu Zeit Probleme mit dem weißen Bildschirm auf.
Kann dieser Computerhost mit einem Budget von 300 Yuan verwendet werden?
(Fotoquelle: Lei Technology)
Bin ich also mit diesem Computerhost zufrieden?
Die Antwort lautet „Nein“. Während der tatsächlichen Verwendung kam es bei der P106-90-Mining-Karte mehrmals zu Treiberausfällen, was zu einem weißen Bildschirm auf dem Computer führte. Es ist notwendig, den Treiber mit DDDU zu deinstallieren und dann neu zu installieren. Wenn dies im Test nur ein wenig mühsam ist, ist es im täglichen Gebrauch definitiv schwer zu akzeptieren.
Es ist erwähnenswert, dass es derzeit auf Xianyu viele ausländische Müllmaschinen mit ähnlichen Konfigurationen wie die von mir zusammengestellte Maschine gibt. Der Preis liegt im Allgemeinen bei etwa 350-400 Yuan und die Zielgruppe ist offensichtlich nur ... Für junge Menschen Menschen, die studieren oder nicht in der Gesellschaft sind, empfehle ich persönlich, diese Produkte nicht zu kaufen. Es ist kein Scherz, dass man das bekommt, wofür man bezahlt.
Letztendlich ist das Aufsammeln von Müll riskant, Sie müssen also vorsichtig sein, bevor Sie ins Auto steigen. Für Spieler, die es satt haben, mit High-End-Computern zu spielen, ist es immer noch sehr interessant, gelegentlich mit dem Garbage Collector zu spielen, aber das dient nur dem Spaß und sie sind eigentlich nicht dafür gedacht, über einen längeren Zeitraum als Hauptmaschine verwendet zu werden Schließlich ist das Zubehör des Müllsammlers in einem schlechten Zustand und es gibt keine Garantie. Wenn Sie aufgrund seines Ausfalls wichtige Daten verlieren, ist es den Verlust wert.
Wenn man jedoch ein Budget von 300 Yuan verwendet, um den Versuch abzuschließen, einen lokalen Großmodell-PC zu betreiben, zeigt sich bis zu einem gewissen Grad, dass die Hardwareleistung möglicherweise nicht der Hauptfaktor ist, der die Entwicklung eines KI-PCs einschränkt. Zumindest in den Nutzungsszenarien normaler Verbraucher sollten PC-Hersteller, anstatt die Rechenleistung zu verbessern, den Benutzern helfen, das Framework und die Umgebung großer KI-Modelle aufzubauen und den Benutzern ein besseres Erlebnis in Bezug auf Systeme und Software zu bieten. Mit anderen Worten: Der KI-PC sollte etwas sein, das Benutzer sofort nutzen können, anstatt selbst einen DIY-PC zusammenzubauen.
Das obige ist der detaillierte Inhalt vonDer Computer, für dessen Zusammenbau ich 300 Yuan ausgegeben habe, lief erfolgreich durch das lokale Großmodell. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
