Technologie-Peripheriegeräte
KI
SDXL Turbo und LCM läuten die Ära der Echtzeitgenerierung von KI-Zeichnungen ein: So schnell wie das Tippen, werden Bilder sofort präsentiert
SDXL Turbo und LCM läuten die Ära der Echtzeitgenerierung von KI-Zeichnungen ein: So schnell wie das Tippen, werden Bilder sofort präsentiert
Stability AI hat am Dienstag eine neue Generation von Bildsynthesemodellen auf den Markt gebracht – Stable Diffusion XL Turbo, die bei den Menschen begeisterte Resonanz hervorgerufen hat. Viele Leute sagten, dass die Verwendung dieses Modells für die Bild-zu-Text-Generierung noch nie so einfach war.
Geben Sie Ihre Ideen in das Eingabefeld ein. SDXL Turbo reagiert schnell und generiert den entsprechenden Inhalt ohne weitere Vorgänge. Unabhängig davon, ob Sie mehr oder weniger Inhalte eingeben, hat dies keinen Einfluss auf die Geschwindigkeit.


Sie können vorhandene Bilder verwenden, um Ihre Kreation detaillierter zu vervollständigen. Nehmen Sie einfach ein weißes Blatt Papier und sagen Sie SDXL Turbo, dass Sie eine weiße Katze möchten. Bevor Sie mit dem Tippen fertig sind, ist die kleine weiße Katze bereits in Ihren Händen erschienen. Die Geschwindigkeit des SDXL Turbo-Modells erreicht fast „in Echtzeit“, und die Leute kommen nicht umhin, sich zu fragen: Kann das Bilderzeugungsmodell für andere Zwecke verwendet werden? Jemand hat sich direkt mit dem Spiel verbunden und einen Übertragungsbildschirm im 2-fps-Stil erhalten: Dem offiziellen Blog zufolge kann SDXL Turbo auf dem A100 ein 512x512-Bild in 207 Millisekunden erzeugen (On-the-Fly-Kodierung + einzelner Entrauschungsschritt + Dekodierung, fp16), wovon eine einzelne UNet-Vorwärtsauswertung 67 Millisekunden dauert.
Auf diese Weise können wir beurteilen, dass Vincent Picture in die „Echtzeit“-Ära eingetreten ist.
Eine solche „Instant Generation“-Effizienz ähnelt in gewisser Weise dem Tsinghua LCM-Modell, das vor nicht allzu langer Zeit populär wurde, aber der technische Inhalt dahinter ist anders. In einem gleichzeitig veröffentlichten Forschungsbericht erläuterte Stability das Innenleben des Modells detailliert. Die Forschung konzentriert sich auf eine Technologie namens Adversarial Diffusion Distillation (ADD). Einer der behaupteten Vorteile von SDXL Turbo ist seine Ähnlichkeit mit generativen kontradiktorischen Netzwerken (GANs), insbesondere bei der Generierung einstufiger Bildausgaben.
Papieradresse: https://static1.squarespace.com/static/6213c340453c3f502425776e/t/65663480a92fba51d0e1023f/1701197769659/adversarial_diffusion_distillation. pdf

Details zum Papier
Kurz gesagt, kontradiktorische Diffusionsdestillation ist Eine allgemeine Methode, die die Anzahl der Inferenzschritte eines vorab trainierten Diffusionsmodells auf 1–4 Stichprobenschritte reduzieren kann, während gleichzeitig eine hohe Stichprobentreue erhalten bleibt und die Gesamtleistung des Modells möglicherweise weiter verbessert wird.
Zu diesem Zweck führten die Forscher eine Kombination aus zwei Trainingszielen ein: (i) gegnerischer Verlust und (ii) Destillationsverlust entsprechend SDS. Der gegnerische Verlust zwingt das Modell dazu, bei jedem Vorwärtsdurchlauf direkt Proben zu generieren, die auf der realen Bildmannigfaltigkeit liegen, wodurch Unschärfen und andere Artefakte vermieden werden, die bei anderen Destillationsmethoden häufig auftreten. Der Destillationsverlust nutzt ein anderes vorab trainiertes (und festes) Diffusionsmodell als Lehrer, nutzt dessen umfangreiches Wissen effektiv und behält die starke Zusammensetzung bei, die in großen Diffusionsmodellen beobachtet wird. Während des Inferenzprozesses verwendeten die Forscher keine klassifikatorfreie Führung, was den Speicherbedarf weiter reduzierte. Sie behalten die Fähigkeit des Modells bei, Ergebnisse durch iterative Verfeinerung zu verbessern, ein Vorteil gegenüber früheren GAN-basierten Einzelschrittansätzen.
Die Trainingsschritte sind in Abbildung 2 dargestellt: 
Tabelle 1 zeigt die Ergebnisse des Ablationsexperiments:
Der nächste Schritt ist ein Vergleich mit anderen SOTA-Modellen. Hier verwendeten die Forscher keine automatisierten Indikatoren, sondern wählten eine zuverlässigere Methode zur Bewertung der Benutzerpräferenzen.
Um mehrere verschiedene Modellvarianten (StyleGAN-T++, OpenMUSE, IF-XL, SDXL und LCM-XL) zu vergleichen, verwendet das Experiment dieselbe Eingabeaufforderung, um die Ausgabe zu generieren. In Blindtests schlug der SDXL Turbo die 4-Stufen-Konfiguration des LCM-XL in einem einzigen Schritt und die 50-Stufen-Konfiguration des SDXL in nur 4 Schritten. Aus diesen Ergebnissen ist ersichtlich, dass SDXL Turbo modernste mehrstufige Modelle übertrifft und gleichzeitig den Rechenaufwand ohne Einbußen bei der Bildqualität deutlich reduziert Diagramm der Ergebnisse

In Tabelle 2 wird ein Vergleich verschiedener Methoden zur Probenahme und Destillation in wenigen Schritten unter Verwendung desselben Basismodells durchgeführt. Die Ergebnisse zeigen, dass die ADD-Methode alle anderen Methoden übertrifft, einschließlich des 8-stufigen Standard-DPM-Lösers. Die Fähigkeit von XL, die Erstmuster zu verbessern. Abbildung 3 vergleicht ADD-XL (1 Schritt) mit der derzeit besten Basislinie in Schemata mit wenigen Schritten. Abbildung 4 beschreibt den iterativen Sampling-Prozess von ADD-XL. Abbildung 8 bietet einen direkten Vergleich von ADD-XL mit seinem Lehrermodell SDXL-Base. Wie Benutzerstudien zeigen, übertrifft ADD-XL das Lehrermodell sowohl in der Qualität als auch in der schnellen Ausrichtung.


Weitere Forschungsdetails finden Sie im Originalpapier
Das obige ist der detaillierte Inhalt vonSDXL Turbo und LCM läuten die Ära der Echtzeitgenerierung von KI-Zeichnungen ein: So schnell wie das Tippen, werden Bilder sofort präsentiert. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undress AI Tool
Ausziehbilder kostenlos
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Clothoff.io
KI-Kleiderentferner
Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao
Apr 09, 2024 am 11:52 AM
KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.
Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend
Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo
May 07, 2024 pm 04:13 PM
Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt
Langsame Internetgeschwindigkeiten für Mobilfunkdaten auf dem iPhone: Korrekturen
May 03, 2024 pm 09:01 PM
Stehen Sie vor einer Verzögerung oder einer langsamen mobilen Datenverbindung auf dem iPhone? Normalerweise hängt die Stärke des Mobilfunk-Internets auf Ihrem Telefon von mehreren Faktoren ab, wie z. B. der Region, dem Mobilfunknetztyp, dem Roaming-Typ usw. Es gibt einige Dinge, die Sie tun können, um eine schnellere und zuverlässigere Mobilfunk-Internetverbindung zu erhalten. Fix 1 – Neustart des iPhone erzwingen Manchmal werden durch einen erzwungenen Neustart Ihres Geräts viele Dinge zurückgesetzt, einschließlich der Mobilfunkverbindung. Schritt 1 – Drücken Sie einfach einmal die Lauter-Taste und lassen Sie sie los. Drücken Sie anschließend die Leiser-Taste und lassen Sie sie wieder los. Schritt 2 – Der nächste Teil des Prozesses besteht darin, die Taste auf der rechten Seite gedrückt zu halten. Lassen Sie das iPhone den Neustart abschließen. Aktivieren Sie Mobilfunkdaten und überprüfen Sie die Netzwerkgeschwindigkeit. Überprüfen Sie es erneut. Fix 2 – Datenmodus ändern 5G bietet zwar bessere Netzwerkgeschwindigkeiten, funktioniert jedoch besser, wenn das Signal schwächer ist
Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen!
May 06, 2024 pm 04:13 PM
Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil
KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert
Jun 01, 2024 pm 10:03 PM
Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN
Die lokale Ausführungsleistung des Embedding-Dienstes übertrifft die von OpenAI Text-Embedding-Ada-002, was sehr praktisch ist!
Apr 15, 2024 am 09:01 AM
Ollama ist ein superpraktisches Tool, mit dem Sie Open-Source-Modelle wie Llama2, Mistral und Gemma problemlos lokal ausführen können. In diesem Artikel werde ich vorstellen, wie man Ollama zum Vektorisieren von Text verwendet. Wenn Sie Ollama nicht lokal installiert haben, können Sie diesen Artikel lesen. In diesem Artikel verwenden wir das Modell nomic-embed-text[2]. Es handelt sich um einen Text-Encoder, der OpenAI text-embedding-ada-002 und text-embedding-3-small bei kurzen und langen Kontextaufgaben übertrifft. Starten Sie den nomic-embed-text-Dienst, wenn Sie o erfolgreich installiert haben
FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera
Apr 26, 2024 am 11:37 AM
Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren


