Die Wirkung ist explosiv! Das erste Videogenerierungsmodell von OpenAI wurde veröffentlicht, flüssig und hochauflösend in 1 Minute, Internetnutzer: Die gesamte Branche ist RIP

Gerade hat Ultraman das erste Videogenerierungsmodell von OpenAI veröffentlicht: Sora.

Erbt perfekt die Bildqualität und die Befehlsverfolgungsfunktionen von DALL·E 3 und kann hochauflösende Videos mit einer Länge von bis zu 1 Minute erstellen.

Das von der KI vorgestellte Frühlingsfest des Jahres des Drachen, mit wehenden roten Fahnen und riesigen Menschenmengen.

Viele Kinder schauten neugierig dem Drachentanzteam zu, und einige Leute zückten ihre Mobiltelefone, um das unterschiedliche Verhalten der Menschen aufzuzeichnen.

Die Straßen von Tokio nach dem Regen, der nasse Boden ReflexionDer Neonlicht-Schatteneffekt ist vergleichbar mit RTX ON.

Das Fenster des fahrenden Zuges ist gelegentlich blockiert und das Spiegelbild der Menschen im Waggon erscheint kurz, was sehr beeindruckend ist.

Sie können sich auch einen Filmtrailer mit der Qualität eines Hollywood-Blockbusters ansehen:

Aus der supernahen Perspektive der vertikalen Leinwand ist diese Eidechse voller Details:

Netizens nennen es „Game Over, Arbeit ist zu viel“ Verloren:

Einige Leute haben sogar begonnen, um eine ganze Branche zu „trauern“:

KI versteht die physische Welt in Bewegung

OpenAI gab an, dass es ist Der KI beibringen, die physische Welt in Bewegung zu verstehen und zu simulieren Ziel ist es, Modelle zu trainieren, um Menschen bei der Lösung von Problemen zu helfen, die eine Interaktion in der realen Welt erfordern.

Das Generieren von Videos basierend auf Textaufforderungen ist nur ein Schritt des gesamten Plans.

Derzeit kann Sora komplexe Szenen mit mehreren Charakteren und spezifischen Bewegungen generieren Es kann nicht nur die von Benutzern in Eingabeaufforderungen gestellten Anforderungen verstehen, sondern auch verstehen, wie diese Objekte in der physischen Welt existieren.

Sora kann auch mehrere Aufnahmen in einem einzigen Video erstellen und sich auf sein tiefes Verständnis der Sprache verlassen, um Stichworte genau zu interpretieren und dabei Charakter und visuellen Stil zu bewahren.

Das wunderschöne, verschneite Tokio ist voller Menschen. Die Kamera bewegt sich durch die belebten Straßen der Stadt und folgt mehreren Menschen, die einen wunderschönen verschneiten Tag genießen und an nahegelegenen Ständen einkaufen. Die wunderschönen Kirschblütenblätter flattern zusammen mit den Schneeflocken im Wind.

OpenAI scheut sich nicht vor Soras aktuellen Schwächen und weist darauf hin, dass es möglicherweise schwierig ist, die physikalischen Prinzipien komplexer Szenen genau zu simulieren, und möglicherweise nicht in der Lage ist, Ursache-Wirkungs-Beziehungen zu verstehen .

Zum Beispiel: „Fünf graue Wolfswelpen spielten und jagten einander auf einer abgelegenen Schotterstraße.“ Die Anzahl der Wölfe wird sich ändern und einige werden aus dem Nichts auftauchen oder verschwinden.

Das Modell kann auch die räumlichen Details der Hinweise verschleiern , wie z. B. die Verwechslung von links und rechts, und kann Schwierigkeiten haben, Ereignisse im Zeitverlauf genau zu beschreiben , wie z. B. das Verfolgen einer bestimmten Kamerabahn.

Zum Beispiel wird bei dem Aufforderungswort „Der Basketball geht durch den Korb und explodiert“ der Basketball nicht richtig vom Korb blockiert.

In Bezug auf die Technologie hat OpenAI derzeit nicht viel preisgegeben. Eine kurze Einführung lautet wie folgt:

Sora ist ein Diffusionsmodell, das ausgehend von Rauschen das gesamte Video auf einmal generieren oder die Länge des Videos verlängern kann.

Der Schlüssel besteht darin, dass Vorhersagen für mehrere Bilder gleichzeitig generiert Das Motiv des Bildes kann auch dann erkannt werden, wenn es vorübergehend das Sichtfeld verlässt. Kann unverändert bleiben. Ähnlich wie das GPT-Modell verwendet Sora die Transformer-Architektur, die hoch skalierbar ist.

In Bezug auf die Daten stellt OpenAI Videos und Bilder als Patches dar, ähnlich wie Tokens in GPT.

Mit dieser

einheitlichen Datendarstellung können Modelle auf einem breiteren Spektrum an visuellen Daten als zuvor trainiert werden, die unterschiedliche Dauern, Auflösungen und Seitenverhältnisse abdecken. Sora baut auf früheren Forschungen zu DALL·E- und GPT-Modellen auf. Es nutzt die Restatement-Prompt-Word-Technologie von DALL·E 3, um aussagekräftige Anmerkungen für visuelle Trainingsdaten zu generieren, sodass es den Textanweisungen des Benutzers besser folgen kann.

Neben der Möglichkeit, Videos ausschließlich auf Basis von Textanweisungen zu generieren, ist das Modell auch in der Lage, vorhandene statische Bilder aufzunehmen und daraus Videos zu generieren, wobei der Bildinhalt präzise animiert wird und auf kleine Details geachtet wird.

Das Modell kann auch ein vorhandenes Video aufnehmen und es erweitern oder fehlende Frames ergänzen. Weitere Informationen finden Sie im technischen Dokument

. Sora ist die Grundlage für Modelle, die die reale Welt verstehen und simulieren können. OpenAI ist davon überzeugt, dass diese Funktion ein wichtiger Meilenstein bei der Erreichung von AGI sein wird.

Ultraman nimmt Bestellungen online entgegen

Eine Reihe bildender Künstler, Designer und Filmemacher

haben bereits Zugang zu Sora erhalten. Sie begannen, kontinuierlich neue Werke zu veröffentlichen, und Ultraman begann auch, Bestellungen online entgegenzunehmen.

Geben Sie Ihr Aufforderungswort @sama ein und Sie erhalten möglicherweise eine generierte Videoantwort.