Nanda Yu Yangs ausführliche Interpretation: Was ist ein „Weltmodell'?

Da Sora in den Medien hochgespielt wird, wird Sora im Einführungsmaterial von OpenAI wieder als „Weltsimulator“ bezeichnet, aber es gibt nur wenige Artikel, in denen Weltmodelle vorgestellt werden.

Hier überprüfen wir, was ein Weltmodell ist und diskutieren, ob Sora ein Weltsimulator ist.

Was sind Weltmodelle/Weltmodelle?

Wenn im Bereich KI die Wörter Welt/Welt und Umgebung/Environment fallen, geschieht dies meist zur Unterscheidung von Agenten/Agenten.

Die Bereiche mit der meisten Forschung zu Agenten sind Reinforcement Learning und Robotik.

Sie sehen also, dass Weltmodelle und Weltmodellierung am frühesten und am häufigsten in Veröffentlichungen im Bereich Robotik auftauchen.

Das Wort Weltmodelle, das heute den größten Einfluss hat, könnte dieser Artikel mit dem Titel „Weltmodelle“ sein, den Jürgen 2018 auf arxiv gepostet hat. Der Artikel wurde schließlich in NeurIPS'18 veröffentlicht.

Der Artikel definiert nicht, was Weltmodelle sind, sondern stellt eine Analogie zum mentalen Modell des menschlichen Gehirns in der Kognitionswissenschaft her und zitiert dabei Literatur aus dem Jahr 1971.

mentales Modell ist das Spiegelbild des menschlichen Gehirns der umgebenden Welt

Das in Wikipedia eingeführte mentale Modell weist deutlich darauf hin, dass es an Erkenntnis-, Argumentations- und Entscheidungsprozessen beteiligt sein kann. Und wenn es um das mentale Modell geht, besteht es hauptsächlich aus zwei Teilen: mentalen Repräsentationen und mentaler Simulation.

eine interne Darstellung der äußeren Realität, von der angenommen wird, dass sie eine wichtige Rolle bei der Wahrnehmung, dem Denken und der Entscheidungsfindung spielt. Der Begriff wurde 1943 von Kenneth Craik geprägt, der vorschlug, dass der Geist „kleinformatige Modelle“ der Realität konstruiert Es wird verwendet, um Ereignisse zu antizipieren.

An dieser Stelle ist es noch etwas verwirrend, aber das Strukturdiagramm in der Arbeit erklärt deutlich, was ein Weltmodell ist.

In der Abbildung ist das vertikale V->z die niedrigdimensionale Darstellung der Beobachtung, die durch VAE implementiert wird. Das horizontale M->h->M->h ist Durch die Darstellung des vorhergesagten nächsten Moments der Sequenz, implementiert mit RNN, ergeben die beiden Teile das Weltmodell.

Mit anderen Worten, das Weltmodell umfasst hauptsächlich Zustandsrepräsentationen und Übergangsmodelle, die auch mentalen Repräsentationen und mentalen Simulationen entsprechen.

Wenn Sie das Bild oben sehen, denken Sie vielleicht: Sind nicht alle Sequenzvorhersagen Weltmodelle?

Tatsächlich können Schüler, die mit Verstärkungslernen vertraut sind, auf einen Blick erkennen, dass die Struktur dieses Bildes falsch (unvollständig) ist, und die tatsächliche Struktur ist das Bild unten. Die Eingabe von RNN ist nicht nur z, sondern auch Aktion Dies ist nicht die übliche Sequenzvorhersage (wird das Hinzufügen einer Aktion einen großen Unterschied machen? Ja, das Hinzufügen einer Aktion ermöglicht eine freie Änderung der Datenverteilung, was große Herausforderungen mit sich bringt).

Jürgens Artikel gehört zum Bereich des verstärkenden Lernens.

Gibt es also nicht viele modellbasierte RL beim Reinforcement Learning? Was ist der Unterschied zwischen dem Modell und dem Weltmodell? Die Antwort lautet: Es gibt keinen Unterschied, es ist dasselbe. Jürgen hat zuerst etwas gesagt

Die grundlegende Bedeutung ist, dass ich ein RNN-Pionier bin, egal wie viele modellbasierte RL-Arbeiten es gibt, ich habe RNN erfunden, um Modelle zu erstellen, und ich möchte es einfach tun.

In der frühen Version von Jürgens Artikel erwähnte er auch viel modellbasiertes RL. Obwohl er das Modell gelernt hatte, trainierte er RL nicht vollständig im Modell.

Die Tatsache, dass RL nicht vollständig im Modell trainiert ist, ist nicht wirklich der Unterschied zwischen modellbasiertem RL und Modell, sondern die langjährige Frustration der modellbasierten RL-Richtung: Das Modell ist nicht genau genug, und das RL Ganz im Modell trainiert ist der Unterschied sehr effektiv. Dieses Problem wurde erst in den letzten Jahren gelöst.

Smart Sutton hat das Problem ungenauer Modelle schon vor langer Zeit erkannt. Im Jahr 1990 wurde dieses Modell in dem Aufsatz „Integrated Architectures for Learning, Planning and Reacting based on Dynamic Programming“, der das Dyna-Framework vorschlug (veröffentlicht auf ICML, dem ersten Workshop, der eine Konferenz war) als Aktionsmodell bezeichnet, wobei der Schwerpunkt auf der Vorhersage der Ergebnisse lag Aktionsausführung.

RL lernt aus realen Daten (Zeile 3) und gleichzeitig vom Modell (Zeile 5), um ungenaues Modelllernen aufgrund einer schlechten Strategie zu verhindern.

Man sieht, dass das Weltmodell für die Entscheidungsfindung sehr wichtig ist. Wenn Sie ein genaues Weltmodell erhalten können, können Sie durch Ausprobieren im Weltmodell die optimale Entscheidung in der Realität finden.

Dies ist die Kernfunktion des Weltmodells: kontrafaktisches Denken, das heißt, auch für Entscheidungen, die nicht in den Daten sichtbar sind, können die Ergebnisse der Entscheidung im Weltmodell abgeleitet werden.

Studenten, die kausales Denken verstehen, werden mit dem Begriff kontrafaktisches Denken vertraut sein. Im populärwissenschaftlichen Buch „The Book of Why“ wird eine Kausalleiter gezeichnet. Die unterste Ebene ist „Korrelation“. Was die meisten Vorhersagemodelle tun, ist die „Intervention“, und die Erkundung des verstärkenden Lernens ist eine typische Intervention, die die Was-wäre-wenn-Frage durch Vorstellungskraft beantwortet. Das schematische Diagramm, das Judäa für kontrafaktische Überlegungen zeichnete, wurde von Wissenschaftlern in ihrem Gehirn erfunden und ähnelt dem schematischen Diagramm, das Jürgen in seiner Arbeit verwendete.

Links: Schematische Darstellung des Weltmodells in Jürgens Artikel. Rechts: Die Leiter von Ursache und Wirkung im Buch Judäa.

An diesem Punkt können wir zusammenfassen, dass das Streben von KI-Forschern nach Weltmodellen darin besteht, Daten zu transzendieren, kontrafaktische Überlegungen anzustellen und die Fähigkeit anzustreben, Was-wäre-wenn-Fragen zu beantworten. Dies ist eine Fähigkeit, die Menschen von Natur aus besitzen, aber die aktuelle KI ist darin noch sehr dürftig. Sobald ein Durchbruch erzielt wird, werden die Entscheidungsfähigkeiten der KI erheblich verbessert und Szenarioanwendungen wie vollständig autonomes Fahren ermöglicht. "Ist Sora ein Weltsimulator?" echte Welt. OpenAI scheint eine Phrase neu formen zu wollen, aber die Bedeutung bleibt dieselbe.

Das von Sora generierte Video kann nur durch vage Aufforderungswörter geleitet werden, was eine genaue Steuerung erschwert. Daher handelt es sich eher um ein Videotool und es ist schwierig, es als kontrafaktisches Argumentationstool zur genauen Beantwortung von Was-wäre-wenn-Fragen zu verwenden.

Es ist sogar schwierig zu beurteilen, wie stark Soras Generationsfähigkeit ist, da völlig unklar ist, wie unterschiedlich das Demovideo von den Trainingsdaten ist.

Was noch enttäuschender ist, ist, dass diese Demos zeigen, dass Sora die Gesetze der Physik nicht genau gelernt hat. Ich habe gesehen, wie jemand in den von Sora erstellten Videos auf die Inkonsistenz mit physikalischen Gesetzen hingewiesen hat. [OpenAI veröffentlicht Vincent-Videomodell Sora, KI kann die physische Welt in Bewegung verstehen. Ist das ein Weltmodell? Was bedeutet das? ]

Ich denke, die von OpenAI veröffentlichten Demos sollten auf sehr ausreichenden Trainingsdaten basieren, einschließlich der von CG generierten Daten. Dennoch sind die physikalischen Gesetze, die durch Gleichungen mit wenigen Variablen beschrieben werden können, immer noch nicht verstanden.

OpenAI glaubt, dass Sora einen Weg zu Simulatoren der physischen Welt ebnet, aber es scheint, dass das einfache Stapeln von Daten nicht der Weg zu fortschrittlicherer intelligenter Technologie ist.