In Zeitreihendaten gibt es Abhängigkeiten zwischen Beobachtungen, sie sind also nicht unabhängig voneinander. Herkömmliche neuronale Netze behandeln jedoch jede Beobachtung als unabhängig, was die Fähigkeit des Modells zur Modellierung von Zeitreihendaten einschränkt. Um dieses Problem zu lösen, wurde das Recurrent Neural Network (RNN) eingeführt, das das Konzept des Speichers einführte, um die dynamischen Eigenschaften von Zeitreihendaten zu erfassen, indem Abhängigkeiten zwischen Datenpunkten im Netzwerk hergestellt werden. Durch wiederkehrende Verbindungen kann RNN frühere Informationen an die aktuelle Beobachtung weitergeben, um zukünftige Werte besser vorherzusagen. Dies macht RNN zu einem leistungsstarken Werkzeug für Aufgaben mit Zeitreihendaten.
Aber wie erreicht RNN diese Art von Gedächtnis?
RNN realisiert das Gedächtnis durch die Rückkopplungsschleife im neuronalen Netzwerk, was den Hauptunterschied zwischen RNN und herkömmlichen neuronalen Netzwerken darstellt. Rückkopplungsschleifen ermöglichen die Weitergabe von Informationen innerhalb von Schichten, wohingegen Feedforward-Neuronale Netze die Weitergabe von Informationen nur zwischen Schichten ermöglichen. Daher gibt es verschiedene Arten von RNN:
In diesem Artikel wird RNN vorgestellt , LSTM Die Konzepte, Ähnlichkeiten und Unterschiede zwischen GRU und GRU sowie einige ihrer Vor- und Nachteile.
Durch eine Rückkopplungsschleife wird der Ausgang einer RNN-Einheit auch als Eingang von derselben Einheit verwendet. Daher hat jedes RNN zwei Eingaben: Vergangenheit und Gegenwart. Durch die Nutzung früherer Informationen entsteht ein Kurzzeitgedächtnis.
Zum besseren Verständnis kann die Feedbackschleife der RNN-Einheit erweitert werden. Die Länge der erweiterten Zelle entspricht der Anzahl der Zeitschritte der Eingabesequenz.
Sie können sehen, wie vergangene Beobachtungen als verborgene Zustände durch das entfaltete Netzwerk weitergeleitet werden. In jeder Zelle werden die Eingaben aus dem aktuellen Zeitschritt, der verborgene Zustand aus dem vorherigen Zeitschritt und der Bias kombiniert und dann durch eine Aktivierungsfunktion eingeschränkt, um den verborgenen Zustand im aktuellen Zeitschritt zu bestimmen.
RNN kann für Eins-zu-Eins-, Eins-zu-Viele-, Viele-zu-Eins- und Viele-zu-Viele-Vorhersagen verwendet werden.
Dank seines Kurzzeitgedächtnisses kann RNN sequentielle Daten verarbeiten und Muster in historischen Daten erkennen. Darüber hinaus ist RNN in der Lage, Eingaben unterschiedlicher Länge zu verarbeiten.
RNN hat das Problem des verschwindenden Gradientenabstiegs. In diesem Fall wird der Gradient, der zum Aktualisieren der Gewichte während der Backpropagation verwendet wird, sehr klein. Das Multiplizieren von Gewichten mit Steigungen nahe Null verhindert, dass das Netzwerk neue Gewichte lernt. Das Stoppen des Lernens führt dazu, dass das RNN vergisst, was es in längeren Sequenzen gesehen hat. Das Problem des verschwindenden Gradientenabstiegs nimmt mit der Anzahl der Netzwerkschichten zu.
Da RNN nur aktuelle Informationen speichert, hat das Modell Probleme bei der Berücksichtigung früherer Beobachtungen. Daher verfügt RNN nur über ein Kurzzeitgedächtnis, aber nicht über ein Langzeitgedächtnis.
Da RNN außerdem Backpropagation verwendet, um Gewichte rechtzeitig zu aktualisieren, leidet das Netzwerk auch unter einer Gradientenexplosion, und wenn die ReLu-Aktivierungsfunktion verwendet wird, wird es durch tote ReLu-Einheiten beeinträchtigt. Ersteres kann zu Konvergenzproblemen führen, während Letzteres dazu führen kann, dass das Lernen aufhört.
LSTM ist eine spezielle Art von RNN, die das Problem des Gradientenverschwindens von RNN löst.
Der Schlüssel zu LSTM ist der Zellzustand, der vom Eingang an den Ausgang der Zelle übergeben wird. Der Zellzustand ermöglicht den Informationsfluss entlang der gesamten Kette mit nur kleineren linearen Aktionen durch drei Tore. Daher stellt der Zellzustand das Langzeitgedächtnis des LSTM dar. Diese drei Tore werden Vergessenstor, Eingangstor bzw. Ausgangstor genannt. Diese Tore fungieren als Filter, steuern den Informationsfluss und bestimmen, welche Informationen beibehalten oder ignoriert werden.
Das Vergessenstor bestimmt, wie viel Langzeitgedächtnis erhalten bleiben soll. Zu diesem Zweck wird eine Sigmoidfunktion verwendet, um die Bedeutung des Einheitszustands zu berücksichtigen. Die Ausgabe variiert zwischen 0 und 1, wobei 0 keine Informationen und 1 alle Informationen über den Zellzustand enthält.
Das Eingabegatter bestimmt, welche Informationen dem Zellzustand und damit dem Langzeitgedächtnis hinzugefügt werden.
Das Ausgangsgatter bestimmt, welche Teile des Zellzustands den Ausgang bilden. Daher ist das Ausgangsgatter für das Kurzzeitgedächtnis verantwortlich.
Im Allgemeinen wird der Status über das Vergessenstor und das Eingabetor aktualisiert.
Die Vorteile von LSTM ähneln denen von RNNs, der Hauptvorteil besteht darin, dass sie sowohl langfristige als auch kurzfristige Muster von Sequenzen erfassen können. Daher sind sie die am häufigsten verwendeten RNNs.
Aufgrund der komplexeren Struktur ist der Rechenaufwand von LSTM höher, was zu einer längeren Trainingszeit führt.
Da LSTM auch den zeitlichen Backpropagation-Algorithmus zum Aktualisieren von Gewichten verwendet, weist LSTM die Nachteile der Backpropagation auf, z. B. tote ReLu-Einheiten, Gradientenexplosion usw.
Ähnlich wie LSTM löst GRU das Problem des verschwindenden Gradienten eines einfachen RNN. Der Unterschied zu LSTM besteht jedoch darin, dass GRU weniger Gates verwendet und keinen separaten internen Speicher, also den Zellzustand, hat. Daher verlässt sich GRU vollständig auf verborgene Zustände als Speicher, was zu einer einfacheren Architektur führt.
Das Reset-Gate ist für das Kurzzeitgedächtnis verantwortlich, da es bestimmt, wie viele vergangene Informationen gespeichert und ignoriert werden.
Das Update Gate ist für das Langzeitgedächtnis zuständig und vergleichbar mit dem Forget Gate von LSTM.
Der verborgene Zustand des aktuellen Zeitschritts wird anhand von zwei Schritten bestimmt:
Bestimmen Sie zunächst den verborgenen Kandidatenzustand. Der Kandidatenzustand ist eine Kombination aus der aktuellen Eingabe und dem verborgenen Zustand des vorherigen Zeitschritts und der Aktivierungsfunktion. Der Einfluss des vorherigen verborgenen Zustands auf den verborgenen Kandidatenzustand wird durch das Reset-Gate gesteuert.
Der zweite Schritt besteht darin, den verborgenen Zustand des Kandidaten mit dem verborgenen Zustand des vorherigen Zeitschritts zu kombinieren, um den aktuellen verborgenen Zustand zu generieren. Wie der vorherige verborgene Zustand und der verborgene Kandidatenzustand kombiniert werden, wird durch das Update-Gate bestimmt.
Wenn der vom Update-Gate angegebene Wert 0 ist, wird der vorherige verborgene Zustand vollständig ignoriert und der aktuelle verborgene Zustand entspricht dem verborgenen Kandidatenzustand. Wenn das Update-Gate den Wert 1 liefert, ist das Gegenteil der Fall.
Aufgrund seiner einfacheren Architektur im Vergleich zu LSTM ist GRU recheneffizienter, schneller zu trainieren und benötigt weniger Speicher.
Darüber hinaus hat sich GRU für kleinere Sequenzen als effizienter erwiesen.
Da GRUs keine separaten verborgenen Zustände und Zellzustände haben, können sie frühere Beobachtungen wie LSTM möglicherweise nicht berücksichtigen.
Ähnlich wie RNN und LSTM kann auch GRU unter den Mängeln der Backpropagation leiden, um Gewichte rechtzeitig zu aktualisieren, nämlich tote ReLu-Einheiten und Gradientenexplosion.
Das obige ist der detaillierte Inhalt vonEntdecken Sie die Konzepte, Unterschiede, Vor- und Nachteile von RNN, LSTM und GRU. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Anwendung künstlicher Intelligenz im Leben
Was ist das Grundkonzept der künstlichen Intelligenz?
Einführung in die Bedeutung von Javascript
MySQL-Datenbank wiederherstellen
Grenzkollaps
Die Installation von Windows 10 ist fehlgeschlagen
Google-Mailbox-Suffix
So löschen Sie ein Verzeichnis unter LINUX
