時系列データを処理するためのニューラル ネットワークとは何ですか?

リカレント ニューラル ネットワーク (RNN) は、シーケンス データを入力として受け取り、シーケンスの進化方向に再帰を実行し、すべてのノード (巡回ユニット) がチェーンで接続されるネットワークの一種です。 。

リカレント ニューラル ネットワークの研究は 1980 年代から 1990 年代に始まり、21 世紀初頭には、深層学習アルゴリズムの中で、双方向 RNN (Bi-RNN) と長期短期記憶ネットワーク (LSTM) が一般的なリカレント ニューラル ネットワークです。 (推奨学習: Web フロントエンド ビデオ チュートリアル )

リカレント ニューラル ネットワークにはメモリ、パラメーター共有、チューリング完全性 (チューリング完全性) があるため、シーケンスの非線形特性を学習する際には、特定の利点。

リカレント ニューラル ネットワークは、音声認識、言語モデリング、機械翻訳、その他の分野などの自然言語処理 (NLP) で使用され、さまざまな時系列予測にも使用されます。

畳み込みニューラル ネットワーク (Convoutional Neural Network、CNN) を導入して、シーケンス入力を伴うコンピューター ビジョンの問題を処理できるリカレント ニューラル ネットワークを構築します。

SRN が登場したのと同じ時期に、リカレント ニューラル ネットワークの学習理論も発展しました。バックプロパゲーション アルゴリズムの研究が注目を集めた後 [18]、学術コミュニティは BP フレームワークの下でリカレント ニューラル ネットワークを訓練しようと試み始めました。

1989 年、Ronald Williams と David Zipser は、再帰型ニューラル ネットワークのリアルタイム再帰学習 (RTRL) を提案しました。その後、Paul Werbos が 1990 年にリカレント ニューラル ネットワーク用の BP Through Time (BPTT) を提案しました。RTRL と BPTT は現在でも使用されており、リカレント ニューラル ネットワークを学習するための主要な方法です。

1991 年、Sepp Hochreiter は、リカレント ニューラル ネットワークの長期依存関係の問題、つまり、シーケンスを学習するときに、勾配消失と勾配爆発がリカレント ニューラル ネットワークで発生する (勾配爆発) 現象を発見しました。長期にわたる非線形関係を把握することは不可能です。

長期依存問題を解決するために、多数の最適化理論が導入され、ニューラル ヒストリー コンプレッサー (NHC) や長期短期記憶ネットワーク (LSTM) などの多くの改良されたアルゴリズムが導き出されてきました。 ). )、ゲート付きリカレント ユニット ネットワーク (GRU)、エコー ステート ネットワーク (エコー ステート ネットワーク)、独立 RNN など。

以上が時系列データを処理するためのニューラル ネットワークとは何ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。