Bagaimanakah LSTM Stateful dalam Keras berbeza daripada LSTM tradisional, dan bilakah saya harus menggunakan setiap jenis?

Memahami Kenangan Jangka Pendek Jangka Panjang (LSTM) Keras

Membentuk Semula dan Kenyataan

Membentuk Semula Data:

Operasi membentuk semula adalah perlu untuk mematuhi format input yang dijangkakan oleh Keras untuk LSTM, iaitu [sampel, langkah masa, ciri]. Dalam kes ini, sampel mewakili bilangan jujukan dalam set data anda, langkah masa menunjukkan panjang setiap jujukan dan ciri merujuk kepada bilangan pembolehubah input untuk setiap langkah masa. Dengan membentuk semula data, anda memastikan bahawa LSTM boleh memproses maklumat jujukan dengan betul.

LSTM berstatus:

LSTM berstatus mengekalkan keadaan dalaman mereka merentas berbilang kelompok semasa latihan. Ini membolehkan mereka "mengingat" maklumat urutan yang telah dilihat setakat ini. Dalam contoh yang diberikan, batch_size ditetapkan kepada 1, dan memori ditetapkan semula antara larian latihan. Ini bermakna LSTM tidak menggunakan keupayaan statefulnya sepenuhnya. Untuk memanfaatkan keadaan statefulness, anda biasanya akan menggunakan saiz kelompok lebih besar daripada 1 dan mengelak daripada menetapkan semula keadaan antara kelompok. Ini membolehkan LSTM mempelajari kebergantungan jangka panjang merentas berbilang jujukan.

Langkah Masa dan Ciri

Langkah Masa:

Bilangan langkah masa menunjukkan panjang setiap jujukan dalam set data anda. Dalam imej yang anda kongsi, anda sedang mempertimbangkan kes banyak-ke-satu, di mana jujukan pembolehubah panjang dipekatkan menjadi satu output. Bilangan kotak merah jambu sepadan dengan bilangan langkah masa dalam jujukan input.

Ciri:

Bilangan ciri merujuk kepada bilangan pembolehubah input bagi setiap langkah masa. Dalam siri multivariate, seperti memodelkan berbilang saham kewangan secara serentak, anda akan mempunyai berbilang ciri untuk setiap langkah masa, mewakili pembolehubah berbeza yang diramalkan.

Gelagat LSTM Berstatus

Dalam rajah, kotak merah mewakili keadaan tersembunyi, dan kotak hijau mewakili keadaan sel. Walaupun ia adalah sama secara visual, ia adalah elemen yang berbeza dalam LSTM. Tingkah laku stateful LSTM bermakna keadaan ini dibawa ke langkah dan kelompok masa berikutnya. Walau bagaimanapun, adalah penting untuk ambil perhatian bahawa penetapan semula keadaan antara larian latihan dalam contoh menghalang keadaan sebenar.

Mencapai Konfigurasi LSTM Berbeza

Many-to-Many dengan Single Layer:

Untuk mencapai pemprosesan banyak-ke-banyak dengan satu lapisan LSTM, gunakan return_sequences=True. Ini memastikan bahawa bentuk output termasuk dimensi masa, membenarkan berbilang output bagi setiap jujukan.

Many-to-One dengan Lapisan Tunggal:

Untuk pemprosesan banyak-ke-satu, tetapkan return_sequences=False. Ini mengarahkan lapisan LSTM untuk mengeluarkan hanya langkah masa terakhir, dengan berkesan membuang maklumat urutan sebelum itu.

Satu-ke-Banyak dengan Vektor Ulangan:

Untuk mencipta konfigurasi satu-ke-banyak, anda boleh menggunakan lapisan RepeatVector untuk mereplikasi input ke dalam beberapa langkah masa. Ini membolehkan anda memasukkan satu pemerhatian ke dalam lapisan LSTM dan memperoleh berbilang output.

Satu-ke-Banyak dengan LSTM Stateful:

Pendekatan yang lebih kompleks untuk mencapai pemprosesan satu-ke-banyak melibatkan penggunaan stateful=True. Dengan mengulangi urutan secara manual dan menyuap output setiap langkah masa sebagai input ke langkah seterusnya, anda boleh menjana satu siri output dengan menyuap dalam satu langkah sahaja. Ini sering digunakan untuk tugas penjanaan jujukan.

Konfigurasi Kompleks:

LSTM boleh disusun dalam pelbagai konfigurasi untuk mencipta seni bina yang kompleks. Sebagai contoh, pengekod auto boleh menggabungkan pengekod banyak-ke-satu dengan penyahkod satu-ke-banyak, membolehkan model mempelajari kedua-dua pengekodan dan penyahkodan jujukan.

Atas ialah kandungan terperinci Bagaimanakah LSTM Stateful dalam Keras berbeza daripada LSTM tradisional, dan bilakah saya harus menggunakan setiap jenis?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!