コミュニティ 学ぶ ツールライブラリ レジャー
検索
日本語
ホームページ > バックエンド開発 > Python チュートリアル > 小さなデータセットで MLP モデルを微調整しても、事前トレーニングされた重みと同じテスト精度が維持されるのはなぜですか?

小さなデータセットで MLP モデルを微調整しても、事前トレーニングされた重みと同じテスト精度が維持されるのはなぜですか?

WBOY
リリース： 2024-02-10 21:36:04
転載
618 人が閲覧しました

为什么在小数据集上微调 MLP 模型，仍然保持与预训练权重相同的测试精度？

質問の内容

6,000 個のデータ サンプルでトレーニングするための単純な mlp モデルを設計しました。

リーリー

そしてモデルがインスタンス化されました

リーリー

およびハイパーパラメータ:

リーリー

私の実装は主にこの質問に従います。モデルを事前トレーニング済みの重み model_weights.pth として保存しました。

テスト データ セットの

model の精度は 96.80% です。

次に、モデルを微調整しようとしているサンプル (finetune_loader 内) がさらに 50 個あります。 リーリー

確認したところ、精度はモデルを 50 サンプルに微調整する前と同じままで、出力確率も同じです。

その理由は何でしょうか?コードの微調整で何か間違いを犯したのでしょうか?


正解


新しいモデル (model_finetune オブジェクト) を使用してオプティマイザーを再初期化する必要があります。現在、コードでわかるように、古いモデルの重みで初期化されたオプティマイザー、model.parameters() がまだ使用されているようです。

以上が小さなデータセットで MLP モデルを微調整しても、事前トレーニングされた重みと同じテスト精度が維持されるのはなぜですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ソース：stackoverflow.com
前の記事：時間最適制御例 GEKKO 次の記事：Pythonで実行されるPHPにパラメータを渡すにはどうすればよいですか?
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
著者別の最新記事
最新の問題
function_exists() はカスタム関数を決定できません Function test () {return true;} if (function_exists ('test')) {echo "テストは関数です";
から 2024-04-29 11:01:01
0
3
2238
Google Chromeのモバイル版を表示する方法 こんにちは、先生、Google Chrome をモバイル版に変更するにはどうすればよいですか?
から 2024-04-23 00:22:19
0
11
2378
子ウィンドウは親ウィンドウを操作しますが、出力は応答しません。 最初の 2 つの文は実行可能ですが、最後の文は実装できません。
から 2024-04-19 15:37:47
0
1
1988
親ウィンドウには出力がありません document.onclick = function(){ window.opener.document.write('私は子ウィンドウの出力です');
から 2024-04-18 23:52:34
0
1
1875
CSS マインド マッピングに関するコースウェアはどこにありますか? コースウェア
から 2024-04-16 10:10:18
0
0
1947
関連トピック
詳細>
人気のおすすめ
人気のチュートリアル
詳細>
関連するチュートリアル
人気のおすすめ
最新のコース
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート