ホームページ > テクノロジー周辺機器 > AI > 大規模な言語モデルコース

大規模な言語モデルコース

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
リリース: 2025-02-25 19:45:15
オリジナル
677 人が閲覧しました

この包括的なコースでは、大規模な言語モデル(LLMS)を探索し、2つの異なる学習パスを提供します。最適なLLMを構築するためのLLM科学者トラックと、LLMベースのアプリケーションを開発および展開するためのLLMエンジニアトラックです。 インタラクティブバージョンは、HuggingChat(推奨)またはChatGpt。

llm科学者トラック:

このパスは、最先端のテクニックを使用したLLM構造の習得に焦点を当てています。

The Large Language Model Course1。 LLMアーキテクチャ:

ディープトランスアーキテクチャの知識は必須ではありませんが、コアプロセスの理解は重要です。テキストから数の変換(トークン化)、注意メカニズムによるトークン処理、およびさまざまなサンプリング戦略によるテキスト生成。 重要な領域には、建築の進化、トークン化戦略、注意メカニズム(自己関節とバリアント)、およびテキスト生成サンプリング技術の理解が含まれます。

2。トレーニング前のモデル:計算集中的ですが、トレーニング前の把握を把握することが不可欠です。これには、データの準備(キュレーション、クリーニング、重複排除)、分散トレーニング(データ、パイプライン、テンソルの並列処理)、トレーニングの最適化(適応学習率、グラデーションクリッピング)、および主要なメトリックの綿密な監視が含まれます。

3。トレーニング後のデータセット:トレーニング後のデータセットは、指示と回答(監視付き微調整)または優先ペア(優先アライメント)で構成されており、重要です。 このセクションでは、ストレージ形式、合成データ生成、データ強化技術、堅牢な品質フィルタリング方法について説明します。

4。監視された微調整(SFT):

SFTは、ベースモデルを役立つアシスタントに変換します。 これには、トレーニング技術(LORAやQloraなどの完全な微調整とパラメーター効率の高い方法)、キートレーニングパラメーター、分散トレーニング戦略、効果的な監視手法を理解することが含まれます。 5。優先アラインメント:

この段階は、モデルの出力を人間の好みに合わせ、毒性と幻覚を緩和します。 拒絶サンプリング、直接選好最適化(DPO)、近位政策最適化(PPO)、およびパフォーマンス監視に焦点を当てています。

6。評価:信頼できるLLM評価が重要です。このセクションでは、自動化されたベンチマーク、人間の評価、モデルベースの評価、およびフィードバック信号を分析してモデルのパフォーマンスを向上させることの重要性について説明します。

7。量子化:このセクションでは、パラメーターと活性化量子化を介してLLMSの計算およびメモリコストを削減するための手法を掘り下げ、さまざまな精度レベル、llama.cppやGGUFなどのツール、GPTQ、AWQ、smoothquant、Zeroquantなどの高度な技術をカバーしています。 。

8。新たな傾向:このセクションでは、モデルの合併、マルチモーダルモデル、解釈可能性技術(除去を含む)、テスト時間計算スケーリングなどの高度なトピックについて説明します。

llmエンジニアトラック:このパスは、生産対応のLLMアプリケーションの構築に焦点を当てており、モデルの増強と展開を強調しています。

The Large Language Model Course

1。ランニングLLMS:

このセクションでは、API(プライベートとオープンソースの両方)を介したLLMSの実行、抱きしめるフェイスハブからのオープンソースLLMSを使用し、迅速なエンジニアリング技術の習得、特定のアプリケーションの出力の構造をカバーしています。 2。ベクトルストレージの構築:

このセクションの詳細検索拡張生成(RAG)パイプラインのベクトルストレージの作成、ドキュメントの摂取、分割、埋め込みモデル、ベクターデータベースを含む。

3。検索拡張生成(RAG):このセクションでは、オーケストレーター、レトリーバー、メモリ管理、評価メトリックに焦点を当てたRAGパイプラインの構築方法について説明します。

4。高度なrag:このセクションでは、DSPYなどのフレームワークを使用した構造化データベース、エージェントベースのシステム、ポスト処理方法、プログラムLLM最適化のクエリ構築などの高度なRAG技術について説明します。

5。推論の最適化:

このセクションでは、フラッシュの注意、キー価値キャッシング、投機的デコードなど、LLM推論を最適化するための手法について説明します。 6。 LLMSの展開:

このセクションでは、ローカル展開オプションをカバーし、グラデーションやストリームライト、サーバー側の展開戦略、制約された環境のエッジ展開などのフレームワークを使用してデモを作成します。

7。 LLMSの保護:このセクションでは、迅速なハッキング、バックドア、防御対策など、LLMが提起する独自のセキュリティ課題に対処します。

結論:コースでは、実践的な学習と探索を奨励し、さまざまなツールとテクニックの実験を提案して、広大なLLMランドスケープ内の選ばれた分野で専門知識を開発します。

以上が大規模な言語モデルコースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート