Qwen（Alibaba Cloud）チュートリアル：紹介と微調整

民主化高度なAI：Alibaba CloudのQwenモデルに深く飛び込む

Alibaba CloudのAIモデルのQwenファミリーは、大規模なハイテク企業だけでなく、すべての人が最先端のAIにアクセスできるようにすることを目指しています。 このイニシアチブは、ユーザーフレンドリーなAIツールのスイートを提供します。

すぐに使用できるAIモデルの多様な選択

事前に訓練されたモデルは、特定のニーズに簡単に適応できます。
• さまざまなプロジェクトへのシームレスなAI統合のための簡略化されたツール
• Qwenは、高度なAI機能を活用するためのリソースと専門知識の要件を大幅に削減します。

このガイドがカバーしています：

多言語サポートやマルチモーダル処理を含む重要なQWEN機能。

QWENモデルへのアクセスとインストール。

テキスト生成と質問の回答におけるQwenの実用的なアプリケーション。 カスタムデータセットを使用した特殊なタスク用の微調整QWENモデル。

1. Qwenのより広範な意味と将来の可能性。
qwen
3. を理解します
qwen（Tongyi Qianwenの略）は、広範な多言語およびマルチモーダルデータセットで訓練された強力なAIモデルのコレクションです。 Alibaba Cloudによって開発されたQwenは、AIの境界を押し広げ、自然言語処理、コンピュータービジョン、およびオーディオ理解のためのインテリジェンスと有用性を高めます。
これらのモデルは、次のような幅広いタスクで優れています。

テキストの生成と理解

質問に答える

画像のキャプションと分析

視覚的な質問に答える

オーディオ処理

• ツールの使用率とタスク計画
qwenモデルは、多様なデータソースに関する厳密な事前トレーニングを受け、高品質のデータのトレーニング後にさらに改良されています。
• Qwenモデルファミリー
• Qwenファミリーは、多様なニーズとアプリケーションに合わせたさまざまな専門モデルで構成されています。
• この家族は、汎用性と簡単なカスタマイズを強調し、特定のアプリケーションまたは業界に微調整できるようにします。 この適応性は、強力な機能と組み合わされて、Qwenが多数の分野で貴重なリソースになります。
• キーqwen機能

Qwenのモデルファミリは、さまざまなAIアプリケーション向けに堅牢で多用途のツールキットを提供します。 その傑出した機能には次のものが含まれます

多言語の習熟度

Qwenは、英語と中国語で優れており、他の多くの言語をサポートしている、例外的な多言語の理解と生成を実証しています。 最近のQWEN2モデルは、この言語リーチを拡大して、世界中の27の追加言語を包含し、世界中の地域をカバーしています。 この広範な言語サポートは、異文化間のコミュニケーション、高品質の翻訳、コードスイッチング、およびグローバルアプリケーション向けのローカライズされたコンテンツ生成を促進します。

テキスト生成機能

qwenモデルは、以下を含むさまざまなテキスト生成タスクに非常に熟練しています。

記事執筆：コヒーレントなコンテキストに関連する長期コンテンツを作成します。

• 要約：長いテキストを簡潔な要約に凝縮します
詩の構成：リズムとスタイルに注意を払って詩を生成します。
• コード生成：複数のプログラミング言語で機能コードを作成します。
広範なシーケンス（最大32,768トークン）全体でコンテキストを維持するモデルの能力により、長いコヒーレントなテキスト出力の生成が可能になります。
• 質問に答える能力

qwenは、事実と自由回答の両方の質問の両方に優れています。

情報検索：大規模な知識ベースから関連する事実をすばやく抽出します。

分析的推論：複雑でオープンエンドのクエリに洞察に富んだ応答を提供します。

タスク固有の回答：一般的な知識から専門分野まで、さまざまなドメインへの応答を調整します。

qwen-vl
• を使用した画像の理解
QWEN-VLモデルは、QWENの機能を画像を含むマルチモーダルタスクに拡張し、次のことを可能にします。
画像キャプション：視覚コンテンツの記述テキストを生成します。
視覚的な質問応答：画像の内容に関するクエリに応答します。

ドキュメントの理解：テキストとグラフィックを含む画像から情報を抽出します。

マルチイメージ処理：複数の画像を含む会話の処理。

高解像度の画像サポート：最大448x448ピクセルまでの画像の処理（Qwen-VL-PlusおよびQwen-VL-Maxでさらに高く）。

• オープンソースのアクセシビリティ
• qwenのオープンソースの性質は、重要な利点です
• アクセシビリティ：モデルの無料アクセスと使用法。
• 透明性：精査と改善のためのオープンアーキテクチャとトレーニングプロセス。
カスタマイズ：特定のアプリケーションまたはドメイン用のユーザー駆動型の微調整。
コミュニティ主導の開発：AIテクノロジーのコラボレーションと急速な進歩を促進します。

倫理的考慮事項：より広範な議論と責任あるAIの実装を可能にします。

このオープンソースアプローチは、サードパーティのプロジェクトやツールからの広範なサポートを促進しました。

• qwen

  へのアクセスとインストール

  Qwenの主要な機能を調査したので、実用的な使用法を掘り下げましょう。

  QWENモデルへのアクセス
  QWENモデルはさまざまなプラットフォームで利用でき、多様なユースケースの幅広いアクセシビリティを確保します。

  インストールと開始（hugging顔にqwen-7bを使用）

  このセクションでは、顔を抱きしめてQWEN-7B言語モデルを使用することをガイドします。

  前提条件：

  python 3.7以降
  pip（python package installer）
  ステップ1：ライブラリをインストール
  ステップ2：フェイスログインを抱き締める
  抱き合っているフェイスアカウントにログインし、アクセストークンを取得します。 次に、実行：

  pip install transformers torch huggingface_hub

  プロンプトが表示されたらアクセストークンを入力します

  ステップ3：Pythonスクリプトとパッケージのインポート

  huggingface-cli login

  pythonファイル（またはjupyterノートブック）を作成し、必要なパッケージをインポートします。
  ステップ4：モデル名を指定

  ステップ5：トークンザーをロード

  from transformers import AutoModelForCausalLM, AutoTokenizer

  ステップ6：モデルを読み込み

  model_name = "Qwen/Qwen-7B"

  ステップ7：テストの例

  tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

  メモとヒント：

  model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)

  qwen-7bは大きなモデルです。十分なRAM（および理想的にはGPU）が推奨されます メモリが制限されている場合は、

  小さなモデルを検討してください

  input_text = "Once upon a time"
  inputs = tokenizer(input_text, return_tensors="pt")
  outputs = model.generate(**inputs, max_new_tokens=50)
  generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
  print(generated_text)

  は、qwenモデルにとって重要です。

  顔の抱きしめに関するモデルのライセンスと使用法の制限を確認してください。
  qwenの展開と例の例
  qwenモデルは、Alibaba CloudのPaiおよびEASを使用して展開できます。 展開は数回クリックして合理化されます。
  • trust_remote_code=True
  の例：テキスト生成と質問の回答

  テキスト生成の例：

  基本的なテキストの完了：

  （コードと出力元のテキストで提供されている例と同様）
  クリエイティブライティング：
  • （元のテキストで提供されている例と同様のコードと出力）

  コード生成：
  • （元のテキストで提供されている例と同様のコードと出力）
    質問に答える例：

  • 事実上の質問：

    （元のテキストで提供されている例と同様のコードと出力）
  オープンエンドの質問：
  • （元のテキストで提供されている例と同様のコードと出力）

  微調整qwenモデル

  微調整は、Qwenモデルを特定のタスクに適応させ、パフォーマンスを向上させます。これには、事前に訓練されたモデルをカスタムデータセットでトレーニングすることが含まれます。 ロラとコードスニペットを使用した微調整プロセスを詳述する元のテキストで提供されている例は、長さの制約のためにここで省略されていますが、コアの概念は同じままです。

  qwenの将来の見通し
  将来のQwenイテレーションが提供される可能性があります：
  言語の理解、生成、およびマルチモーダル処理の強化。
  計算要件が低い、より効率的なモデル。
  • さまざまな業界にわたる新しいアプリケーション。
  • 倫理的AI慣行の進歩。
  結論

  qwenは、アクセス可能で強力で多用途のAIの重要な進歩を表しています。 Alibaba Cloudのオープンソースアプローチは、AIテクノロジーの革新と進歩を促進します。

  FAQ（元のテキストのFAQセクションに似ています）

  この改訂された応答は、重要な情報を保持し、画像の配置を維持しながら、QWENモデルのより簡潔で整理された概要を提供します。 微調整および特定の使用シナリオのコード例は、簡潔さを維持するために要約されています。 完全なコードの例と詳細な説明については、元のテキストを参照してください。

以上がQwen（Alibaba Cloud）チュートリアル：紹介と微調整の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。