中国語を理解するこのAIマスター、描かれた山と明るい月は本当に素晴らしいです！中国語と英語のバイリンガル AltDiffusion モデルがオープンソース化されました

最近、Zhiyuan Research Institute の大規模なモデル研究チームは、最新のバイリンガル AltDiffusion モデルをオープンソース化し、中国世界にプロレベルの AI テキストおよびグラフィックスの作成に強力な推進力をもたらしました。

サポート 細かく長い中国語プロンプトは高度な創作物であり、元の中国語から形式と精神の両方を備えた中国絵画まで、文化的な翻訳は必要ありません。中国語と英語の絵画レベルでは低い敷居に達しています。オリジナルの安定した拡散レベルの衝撃的な視覚効果が揃っており、世界クラスの中国語話者AI絵画マスターと言えます。

革新的なモデル AltCLIP はこの取り組みの基礎であり、3 つの強力な言語間機能でオリジナルの CLIP モデルを補完します。 AltDiffusion モデルと AltCLIP モデルは両方とも多言語モデルであり、中国語と英語のバイリンガル対応が作業の第一段階であり、コードとモデルはオープンソースになっています。

AltDiffusion

##https://github.com/FlagAI-Open/FlagAI/tree/master /examples/AltDiffusion

AltCLIP

##https://github.com/ FlagAI- Open/FlagAI/examples/AltCLIP

HuggingFace スペース トライアル アドレス:

https: //huggingface.co/spaces/BAAI/bilingual_stable_diffusion

技術レポート

##https://arxiv.org/abs/2211.06679

プロフェッショナル中国語 AltDiffusion ——ネイティブの中国語スタイルによるロングプロンプトのファインペインティングで、中国の AI クリエイティブマスターの高いニーズに応えます

AltCLIP 機能に基づいた強力な中国語と英語のバイリンガル調整の恩恵を受け、AltDiffusion はStable Diffusion と同様の視覚効果レベルに達しており、特に中国語の理解が深まり、中国絵画が得意になるという独特の利点があり、プロの中国語 AI テキストおよび画像の作成者にとっては期待に値します。

1. 長いプロンプト生成、画像効果は劣りません

プロンプトの長さは、テキストと画像を生成するモデルの能力をテストするための分水界です。プロンプトが表示されると、言語理解、画像とテキストの配置、および言語間機能のテストが難しくなります。

同じ中国語と英語の長いプロンプト入力調整の下で、AltDiffusion は多くの画像生成ケースでさらに表現力豊かになります。要素の構成は豊かで刺激的で、詳細は繊細かつ正確に記述されます。 。

2. 中国語の理解が深まり、中国画が上手になります 入力パフォーマンスは次の点を除いて同様です。中国語と英語のプロンプト さらに、AltDiffusion は、中国の画像とテキストのペアを使用して、中国の絵画スタイルの生成モデルなど、中国の特徴の生成を引き続き微調整することで、西洋世界における中国の絵画スタイルの欠点を補うこともできます。 、真の「中華風」を演出します。

AltDiffusion は中国語をよりよく理解し、中国の文化的文脈における意味を説明し、作成者の意図を瞬時に理解することができます。たとえば、「唐王朝の壮大な風景」の説明は、文化的な誤解によって主題から外れるのを避けています。

特に、中国文化に由来する概念をより正確に理解して表現できるようになり、「日本風」と「中国風」の混同を避けることができます。とんでもない状況だ。たとえば、安定拡散を使用して唐服文字スタイルに対応するプロンプトを中国語と英語で入力すると、その違いは一目瞭然です。 特定のスタイルの生成では、スタイル作成のアイデンティティ主題として中国の文化的コンテキストをネイティブに使用します。たとえば、以下の「古代建築」というプロンプトの場合、デフォルトで古代中国建築が生成されます。クリエイティブなスタイルは、中国人クリエイターのアイデンティティにより一致しています。

#3. 中国語と英語のバイリンガル、生成されたエフェクト アラインメント

AltDiffusion は、Stable Diffusion に基づいており、次の CLIP を置き換えます。オリジナルの Stable Diffusion を AltCLIP に組み込み、中国語と英語の画像とテキストのペアを使用してモデルをさらにトレーニングしました。 AltCLIP の強力な言語調整機能のおかげで、AltDiffusion の生成効果は英語の Stable Diffusion に非常に近くなり、中国語と英語のバイリンガル パフォーマンスの一貫性も反映されます。

たとえば、「帽子をかぶった子犬」という中国語と英語のプロンプトを AltDiffusion に入力すると、生成された画像効果は基本的に非常に高い一貫性で揃えられます。

「少年」の画像に「中国人の少年」という記述子を追加した後、少年の元の画像に基づいて、典型的な「中国人」になるように正確に調整されました。言語制御生成で表示された「子」 優れた言語理解能力と正確な表現結果を生み出します。

StableDiffusion のオリジナルのエコシステムを開く

——豊富なエコロジー ツールとプロンプトブックアプリケーションは優れたプレイアビリティ

特に言及する価値があるのは、AltDiffusion のエコロジカルなオープン化機能です。

Stable Diffusion WebUI、DreamBooth など、Stable Diffusion をサポートするすべてのツールは、中国語と英語のバイリンガル拡散モデルは、中国語 AI 作成のための豊富な選択肢を提供します:

1. 安定した拡散 WebUI

テキストと画像の生成およびテキストと画像のための優れた Web ツール編集; 北京大学の夜景をホグワーツにすると(プロンプト:ホグワーツ)、夢のような魔法の世界が一瞬で現れます;

# #2. DreamBooth

特定のスタイルを生成するために少数のサンプルを通じてモデルをデバッグするツール; このツールを通じて、AltDiffusion 上の少数の中国語画像を使用して特定のスタイルを生成できます、「Havoc in Heaven」スタイルなど。

3. コミュニティを最大限に活用する Stable Prompts Book

プロンプトはモデルを生成する上で非常に重要です。コミュニティ ユーザーは、コミュニティを通じて豊富な生成効果事例を蓄積しています。多数のプロンプト試行。これらの貴重なプロンプト エクスペリエンスは、ほぼすべて AltDiffusion ユーザーに適用できます。

さらに、中国語と英語を組み合わせて魔法のスタイルや要素に合わせたり、AltDiffusion に適した中国語プロンプトを引き続き探索したりすることもできます。

4. 中国のクリエイターが微調整するのに便利です

オープン ソースの AltDiffusion は、中国語生成モデルの基礎を提供します。これに基づいて、より多くの中国語を使用できます。特定の分野のデータは、中国のクリエイターが表現しやすいようにモデルを微調整するために使用されます。

最初のバイリンガル AltCLIP

に基づいて、3 つの主要な言語間機能を包括的に強化します。中国語と英語は連携し、中国語の方が優れており、敷居は非常に高くなります。 low

言語理解、画像とテキストの配置、および言語間能力は、言語間研究に必要な 3 つの能力です。

AltDiffusion の多くのプロフェッショナル レベルの機能は、AltCLIP の革新的なタワー変更アイデアから派生しており、次の 3 つの主要な機能が完全に強化されています。オリジナルの CLIP の中国語と英語の言語調整機能です。すべてのモデルと、安定拡散などの元の CLIP 上に構築されたエコロジー ツールにシームレスに接続すると同時に、複数のデータ セットで中国語でより良い結果を達成するための強力な中国語機能が備わっています。 (詳細な説明については、技術レポートを参照してください)

この位置合わせ方法により、多言語およびマルチモーダル表現モデルをトレーニングするためのしきい値が大幅に減少することは言及する価値があります。中国語または英語の画像とテキストのペアの事前トレーニング。コンピューティング リソースと画像とテキストのペア データの約 1% のみが必要です。

包括的な CLIP ベンチマークで英語のオリジナル バージョンと同じ効果を達成

一部の検索ではデータ たとえば、Flicker-30K は元のバージョンよりも優れたパフォーマンスを備えています

##Flicker-30K は元の CLIP よりも優れたパフォーマンスを備えています

中国 ImageNet のゼロショットの結果は最高です

以上が中国語を理解するこのAIマスター、描かれた山と明るい月は本当に素晴らしいです！中国語と英語のバイリンガル AltDiffusion モデルがオープンソース化されましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。