RAG 大規模モデルにおける知識の競合に関する詳細な分析。香港と中国の清華西湖大学が共同で出版

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。投稿メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

この記事の著者は、学際情報学部の修士課程 2 年生 Xu Rongwu と博士課程 1 年生の Qi Zehan です。彼らはこのレビューの主著者でもあります。

人工知能と大規模モデル技術の急速な発展に伴い、検索拡張生成 (RAG) は大規模言語モデルがテキストを生成するための主要なパラダイムとなっています。この技術の代表的なものである検索拡張大規模言語モデル (RALM) は、追加のトレーニングなしで、取得した文書情報を直接使用してコンテンツを生成できるため、業界で広く使用されています。新しいBing検索エンジンとして。

しかし、2023 年以降、知識の衝突を処理する際に RALM が直面する問題が徐々に研究の焦点になってきました。知識の競合は、知識集約的なタスクにおけるモデルのパフォーマンスに深刻な影響を与えるだけでなく、誤った情報に対するモデルの脆弱性をさらすため、特に事実の正確性に対する厳格な要件がある企業では、モデルのセキュリティに対する脅威となります。 。知識の競合は主に、モデル内のパラメータ化された知識と外部コンテキスト情報の間の不一致、および外部コンテキスト情報の内部の不一致として現れます。さらに、研究者らはモデル内のパラメータ化された知識間の矛盾、つまり自己矛盾現象も観察しました。これは、モデルが事前トレーニング段階で矛盾する情報を学習したためである可能性があります。

具体的な例を見てみましょう:

上の例では、大きなモデルは事実に関する質問を受け入れます: どのチームがワールドカップで最も多くのチャンピオンシップを獲得しましたか?この問題に対して、RALM はインターネット上およびベクトル データベース内の文書を取得し、同時にユーザーの以前のプロンプトで構成される会話履歴記録を追加し、それらが合わせて文脈上の知識 (上の図で黄色でマークされた文脈) を形成します。 . (out); 同時に、大規模なモデルは、事前トレーニング中にこの質問への回答に関する情報も確認しました。この情報は、モデルの「記憶」とも呼ばれます (パラメトリック知識、記憶、図では青色で示されています)。上図）色がマークされています）。競合する 2 つの当事者の情報源によると、「ペアワイズ (再) 組み合わせ」は次の 3 つのカテゴリに分類できます:

• コンテキストとメモリの競合は、コンテキストとパラメーターの知識の間の競合です。例 1: Web 検索を通じてモデルが取得した知識は即時ですが、学習した知識は「古い」です。 例 2: モデルは、パラメーターの知識と矛盾する間違った情報を取得します。

• コンテキスト間矛盾とは、コンテキスト知識内の矛盾です。例: Web 検索で取得した情報は、公開された時期が異なっていたり、悪意のある誤った情報が混在していたり​​するため、矛盾しています。

• メモリ内競合は、パラメータ化された知識内の競合です。例: 事実に基づく質問と回答の場合、同じ意味プロンプトの下で異なる結果の回答を生成するようにモデルが刺激され、矛盾した効果が生じます。

知識の衝突に関する最も初期の文献は、EMNLP 2021 の Longpre らによる記事「質問応答におけるエンティティベースの知識の衝突」に遡ります。この記事では、オープンドメイン質問応答における矛盾する知識を固有表現置換の手法によって構築し、当時の言語モデルを評価します。 2023 年に大規模な言語モデルが台頭し、RAG パラダイムが業界で広く適用されるようになったことで、知識の衝突に対する研究の関心が徐々に高まっています。これは、知識の衝突により、主要なタスク、特に言語の要件に関するモデルのパフォーマンスが大幅に低下するためです。真実性。

最近、清華大学、ケンブリッジ大学、ウェストレイク大学、香港中文大学の研究者が共同で、3 つの異なるタイプの知識矛盾について、原因、症状、解決策の 3 つの側面から詳細に議論したレビューを発表しました。読者はこの課題をよりよく理解し、それに対応できるようになります。私たちの見解では、知識の競合は、さまざまなモデルの下流のパフォーマンスの原因であると同時に、知識自体とモデルの知識学習の自然な複雑さから生じる影響でもあります。

• 紙のアドレス: https://arxiv.org/abs/2403.08319

• プロジェクトのアドレス: https://github.com/pillowsofwind/Knowledge-Conflicts-Survey

このレビュー:

1. 知識の衝突の分野における研究成果の最初の体系的な概要。 3 つの大規模なモデルが遭遇する可能性のある競合の種類の包括的な分析、特にパラメーター化された知識の競合についての議論

3. それぞれの競合の分析を議論するだけでなく、その「ライフ サイクル」原因の観点からも検討しました。紛争の兆候、および考えられる解決戦略。

原因 コンテキストとメモリの競合の中核は、コンテキスト情報とパラメータ化された知識の違いにあります。この紛争の原因は主に、時間的不整合と誤った情報の汚染という 2 つの側面に分けられます。

1. 時間的不整合

時間的不整合とは、トレーニング プロセス中にモデルによって使用される履歴データが、現在または将来の現実を正確に反映できないことを意味します。この現象は、大規模な言語モデルで特に顕著です。これらのモデルは、実際には古い可能性のある大量の静的データで事前トレーニングされることが多いためです。たとえば、2020 年のオリンピックに関する記事は 2024 年には正確ではなくなっている可能性がありますが、モデルは依然としてこの古い情報に依存して予測を行ったり、質問に答えたりする可能性があります。研究によると、言語モデルのパフォーマンスは時間の経過とともに低下し、言語の使用方法、文化の変化、知識の更新はすべて、現在の情報を処理するモデルの能力に影響を与えます。

2. 誤った情報の汚染

情報の汚染とは、誤った情報や誤解を招く情報が混在する外部情報を指し、モデルの判断力や意思決定能力に影響を与えます。この状況は、インターネット時代に特によく見られ、インターネットにはあらゆる種類の誤った情報、噂、意図的に捏造されたフェイクニュースが溢れています。悪意のあるユーザーがインターネット上に虚偽の情報を公開することで、モデルの判断を妨害する可能性があります。たとえば、悪意のある攻撃者がソーシャル メディアに虚偽の医療情報を投稿し、この情報に基づいて判断するモデルを誤解させる可能性があります。情報汚染はモデルの精度に影響を与えるだけでなく、モデルに対するユーザーの信頼を損ないます。調査によると、悪意のある偽情報により、自動事実確認システムやオープンドメインの質問応答システムの精度が大幅に低下する可能性があります。

コンテキストとメモリの競合に直面した場合、モデルの動作は大幅な複雑さと多様性を示します。以下に 2 つの表現形式があります:

1. パラメーター化された知識への依存

一部のモデルは、コンテキストとメモリの間の矛盾に対処するときに、外部から提供されるコンテキスト情報を無視する際に、内部パラメーターの知識に過度に依存する傾向があります。この動作は、初期のオープン ドメイン質問応答 (ODQA) 研究で実証されました。 Longpre et al. (2021) は、QA モデルは、コンテキスト情報と内部知識の間の矛盾に直面した場合、記憶知識に依存する傾向があることを発見しました。

2. コンテキスト情報への依存

一方、一部のモデルは、外部の証拠に直面すると、たとえその証拠が内部の記憶と矛盾する場合でも、それを受け入れる傾向があります。 QA モデルに関する Chen ら (2022) の実験では、Longpre らの発見とは対照的に、モデルが文脈知識に依存する傾向があることが示されました。Longpre らの発見は、Longpre が矛盾する情報をあまりにも単純化して構築することで説明されていました。最近、Xie et al. (2023) は、大規模モデルを操作して「より論理的な」競合コンテキストを生成し、大規模モデルは外部証拠に直面した場合、たとえ証拠がパラメータの知識と矛盾していても、それを信頼する傾向があることを発見しました。

コンテキストとメモリの競合に効果的に対処するために、研究者はさまざまな解決策を提案しています。それらは主に、競合が発生する前の予防策（事前戦略）と競合が発生した後の対応策に分けられます。 . (事後戦略)。以下にいくつかの主な解決策を示します:

1. 予防策

学習の継続: 新しいデータと更新されたデータを組み込むためにモデルを継続的に事前トレーニングすることで、時間の不整合の影響を軽減します。たとえば、Lazaridou et al. (2021) は、最新の情報に追いつくために、継続的な事前トレーニングを通じてモデルの内部知識を更新することを推奨しています。
ナレッジ編集: トレーニング済みモデルのパラメータナレッジを直接更新して、最新の情報を反映します。たとえば、De Cao et al. (2021) は、モデルの内部知識を直接変更して、誤った情報や古い情報を修正することを目的とした知識編集方法を提案しました。ただし、ナレッジ編集の欠点の 1 つは、モデル内で内部矛盾が発生する可能性があることです。つまり、後で説明するメモリ内競合を誘発する可能性があります。
2.

• 微調整: 反事実や無関係なコンテキストなどの手法を導入することで、コンテキストを制御するモデルの能力と堅牢性が強化されます。たとえば、Li et al. (2022) によって提案された知識認識微調整 (KAFT) 手法は、標準的なトレーニング データセットに反事実や無関係なコンテキストを導入することで、矛盾する情報に直面した場合のモデルの堅牢性を強化します。

• プロンプトテクノロジー (プロンプト): 特別に設計されたプロンプト戦略を通じて、モデルのコンテキストへの依存性を強化します。たとえば、Zhou et al. (2023) は、コンテキストに忠実な簡潔なプロンプト手法を提案し、コンテキストに依存するタスクにおけるモデルのパフォーマンスを大幅に向上させました。

• ナレッジ プラグイン: 元のモデルが影響を受けないように、プラグイン モジュールを通じて更新されたナレッジを保存します。たとえば、Lee et al. (2022) によって提案された継続的更新 QA (CuQA) 手法は、元のパラメーターに影響を与えることなく、知識プラグインを通じてモデルの知識更新機能を強化します。

• 復号技術 (復号):復号戦略を調整することで、知識が矛盾した場合にモデルが幻覚を生成する確率が減少します。たとえば、Shi et al. (2023) によって提案されたコンテキスト認識デコーディング (CAD) 方法は、出力確率の差を増幅することでコンテキスト情報を優先し、それによって矛盾する情報の下でのモデルの誤解を軽減します。

これらの予防策と対策を組み合わせることで、コンテキストとメモリの競合を処理するモデルの精度と堅牢性をさまざまな角度から向上させることができ、それによって実際のアプリケーションにおけるモデルのパフォーマンスとユーザー エクスペリエンスが向上します。

コンテキスト間の競合を探る: 原因、症状、解決策



原因

コンテキスト間の競合とは、さまざまな外部情報の統合中に発生する矛盾を指しますが、これらの外部情報は、ワールドモデルの答えですが、コンテキスト間で情報の競合が発生する可能性もあります。この種の矛盾は主に、外部情報に誤った情報 (Misinformation) や古い情報 (Outdated Information) が含まれる可能性があるために発生します。

1. 誤った情報

検索拡張生成 (RAG) テクノロジーは、外部情報を統合することで大規模なモデルの応答品質を向上させます。ただし、これらの外部情報には誤った内容が含まれる可能性があります。例えば、AIが生成したフェイクニュースや誤解を招くコンテンツが混入し、取得した情報に齟齬が生じる可能性があります。モデルがこれらの競合をどのように処理するかは重要な課題です。これらの矛盾を効果的に解決できないと、モデルによって生成されるコンテンツが不正確になる可能性があり、その結果、誤った情報の拡散が悪化して情報がさらに混乱する可能性があります。

2. 古い情報

時間の経過とともに、事実は変わります。外部ファイルを取得するときに、大規模なモデルでは、現在の情報と古い情報の両方が含まれるドキュメントに遭遇する可能性があります。この情報の時間的な違いにより、コンテキスト間で矛盾が生じる可能性があります。たとえば、イベントに関する最新の開発と古い情報との間に矛盾があると、モデルの応答の精度に影響を与える可能性があります。情報が古いと、モデルの答えが不正確になるだけでなく、ユーザーがモデルに対する信頼を失う可能性もあります。

パフォーマンス

コンテキスト間の競合に直面すると、大規模なモデルは受動的および能動的の両方の観点から特定の動作特性を示します。

1. パフォーマンスへの影響

エラーまたは陳腐化 情報は大規模なモデルのパフォーマンスに大きな影響を与える可能性があります。たとえば、Chen et al. (2022) による研究では、モデルが矛盾する情報に遭遇した場合、問題とモデル内のパラメーターの知識に直接関連する情報を信頼する可能性が高いことも指摘されています。 Pan et al. (2023a) は、本物の Wikipedia コーパスに偽の Wikipedia 記事を挿入することによる偽情報攻撃に対して、既存の言語モデルのパフォーマンスが低いことを発見しました。 Xie et al. (2023) による研究では、特にこれらの証拠が共通のエンティティに関係している場合、または広範な文書によってサポートされている場合、大規模モデルはモデル パラメーターの記憶と一致する証拠を大幅に優先することが明らかになりました。

2. 検出能力

文脈の中で矛盾する情報を検出することも重要なタスクです。 Li et al. (2023a) は、GPT-4、PaLM-2、および Llama 2 がニュース、記事、Wikipedia 記事内の矛盾する文書を検出する能力を分析し、その結果は平均検出精度が低いことを示しました。 Wan et al. (2024) による研究では、既存のモデルは文書の信頼性を評価する際にクエリ関連の文書内容に大きく依存しているが、科学的な引用や中立的なトーンなど、人間が重要と考える文体上の特徴を無視していることが明らかになりました。 Jin et al. (2024a) は、大規模モデルは文脈の中で最も頻繁に現れる証拠を好み、内部記憶と一致する外部情報を明確に好むことを発見しました。

ソリューション

コンテキスト間の競合に効果的に対処するために、研究者はさまざまな観点からソリューションを提案しています。これらのソリューションは、主に競合の除去と堅牢性の向上の 2 つの側面に分けられ、アクティブなコンテキストとコンテキスト間の競合の両方から解決されます。受動的な視点。

1. 対立の解消

• 特殊なモデル: 特定の種類の競合をより適切に処理できるようにモデルを具体的にトレーニングします。たとえば、Pielka et al. (2022) は、学習プロセスに言語知識を追加し、文法的および意味論的な特徴を導入して矛盾を検出するモデルの能力を向上させることを提案しました。

• 一般モデル: 一般モデルを使用して競合の除去を完了します。 Chern et al. (2023) は、テキスト内の事実の誤りを検出するために複数のツール (Google 検索、Google Scholar など) を統合するファクトチェック フレームワークを提案しました。このアプローチは、モデルの内部知識に依存するだけでなく、外部から取得した情報を組み合わせて、事実のより包括的な検証を提供します。

2. 堅牢性の向上

• トレーニングアプローチ: トレーニングアルゴリズムからの矛盾するコンテキストに直面した場合のモデルの堅牢性を向上させます。 Hon et al. (2023) は、弁別器とデコーダを同時にトレーニングすることでモデルの堅牢性を向上させる新しい微調整方法を提案しました。この方法は、矛盾する情報に直面した場合のモデルの安定性を向上させるだけでなく、複雑な情報を処理する能力も強化します。

• クエリ拡張: 推論フェーズ中に外部知識をさらに導入することで、モデルの堅牢性を向上させます。 Weller et al. (2022) は、GPT-3 に元の質問に関連する複数の質問を生成することで、回答の正しさを複数の観点から検証するクエリ強化手法を提案しました。単一の情報源によるエラーを削減します。このアプローチにより、矛盾する情報に応答するモデルの能力が向上するだけでなく、その回答の精度と信頼性も向上します。

コンテキスト間の競合は、知識の競合の重要な部分です。大規模なモデルが矛盾する情報をどのように処理するかは重要なタスクです。上記の方法により、コンテキスト間の競合に対処する際のモデルの精度と堅牢性をさまざまな角度から向上させることができます。

メモリ内競合の調査: 原因、症状、解決策



原因

メモリ内競合とは、セマンティクスは同じだが構文が異なる入力に直面したときに一貫性のない動作を示すモデルを指します。この矛盾の主な理由は次の側面に分類できます:

1. トレーニング コーパスのバイアス

LLM の主な知識獲得フェーズは事前トレーニング中に完了し、これらの事前トレーニング データは通常、インターネット。このデータは、ソーシャル メディア、ニュース記事、百科事典などを含む幅広いソースから取得されており、その品質はさまざまで、不正確な情報や誤解を招く情報が含まれている可能性があります。この誤った情報はモデルによって記憶され、推論中に増幅されるため、モデル内で知識の矛盾が生じ、モデルが関連する質問に回答するときに複数の矛盾する回答が得られる可能性があります。同時に、大規模なモデルはトレーニング データに表面的な相関をエンコードすることが多く、そのためモデルは表面的な偽の相関に基づいて判断を下すことになります。モデルは擬似相関に依存しているため、構文構造は異なるが意味論が同一のキューに遭遇した場合、異なる答えを返す可能性があります。

2. デコード戦略

大規模モデルの出力は、次に考えられる単語の確率分布をサンプリングすることによって取得されます。さまざまなサンプリング方法 (貪欲サンプリング、top-p サンプリング、top-k サンプリングなど) により、生成されるコンテンツがランダムになります。たとえば、top-k サンプリングを使用する場合、モデルは k 個の候補単語から最も高い確率で次の単語をランダムに選択します。このランダム性により出力の不確実性が高まり、同じ入力が異なる時間に取得される可能性があります。異なる推論結果。

3. 知識編集

大規模モデル内の知識を効率的に変更するために、研究者は知識編集技術を提案しました。これらの手法は、モデル全体を再トレーニングすることなく、モデル内の小さな知識領域を効率的に変更することを目的としています。ただし、これらの編集方法では、知識の一貫性を確保することが困難になる場合があります。たとえば、ナレッジ編集を通じて事実 (科学的発見の特定の詳細など) を変更したが、それに関連するすべての知識を同時に更新できなかった場合、さまざまな問題に直面したときにモデルが一貫性のない応答を生成する可能性があります。同時に、変更された知識が異なる状況では効果的に適用されない可能性があり、同じ知識の異なる表現を処理するときにモデルが一貫性のない答えを生成する原因となります。

パフォーマンス

メモリ内の競合は、主に次の側面に反映され、大規模なモデルのパフォーマンスに重大な影響を与えます:

1.

自己矛盾とは、意味的には同等だが構文が異なる質問に直面した場合に、モデルによって生成された回答が矛盾することを意味します。たとえば、研究によると、GPT-4 のような高度なモデルでも、常識的な質問を扱う場合、回答の 13% に矛盾が依然として存在します。これは、ユーザーが同じ質問をしても言い方が異なると、異なる答えが得られる可能性があることを意味します。一方、知識を思い出す場合、モデルは知識の真の理解よりも、トレーニング データ内の単語の表面的な関連付けに依存する可能性があります。たとえば、モデルが頻繁に共起する特定の単語を誤って関連付け、生成される回答が期待から逸脱する可能性があります。この誤った相関は、モデルの答えの自己矛盾をさらに悪化させます。

2. 知識の潜在表現

大規模モデル内の多層 Transformer アーキテクチャにより、さまざまなレベルでさまざまな知識表現が保存されます。この散在した知識表現により、モデルは生成プロセス中に保存された知識を正確に表現できなくなります。たとえば、浅いレベルには低レベルの情報が格納され、深いレベルには意味論的な情報が格納されます。この多層表現の分散により、モデルはさまざまな問題に直面したときにさまざまなレベルの知識を調整できなくなり、一貫性のない答えが生成されます。

3. 言語間の不整合

大規模なモデルは異なる言語で異なる知識セットを維持するため、これにより言語間の整合性の問題が発生します。たとえば、同じ事実でも言語が異なれば異なる回答が得られる場合があります。この現象は、言語をまたいだ質疑応答で特に顕著です。たとえば、英語でトレーニングされたモデルは、事実に対して正確な答えを持っていますが、スペイン語では異なる答えを返す可能性があります。

解決策

内部メモリの競合に関して、研究者はさまざまな解決策を提案しており、主に次のカテゴリに分類できます:

1. 一貫性の改善

• ): 一貫性損失を導入する関数を使用し、それを標準言語モデルのトレーニング損失と組み合わせると、モデルの知識の一貫性を向上させるために微調整が実行されます。たとえば、Li et al. (2023) は、モデルによって生成された回答を使用して検証し、生成された回答の一貫性をさらに向上させるために、より一貫性の高い回答ペアを微調整のために選択しました。

• プラグイン: モジュール挿入の統合手法によりモデルの一貫性を向上させます。たとえば、Jang と Lukasiewicz (2023) は、シンボルの意味の理解を強化するために、辞書内の単語の意味を使用してモデルをトレーニングすることを提案しました。これらの拡張されたパラメーターは、モデルの一貫性を向上させるために、既存の言語モデルのパラメーターとマージされます。

• 出力アンサンブル: 複数の出力を合成して最も正しい答えを取得します。 Mitchell et al. (2022) は、回答間の論理的一貫性を評価することで、最も信頼できる最終回答を選択し、モデル生成の不一致を減らすために、このデュアルモデル アーキテクチャを提案しました。

2. 事実性の向上

モデルの応答の信頼性を向上させ、それによってモデル自体の不一致の発生を減らします。たとえば、Li et al. (2023) は、モデルパラメータに含まれる実際の知識を識別し、推論段階でこれらの実際の知識に関連する方向に沿ってアクティベーションを調整することにより、生成プロセスにおける事実の誤りを減らす知識検出方法を提案しました。

内部メモリの競合は LLM 研究における重要な課題であり、この問題を解決するには、トレーニング、生成、後処理などの複数の段階から始める必要があります。現在のソリューションはこの問題をある程度軽減していますが、克服する必要のある課題はまだ多くあります。

ディスカッション 1: モデルは競合にどのように対応すべきか?

理想的には、モデルは知識の矛盾に遭遇したときに矛盾を特定し、明確な答えを提供できる必要があります。ただし、競合の存在を特定する点では既存のモデルの方が優れていることが研究で判明していますが、特定の競合箇所を特定し、差別化された回答を生成するには依然として課題があります。一方で、「紛争処理」を大規模モデルに代表されるAIに任せるのではなく、人間の手に委ねるべきだと考える研究者もいます。

ディスカッション 2: 現在の課題とフォローアップ研究の方向性



1. 現実の環境における知識の衝突:

研究は、知識の衝突が直接発生するような状況に焦点を当てる必要があります。ネットワークから検索拡張言語モデル (RALM) でドキュメントを取得します。実際のアプリケーションをよりよく反映するには、人為的に作成された知識の衝突を最小限に抑える必要があります。

2. より詳細なソリューション:

ユーザーのクエリの性質、矛盾する情報源、ユーザーの期待を考慮した、より詳細なソリューションが必要です。解決策は、問題の範囲と潜在的な解決策を認識し、さまざまなタイプの矛盾（誤った情報、古い情報、主観的な問題など）に合わせて調整する必要があります。

3. 下流タスクの評価:

将来の研究では、一般的な質問と回答のデータセットを超えて、より広範囲のアプリケーションに対する知識の衝突の影響を評価する必要があります。これには、法的文書分析、医療診断、財務分析、教育ツールなど、高い精度と一貫性が必要な分野が含まれます。

4. 競合間の相互作用:

内部メモリの競合や文脈上のメモリの競合など、さまざまなタイプの競合間の相互作用を研究することが重要です。これらの関係を理解すると、大規模モデルにおける知識の表現と処理のメカニズムが明らかになり、より強力なモデルの開発につながる可能性があります。

5. 解釈可能性:

大規模なモデルの内部メカニズム (競合時の注意頭やニューロンの活性化など) のより顕微鏡的な検査が必要です。これは、競合が発生したときにモデルがどのように意思決定を行うかを理解し、パスのパッチ適用や枝刈りなどの競合解決方法を開発するのに役立ちます。

6. 多言語主義:

研究では、英語以外の手がかりや言語間の知識の矛盾を調査する必要があります。これには、英語以外の言語での知識の矛盾や、異なる言語の複数の文書にわたる文脈の矛盾が含まれます。

7. マルチモーダル:

複数の形式 (テキスト、画像、ビデオ、オーディオ) を処理する大規模なモデルの開発により、将来の研究はマルチモーダル環境での競合に焦点を当てる必要があります。複数のデータ型にわたるクロスモーダル推論と競合解決が可能な高度な LLM の開発が必要です。

以上がRAG 大規模モデルにおける知識の競合に関する詳細な分析。香港と中国の清華西湖大学が共同で出版の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。