一文でデータ分析を完了する浙江大学の新しい大型モデル データ アシスタントにより、収集の必要がなくなりました

データを処理するには、この AI ツールを使用するだけです。

その背後にある大規模言語モデル (LLM) を利用することで、必要な作業は 必要なデータ を 1 文で記述するだけで、残りはそのままにします。

処理、分析、さらには可視化もすべて簡単に行うことができます。自分で収集する必要さえありません。

写真

この LLM ベースの AI データ アシスタントは Data-Copilot と呼ばれ、浙江大学のチームによって開発されました。

関連論文のプレプリントが公開されました。

次のコンテンツは寄稿者によって提供されています

金融、気象、エネルギー、その他の業界では、毎日大量の異種データが生成されています。このデータを効果的に管理、処理、表示するツールが緊急に必要とされています。

DataCopilot は、ユーザーの多様なクエリ、計算、予測、視覚化、その他のニーズを満たす大規模な言語モデルを展開することで、大量のデータを自律的に管理および処理します。

テキストを入力するだけで、見たいデータを DataCopilot に伝えることができ、面倒な操作は必要ありません。

独自のコードを記述する必要はありません。 DataCopilot は、元のデータを自律的に視覚化結果に変換します。それはユーザーの意図に最もよく応えるものです。

さまざまな形のデータ関連タスクをカバーする普遍的なフレームワークを実現するために、研究チームは Data-Copilot を提案しました。

このモデルは、LLM を使用するだけで発生するデータ漏洩のリスク、不十分なコンピューティング能力、複雑なタスクを処理できない問題を解決します。

図

複雑なリクエストを受け取ると、Data-Copilot は

独立したインターフェイスを独自に設計およびスケジュールし、作業プロセスを構築します。ユーザーの意図を満たすために。 人間の支援なしで

、さまざまなソースおよびさまざまな形式の生データを、グラフィック、表、テキストなどの人間化された出力に巧みに変換できます。

写真

Data-Copilot プロジェクトの主な貢献は次のとおりです。

データ ソースの接続とさまざまな分野での多様化ユーザーのニーズを満たし、面倒な労力と専門知識を削減します。

データの自律的な管理、処理、分析、予測、視覚化を実現し、生データをユーザーの意図に最も合致する有益な結果に変換できます。
• これには、
• designer
と
• scheduler という二重の ID があり、インターフェイス ツール設計プロセス (デザイナー) とスケジューリング プロセス (スケジューラー) の 2 つのプロセスが含まれます。 Data-Copilot デモは、中国の金融市場データに基づいて構築されました。
ワークフローを個別に設計して実行する
• 次の例を使用して、Data-Copilot のパフォーマンスを確認してみましょう。

上海総合 50 指数のすべてのコンポーネント今年の第 1 四半期の株式の純利益の前年比成長率はどのくらいですか?

Data-Copilot はこのようなワークフローを独自に設計しました:

画像

これを目的とした複雑な問題の場合、Data-Copilot は、loop_rank インターフェイスを使用して複数のループ クエリを実装します。 Data-Copilot は、このワークフローを実行した後、次の結果を得ました:

横軸は各構成銘柄の名前、縦軸は各構成銘柄の純利益の前年比成長率です。第 1 四半期

写真

一般的なデータ処理プロセスに加えて、Data-Copilot はさまざまなワークフローも生成できます。 研究チームは、予測と並列の 2 つのワークフロー モードで Data-Copilot をテストしました。

予測ワークフロー

既知のデータ以外の部分について、Data-Copilot は、たとえば次の質問を入力して予測することもできます。

次の 4 四半期の中国の四半期 GDP を予測する

Data-Copilot は次のようなワークフローを展開します:

過去の GDP データを取得→線形回帰モデルを使用して将来を予測→テーブルを出力

#Picture

実行後の結果は次のとおりです:

写真

パラレル ワークフロー

CATL と Kweichow Moutai の過去 3 年間の株価収益率を確認したいです

対応 ワークフローは次のとおりです。

株価データの取得→関連指数の計算→チャートの生成

画像

関連作業2 つの株式は同時に存在します。並行して、最終的に次のチャートが取得されます。

Picture

Main Method

Data- Copilot は一般的な大規模言語モデルです。システムには、インターフェイス設計とインターフェイス スケジューリングという 2 つの主要な段階があります。

• インターフェイス設計: 研究チームは、LLM が少数のシード リクエストから十分なリクエストを自律的に生成できるようにする自己リクエスト プロセスを設計しました。次に、LLM は、生成されたリクエストに基づいてインターフェイスを繰り返し設計および最適化します。これらのインターフェイスは自然言語を使用して記述されているため、異なるプラットフォーム間での拡張や転送が容易になります。
• インターフェイスのスケジューリング: ユーザーのリクエストを受け取った後、LLM は、独自に設計したインターフェイスの説明とコンテキスト内のデモンストレーションに基づいてインターフェイス ツールを計画および呼び出し、ユーザーのニーズを満たすワークフローを展開し、結果を複数の形式でユーザーに提示します。

Data-Copilot は、リクエストを自動的に生成し、ユーザーのニーズを満たして結果を複数の形式でユーザーに表示するインターフェースを独立して設計することにより、高度に自動化されたデータ処理と視覚化を実現します。

図

インターフェース設計

上図に示すように、まずデータ管理を実装する必要があり、最初のステップではインターフェースが必要です。ツール。

Data-Copilot は、データ管理ツールとして多数のインターフェイスを設計します。インターフェイスは、データの取得、処理、および処理を担当する自然言語 (機能記述) とコード (実装) で構成されるモジュールです。他のタスク。

• まず、LLM は、さまざまなアプリケーション シナリオを可能な限りカバーするために、少数のシード リクエストを使用し、多数のリクエスト (セルフリクエストによるデータ探索) を独立して生成します。
• 次に、LLM はこれらのリクエストに対応するインターフェイス (インターフェイス定義: 説明とパラメーターのみを含む) を設計し、反復ごとにインターフェイス設計を徐々に最適化します (インターフェイスのマージ)。
• 最後に、研究者らは LLM の強力なコード生成機能を使用して、インターフェイス ライブラリ内の各インターフェイスに特定のコード (インターフェイス実装) を生成しました。このプロセスにより、インターフェイスの設計が特定の実装から分離され、ほとんどの要求を満たすことができる多用途のインターフェイス ツールのセットが作成されます。

以下に示すように: Data-Copilot の独自設計インターフェース ツールはデータ処理に使用されます

写真

インターフェース スケジューリング

前の段階で、研究者はデータの取得、処理、視覚化のためのさまざまな共通インターフェイス ツールを入手しました。各インターフェイスには、明確かつ明示的な機能説明があります。上の図の 2 つのクエリに示されているように、Data-Copilot は、リアルタイム リクエストでのさまざまなインターフェイスの計画と呼び出しを通じて、データから複数の形式の結果までのワークフローを形成します。

• Data-Copilot は、まず意図分析を実行して、ユーザーのリクエストを正確に理解します。
• ユーザーの意図が正確に理解されると、Data-Copilot はユーザーのリクエストを処理するための合理的なワークフローを計画します。 Data-Copilot は、スケジュールの各ステップを表す固定形式の JSON (step={"arg":"", "function":"", "output":"","description":""} など) を生成します。 。

Data-Copilot は、インターフェイスの説明と例に基づいて、各ステップ内のインターフェイスのスケジュールを順次または並行して調整します。

Data-Copilot は、LLM をデータ関連タスクのあらゆる段階に統合し、ユーザーのリクエストに基づいて生データをユーザーフレンドリーな視覚化に自動的に変換することで、退屈な労働と専門知識への依存を大幅に削減します。

GitHub プロジェクト ページ: https://github.com/zwq2018/Data-Copilot

論文アドレス: https://arxiv.org/abs /2306.07209

HuggingFace デモ:https://huggingface.co/spaces/zwq2018/Data-Copilot

以上が一文でデータ分析を完了する浙江大学の新しい大型モデル データ アシスタントにより、収集の必要がなくなりましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。