機密性の高いビジネスデータを ChatGPT と共有するのは危険である可能性があります-AI-php.cn

AI チャットボットの可能性の詳細が見出しを飾り続ける中、ChatGPT を取り巻く熱狂は依然として最高潮に達しています。セキュリティコミュニティの多くの注目を集めている問題の 1 つは、テクノロジーによる機密ビジネスデータの取り込みが組織にリスクをもたらすかどうかです。誰かが機密情報 (四半期報告書、社内プレゼンテーション資料、売上高など) を入力し、ChatGPT にそれに関するテキストを書くように依頼した場合、誰でも ChatGPT に問い合わせるだけで会社の情報を入手できるのではないかという懸念がありました。

影響は広範囲に及ぶ可能性があります。取締役会で議論すべき企業問題を明らかにする新しい企業データを含む社内プレゼンテーションに取り組んでいることを想像してください。その上。この機密情報が外部に漏洩すると、株価、消費者の態度、顧客の信頼が損なわれる可能性があります。さらに悪いことに、漏洩した議題の法的事項により、企業が実際の責任にさらされる可能性があります。しかし、チャットボットに入れられたものだけでこれらのことが本当に起こるのでしょうか?

調査会社 Cyberhaven は 2 月にこの概念を調査し、OpenAI がユーザーが ChatGPT に入力した内容をトレーニングデータとして使用して技術を改善し、入力内容によく似た出力をどのように使用したかに焦点を当てました。 Cyberhavenは、第三者が幹部から提供された情報に基づいてChatGPTに特定の質問をした場合、ChatGPTに入力された機密データが第三者に漏洩する可能性があると主張している。

ChatGPT はユーザー入力データを保存しません。

英国の国立サイバーセキュリティセンター (NCSC) は 3 月にこの問題に関するさらなる洞察を共有し、ChatGPT およびその他の大規模言語モデル (LLM) は現在、クエリからの情報を他者のモデルに自動的に追加しないと述べました。問い合わせてください。つまり、クエリに情報を含めても、プライベートデータが LLM に組み込まれる可能性はありません。「ただし、クエリはLLMを提供する組織（ChatGPTの場合はOpenAIにも）に見えることになる」と書かれている。

「これらのクエリは保存されており、ある時点で LLM サービスまたはモデルの開発にほぼ確実に使用されます。これは、LLM プロバイダー (またはそのパートナー/請負業者) がクエリを読み取り、これらは何らかの形で将来のリリースに組み込まれる可能性があります」と付け加えた。もう1つのリスクは、LLMを作成および使用する組織が増えるにつれて増大するが、オンラインに保存されたクエリがハッキングされたり、漏洩されたり、誤って公開されたりする可能性があることである、とNCSCは書いている。

結局のところ、ChatGPT によって機密ビジネスデータが入力および使用されることを懸念する本当の理由がありますが、そのリスクは一部の見出しで宣伝されているほど広範囲に及んでいない可能性があります。

ChatGPT に機密データを入力する場合の考えられるリスク

LLM は、状況に応じた学習と呼ばれる一種の創発的動作を示します。セッション中にモデルが入力を受け取ると、それらの入力に含まれるコンテキストに基づいてタスクを実行できます。「これは、人々が情報漏洩を心配するときに言及する現象である可能性が最も高い。しかし、あるユーザーのセッションからの情報が別のユーザーに漏洩することはあり得ない」とWithSecureの上級研究員であるAndy Patel氏はCSOに語った。「もう 1 つの懸念は、ChatGPT インターフェイスに入力されたプロンプトが収集され、将来のトレーニングデータに使用されることです。」

チャットボットが機密情報を取り込んで吐き出すという懸念は正当ですが、新しいモデルをトレーニングする必要があるとパテル氏は述べています。このデータを統合します。 LLM のトレーニングは高価で時間のかかるプロセスであり、近い将来、ChatGPT によって収集されたデータでモデルをトレーニングできるようになれば驚くだろうと同氏は述べました。「収集された ChatGPT ヒントを含む新しいモデルが最終的に作成される場合、私たちの懸念はメンバーシップ推論攻撃に変わります。このような攻撃では、トレーニングデータ内のクレジットカード番号や個人情報が漏洩する可能性があります。しかし、ChatGPT をサポートするターゲットはなく、これは、将来のモデルがメンバーシップ推論攻撃に対して脆弱になる可能性は非常に低いことを意味します。

AI へのサードパーティリンクによりデータが漏洩する可能性がある

Orange Cyberdefense の上級セキュリティ研究者である Wicus Ross 氏は、この問題はプライバシーを明確に表明していない外部プロバイダーによって引き起こされている可能性が高いと述べました。ポリシーに準拠しているため、他のセキュリティツールやプラットフォームと一緒に使用すると、個人データが危険にさらされる可能性があります。「Slack や Microsoft Teams などの SaaS プラットフォームには明確なデータと処理の境界があり、サードパーティにデータが漏洩するリスクは低いです。ただし、サービスを強化するためにサードパーティのプラグインやボットが使用されている場合、それらが関連しているかどうかは関係ありません。人工知能に関係するかどうかに関係なく、これらの明確な境界線はすぐに曖昧になる可能性があります」と彼は述べた。「情報が開示されないというサードパーティ処理者からの明確な声明がない場合、その情報はもはや非公開ではないと想定する必要があります。」

Netskope の EMEA 最高情報セキュリティ責任者である Neil Thacker 氏は CSO に対し、企業は通常のユーザーが共有する機密データに加えて、ツールを調整する際に開発者が提供した以前の指示を明らかにする可能性があるプロンプトインジェクション攻撃にも注意する必要があると述べました。以前にプログラムされた命令を無視します。「最近の例としては、Twitter のいたずら者がボットの動作を変更したことや、Bing Chat の問題が挙げられます。研究者らは、以前は隠されていたはずの、おそらく Microsoft によって書かれた指示を ChatGPT が明らかにする方法を発見しました。」

提出されたコントロールデータto ChatGPT

Cyberhaven によると、現在、従業員が ChatGPT に投稿するコンテンツの 11% が機密データを占めており、平均的な企業は週に何百回も機密データを ChatGPT に漏洩しています。「ChatGPTは誇大宣伝から現実の世界に移行しており、組織は他のML/AIベースのツールに参加するために運用に実際の実装を試みていますが、特に機密情報を共有する場合には注意が必要です」とタッカー氏は述べた。「データの所有権に関するあらゆる側面を考慮する必要があります。また、データをホストしている組織が侵害された場合にどのような潜在的な影響が生じるかを考慮する必要があります。簡単な演習として、情報セキュリティの専門家は、少なくとも次の場合にアクセスされる可能性のあるデータを特定できる必要があります。これらのサービスは侵害されたカテゴリです。」

最終的には、どの情報を ChatGPT に開示すべきか、どの情報を開示すべきではないかをユーザーが完全に理解できるようにするのは企業の責任です。 NCSC は、組織はプロンプトで送信することを選択したデータについて細心の注意を払う必要があると述べ、「LLM を試したい人には試せるようにする必要がありますが、組織データを危険にさらさないようにする必要があります。」

従業員への警告チャットボットの潜在的な危険

ただし、Cyberhaven は、従業員が ChatGPT に送信するデータの特定と制御には課題がないわけではないと警告しています。「従業員が ChatGPT に会社データを入力するとき、ファイルをアップロードするのではなく、コンテンツをコピーして Web ブラウザに貼り付けます。多くのセキュリティ製品は、(機密としてマークされた) ファイルがアップロードされないように設計されていますが、コンテンツが一度アップロードされると、ファイルからコピーされているため、追跡することはできません」と書かれています。さらに、Cyberhavenは、ChatGPTに入る企業データには、クレジットカード番号や社会保障番号など、セキュリティツールが探す識別可能なパターンが含まれていないことが多いと述べた。「今日のセキュリティツールでは、コンテキストを理解することなく、カフェテリアのメニューを入力している人と企業の合併・買収計画を区別することはできません。」とタッカー氏は述べ、可視性を向上させるために、組織は安全な Web ゲートウェイにさらに多くの機能を追加する必要があると述べました。 SWG) を使用して AI ツールの使用を特定し、また、データ損失防止 (DLP) ポリシーを適用して、これらのツールに送信されるデータを特定します。

Jamf のポートフォリオ戦略担当バイスプレジデントである Michael Covington 氏は、組織は情報保護ポリシーを更新して、機密データの取り扱いが許容されるアプリケーションの種類を適切に文書化する必要があると述べました。「情報の流れの制御は、十分に文書化され、情報に基づいたポリシーから始まります」と彼は言いました。「さらに、組織は、これらの新しいテクノロジーを活用して、思慮深い方法でビジネスを改善する方法を模索する必要があります。恐怖や不確実性からこれらのサービスを敬遠するのではなく、リスクを理解できるように潜在力を示す新しいツールの探索に一部の人員を投資してください。」エンドユーザーの早期導入者がこれらのツールの使用を開始したい場合は、早期に適切な保護が確保されるようにしてください。」

以上が機密性の高いビジネスデータを ChatGPT と共有するのは危険である可能性がありますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。