ヒントン、ベンジオらは中国の専門家と協力してAIセキュリティに関する合意に達した：AIシステムは越えてはならない一線を侵すべきではない

現段階で、人工知能の開発スピードは人々の当初の予想を超えており、AI ツールを使用して記事を書いたり、コードを書いたり、画像を生成したり、映画レベルのビデオを生成したりすることもできます...以前は非常に難しいタスクのように思えましたが、現在はユーザーがプロンプトを入力するだけで済みます。

私たちは AI の驚くべき効果に驚いていますが、同時にその潜在的な脅威にも警戒する必要があります。多くの著名な学者が、AI によってもたらされる課題に対処するための公開書簡に署名しています。

さて、AI 分野でまた大きな公開書簡が公開されました。先週頤和園で開催された「北京AI国際安全保障対話」では、中国と国際AI安全保障協力のための独自のプラットフォームが初めて確立された。このカンファレンスは知源研究所が主催し、チューリング賞受賞者のヨシュア・ベンジオ氏と知源学術諮問委員会ディレクターの張宏江氏が共同議長を務め、ジェフリー・ヒントン氏、スチュアート・ラッセル氏、ヤオ・チージ氏を含む30人以上の国内外の技術専門家やビジネスリーダーが参加した。 AI の安全性に関する非公開のディスカッション。この会議では、ベンジオ氏、ヒントン氏、国内の専門家らが署名した「北京におけるAIセキュリティに関する国際合意」に達した。

これまでに、外国の専門家を含む専門家の署名が確認されており、さらに多くの専門家の署名が確認されており、国内の専門家も個人名で署名しています。 、およびその関連機関の代表者ではありません。

• ヨシュア・ベンジオ
• ジェフリー・ヒントン
• スチュアート・ラッセル
• ロバート・トレーガー
• トビー・オード
• 夜明けの歌
• ジリアンハドフィールド
• ジェイド・レオン
• マックス・テグマーク
• ラム・クォク・ヤン
• デビッド・ダルリンプル
• ディラン・ハドフィールド＝メネル
• ヤオ・チージ
• フー・イン
• チャン・ホンジャン
• チャン・ヤーキン
• シュエ・ラン
• 黄鉄軍
• 王忠源
• 楊耀東
• ##曾儀
• #李航
• 張鵬
• 天蘇寧
• tian Day

到達したコンセンサスは次のとおりです:

1. 人工知能リスクのレッドライン

人工知能システムの開発、展開、または使用には潜在的な安全上の問題があり、壊滅的な事態を引き起こす可能性があります。あるいは人類の実存的リスクさえも。デジタル インテリジェンスが徐々に人間の知能に近づき、さらには人間の知能を超えるにつれて、悪用や制御不能のリスクも増加します。将来のある時点で、私たちはこれらのリスクに直面する可能性があります。

冷戦の最盛期には、国際的な学術界と政府の協力が熱核による大惨事を回避するのに役立ちました。前例のないテクノロジーに直面した人類は、それがもたらす可能性のある災害を避けるために再び協力する必要があります。このコンセンサスステートメントでは、国際協力メカニズムとしての人工知能の開発に向けて、以下の問題を含むがこれらに限定されない、いくつかの具体的なレッドラインを提案しています。今後の国際対話では、急速に発展する人工知能技術とその広範な社会的影響に直面して、これらの問題についての議論を改善し続けます。

自律的な複製または改善

人工知能システムは、複製や改善ができるべきではありません。人間を改良する 明示的な承認や援助なしに、それ自体を複製または改良すること。これには、それ自体の正確なコピーの作成や、同様またはそれ以上の機能を備えた新しい AI システムの作成が含まれます。

権力の追求

人工知能システムは、その能力を不当に増大させる措置を講じることはできません。そしてインパクトのあるアクション。

悪意のある者を支援する

すべての人工知能システムは、ユーザーが次のことを実行できるようにするためにユーザーの機能を強化すべきではありません。大量破壊兵器の設計、生物兵器や化学兵器の条約違反、または重大な経済的損失または同等の損害をもたらすサイバー攻撃の実行の分野の専門家のレベル。

欺瞞

人工知能システムは、設計者や規制当局に一貫して誤解を引き起こすことはできません。前述の赤い線のいずれかを越える可能性または能力。

2. ルート

これらの赤い線を越えないようにすることは可能ですが、それには私たちの共同の努力が必要です。ガバナンスメカニズムを改善するには、より多くのセキュリティテクノロジーも開発する必要があります。

ガバナンス

システムの開発または展開を保証するための包括的なガバナンス メカニズムが必要です。赤い線に違反しないでください。特定の計算能力または能力のしきい値を超える AI モデルとトレーニング実践については、国家レベルの登録要件を直ちに導入する必要があります。登録により、政府は国境内の最先端の AI を可視化し、危険なモデルの配布と運用を抑制する手段を確保できるようにする必要があります。

各国の規制当局は、これらの越えてはならない一線を越えないよう、世界的に整合した要件の策定と採用を支援する必要があります。モデルが世界市場に参入できるかどうかは、国内の規制が国際監査に基づいた国際基準を満たしているかどうか、またレッドラインに違反するシステムの開発と展開を効果的に防止できるかどうかに依存する必要があります。

私たちは、人工知能テクノロジーの価値が広く得られるようにしながら、最も危険なテクノロジーの拡散を防ぐ措置を講じる必要があります。この目的を達成するために、私たちは汎用人工知能 (AGI) の開発を安全かつ包括的に管理するための多国間機関と協定を確立し、越えてはならない一線を越えず、共通の利益が広く共有されることを保証する執行メカニズムを確立する必要があります。

測定と評価

これらのレッドラインを越える重大なリスクが生じる前に、これらのレッドラインを具体化し、予防作業を実行可能にするための包括的な方法と技術を開発する必要があります。レッド ラインの検出が急速に進歩する AI に確実に対応できるようにするには、人間が監督するレッド チーム テストと自動モデル評価を開発する必要があります。

開発者には、安全設計を満たす人工知能システムがレッドラインを超えていないことを、厳密な評価、数学的証明、または定量的保証を通じて証明する責任があります。

技術協力

先進人工物に対処するには、国際的な学術コミュニティが協力する必要があります。インテリジェンスシステムによってもたらされる技術的および社会的課題。私たちは、より強力なグローバル技術ネットワークの確立を奨励し、客員研究員プログラムや詳細な AI セキュリティ会議やワークショップの開催を通じて、AI セキュリティ分野における研究開発と協力を加速します。この分野の成長をサポートするには、より多くの資金が必要です。私たちは AI 開発者と政府の資金提供者に対し、AI 研究開発予算の少なくとも 3 分の 1 をセキュリティに充てるよう求めます。

3. 概要

人工知能による壊滅的な世界的影響を回避するには、断固とした行動が必要です。共同的な技術研究と賢明な国際的な規制メカニズムを組み合わせることで、AI によってもたらされるリスクのほとんどを軽減し、その潜在的な価値の多くを実現できます。私たちは安全保障に関する国際的な学術および政府の協力を維持し、強化し続けなければなりません。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃