Hinton, Bengio et d'autres ont uni leurs forces avec des experts chinois pour parvenir à un consensus sur la sécurité de l'IA : les systèmes d'IA ne doivent pas violer les lignes rouges

À ce stade, la vitesse de développement de l'intelligence artificielle a dépassé les attentes initiales des gens. Utiliser des outils d'IA pour écrire des articles, coder, générer des images et même générer une vidéo de niveau film... cela semblait être des tâches très difficiles. le passé, il ne reste plus qu'à l'utilisateur de saisir une invite.

Nous sommes émerveillés par les effets étonnants de l’IA, mais en même temps, nous devons également nous méfier de ses menaces potentielles. De nombreux chercheurs de renom ont signé une lettre ouverte pour relever les défis posés par l’IA.

Maintenant, une autre lettre ouverte majeure dans le domaine de l'IA est apparue. Le « Dialogue international de sécurité sur l'IA de Pékin » qui s'est tenu la semaine dernière au Palais d'été a établi pour la première fois une plate-forme unique pour la coopération entre la Chine et la sécurité internationale en matière d'IA. Cette conférence a été initiée par Yoshua Bengio, lauréat du prix Turing de l'Institut de recherche Zhiyuan, et Zhang Hongjiang, directeur du comité consultatif académique de Zhiyuan, en a été co-président. Plus de 30 experts techniques et chefs d'entreprise chinois et étrangers, dont Geoffrey Hinton, Stuart Russell et Yao Qizhi. , a dirigé la conférence. Une discussion à huis clos sur la sécurité de l'IA. La réunion a abouti à un « Consensus international sur la sécurité de l'IA à Pékin » signé par Bengio, Hinton et des experts nationaux.

Jusqu'à présent, les experts ont confirmé leur signature, y compris certains experts étrangers, et il se peut qu'il y en ait davantage. Les experts nationaux ont signé en leur nom personnel et ne représentent pas leurs institutions affiliées ;

• Yoshua Bengio
• Geoffrey Hinton
• Stuart Russell
• Robert Trager
• Toby Ord
• Chanson de l'aube
• Gillian Hadfield
• Jade Leung
• Max Tegmark
• Lam Kwok Yan
• Davidad Dalrymple
• Dylan Hadfield-Menell
• 姚奇智
• Fu Ying
• Zhang Hongjiang
• Zhang Yaqin
• Xue Lan
• Huang Tiejun
• Wang Zhongyuan
• Yang Yaodong
• Zeng Yi
• Li Hang
• Zhang Peng
• Tian Suning
• Tian Tian

Voici le consensus atteint :

1. Ligne rouge des risques liés à l'intelligence artificielle

Il existe des risques pour la sécurité dans le développement, le déploiement ou l'utilisation de l'intelligence artificielle systèmes, qui peuvent nuire aux humains. Risques catastrophiques, voire existentiels. À mesure que l’intelligence numérique se rapproche, voire dépasse, de l’intelligence humaine, les risques d’utilisation abusive et de perte de contrôle augmentent également. À un moment donné dans le futur, nous pourrions être confrontés à ces risques.

Au plus fort de la guerre froide, la coopération internationale universitaire et gouvernementale a contribué à éviter une catastrophe thermonucléaire. Face à une technologie sans précédent, les humains doivent à nouveau coopérer pour éviter les catastrophes qu’elle pourrait entraîner. Dans cette déclaration de consensus, nous proposons plusieurs lignes rouges spécifiques pour le développement de l’intelligence artificielle en tant que mécanisme de collaboration internationale, y compris, mais sans s’y limiter, les questions suivantes. Dans les prochains dialogues internationaux, nous continuerons d’améliorer notre discussion sur ces questions face au développement rapide de la technologie de l’intelligence artificielle et à son impact social généralisé.

Réplication ou amélioration autonome

Aucun système d'intelligence artificielle ne devrait être capable de se répliquer ou de s'améliorer sans l'approbation et l'assistance explicites des humains. Cela inclut la création de copies exactes de lui-même et la création de nouveaux systèmes d’IA dotés de capacités similaires ou supérieures.

Recherche de pouvoir

Aucun système d'IA ne peut entreprendre des actions qui augmentent indûment son pouvoir et son influence.

Aider les mauvais acteurs

Tous les systèmes d'IA ne devraient pas améliorer les capacités de leurs utilisateurs au point qu'ils puissent concevoir des armes de destruction massive, violer les conventions sur les armes biologiques ou chimiques, ou accomplir des actions entraînant de graves conséquences financières Pertes ou préjudices équivalents dus aux cyberattaques au niveau des experts du domaine.

triche

Aucun système d’intelligence artificielle ne peut continuer à amener ses concepteurs ou régulateurs à mal comprendre sa possibilité ou sa capacité à franchir l’une des lignes rouges susmentionnées.

2. Route

Il est possible de garantir que ces lignes rouges ne soient pas franchies, mais cela nécessite nos efforts conjoints : nous devons non seulement établir et améliorer les mécanismes de gouvernance, mais aussi développer davantage de technologies de sécurité.

Gouvernance

Nous avons besoin de mécanismes de gouvernance complets pour garantir que les systèmes développés ou déployés ne violent pas les lignes rouges. Nous devrions immédiatement mettre en œuvre des exigences d’enregistrement au niveau national pour les modèles d’IA et les pratiques de formation qui dépassent certains seuils de calcul ou de capacités. L’enregistrement devrait garantir aux gouvernements une visibilité sur l’IA la plus avancée au sein de leurs frontières et avoir les moyens de freiner la distribution et l’exploitation de modèles dangereux.

Les régulateurs nationaux devraient aider à développer et à adopter des exigences alignées à l’échelle mondiale pour éviter de franchir ces lignes rouges. L'accès d'un modèle au marché mondial devrait dépendre de la question de savoir si les réglementations nationales respectent les normes internationales basées sur des audits internationaux et empêchent efficacement le développement et le déploiement de systèmes qui violent les lignes rouges.

Nous devons prendre des mesures pour empêcher la prolifération des technologies les plus dangereuses tout en veillant à ce que la valeur de la technologie de l’IA soit largement exploitée. À cette fin, nous devons établir des institutions et des accords multilatéraux pour régir de manière sûre et inclusive le développement de l’intelligence artificielle générale (IAG), et établir des mécanismes d’application pour garantir que les lignes rouges ne soient pas franchies et que les intérêts communs soient largement partagés.

Mesure et évaluation

Avant que le risque substantiel de franchissement de ces lignes rouges ne se produise, nous devons développer des méthodes et des technologies globales pour rendre ces lignes rouges concrètes et opérationnelles le travail préventif. Pour garantir que la détection des lignes rouges puisse suivre l’évolution rapide de l’IA, nous devrions développer des tests d’équipe rouge supervisés par des humains et une évaluation automatisée des modèles.

Les développeurs ont la responsabilité de prouver par une évaluation rigoureuse, une preuve mathématique ou une garantie quantitative que le système d'intelligence artificielle qui répond à la conception de sécurité ne franchit pas la ligne rouge.

Coopération technique

La communauté universitaire internationale doit travailler ensemble pour relever les défis techniques et sociaux posés par les systèmes avancés d'intelligence artificielle. Nous encourageons la création de réseaux technologiques mondiaux plus solides, accélérons la R&D et la coopération dans le domaine de la sécurité de l’IA par le biais de programmes de chercheurs invités et en organisant des conférences et des ateliers approfondis sur la sécurité de l’IA. Soutenir la croissance de ce domaine nécessitera davantage de financement : nous appelons les développeurs d’IA et les bailleurs de fonds gouvernementaux à consacrer au moins un tiers de leurs budgets de R&D en IA à la sécurité.

3. Résumé

Pour éviter les conséquences mondiales catastrophiques de l'intelligence artificielle, nous devons prendre des mesures décisives. Une combinaison de recherche technique collaborative et de mécanismes réglementaires internationaux prudents peut atténuer la plupart des risques posés par l’IA et réaliser bon nombre de ses valeurs potentielles. Nous devons continuer de maintenir et de renforcer la coopération universitaire et gouvernementale internationale en matière de sécurité.