OpenAI annonce une nouvelle équipe pour contrôler l'intelligence artificielle « super intelligente »

News Le 6 juillet, mercredi, heure locale des États-Unis, la startup d'intelligence artificielle OpenAI a annoncé la formation d'une nouvelle équipe pour développer des méthodes permettant de guider et de contrôler les systèmes d'intelligence artificielle « superintelligents ». L'équipe est dirigée par Ilya Sutskever, scientifique en chef et co-fondateur d'OpenAI.

Dans un article de blog, Suskwell et Jan Leike, chef de l'équipe de coordination d'OpenAI, prédisent qu'une intelligence artificielle dotée d'une intelligence supérieure à celle des humains émergera d'ici une décennie. Ils préviennent qu’une telle intelligence artificielle ne sera pas nécessairement bienveillante envers les humains, il faudra donc rechercher des moyens de la contrôler et de la limiter.

Suskwell et Lake ont écrit : « Actuellement, nous n'avons aucune solution qui puisse être utilisée pour manipuler ou contrôler une IA potentiellement superintelligente et l'empêcher de devenir incontrôlable. Nos techniques actuelles pour peaufiner l'IA, comme le renforcement de la rétroaction humaine. l’apprentissage repose sur la capacité des humains à superviser l’intelligence artificielle. Mais les humains ne seront pas capables de superviser de manière fiable des systèmes d’intelligence artificielle bien plus intelligents que nous. »

Pour progresser dans le domaine du « Superintelligence Alignment », OpenAI crée. La nouvelle équipe Super Alignment, codirigée par Susqueville et Lake, aura accès à jusqu'à 20 % des ressources informatiques d'OpenAI. Cette équipe travaillera au cours des quatre prochaines années pour résoudre les principaux défis techniques liés au contrôle de l'intelligence artificielle superintelligente, en collaboration avec des scientifiques et des ingénieurs de l'ancienne division Alignement d'OpenAI, ainsi que des chercheurs d'autres parties de l'entreprise.

Alors, comment pouvons-nous garantir que les systèmes d'IA qui sont beaucoup plus intelligents que les humains suivent les intentions humaines ? Cela nécessitera l'aide de ce que Suskwell et Lake décrivent comme des « chercheurs en alignement automatisé au niveau humain ». Les objectifs de haut niveau sont d’utiliser le feedback humain pour former des systèmes d’IA, de former l’IA pour aider à l’évaluation d’autres systèmes d’IA et, à terme, de créer une IA capable de mener des études d’alignement. La « recherche d'alignement » fait ici référence à la garantie que le système d'intelligence artificielle atteint les résultats attendus ou ne s'écarte pas de la voie de la recherche.

L’hypothèse d’OpenAI est que l’intelligence artificielle peut effectuer des recherches d’alignement plus rapidement et mieux que les humains.

« À mesure que nous progressons dans ce domaine, nos systèmes d'IA peuvent prendre en charge de plus en plus le travail d'alignement et, à terme, concevoir, mettre en œuvre, rechercher et développer de meilleures technologies d'alignement que celles dont nous disposons actuellement », Lake et ses collègues John Schulman et Jeffrey Wu. hypothétique dans un article de blog précédent. "Ils travailleront avec les humains pour s'assurer que leurs propres successeurs soient toujours alignés sur les humains. Les chercheurs humains se concentreront de plus en plus sur l'examen des études d'alignement réalisées par les systèmes d'IA, plutôt que de mener eux-mêmes de telles études.

Bien sûr, aucune méthode n'est infaillible." , et Lake, Schulman et Jeffrey Wu reconnaissent dans leur article que l'approche d'OpenAI présente de nombreuses limites. Ils affirment que l’utilisation de l’IA à des fins d’évaluation peut potentiellement amplifier les incohérences, les biais ou les vulnérabilités de l’IA. Il se peut que la partie la plus difficile du problème d’alignement n’ait rien à voir avec l’ingénierie.

Mais Suskville et Lake ont pensé que cela valait la peine d'essayer. Ils écrivent : « L'alignement superintelligent est fondamentalement un problème d'apprentissage automatique, et nous pensons que de bons experts en apprentissage automatique (même s'ils n'ont pas commencé à travailler sur l'alignement) seront essentiels pour résoudre ce problème. Nous prévoyons de partager cela largement. nos efforts et promouvoir la cohérence et la sécurité des modèles non OpenAI en tant que partie importante de notre travail.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!