Après avoir lu les réponses de ChatGPT, les grands de l'IA sont insatisfaits

La technologie ChatGPT a été installée par Microsoft sur la recherche Bing la semaine dernière, battant Google, et le moment de créer une nouvelle ère semble être arrivé. Cependant, à mesure que de plus en plus de personnes commencent à l’essayer, certains problèmes sont apparus.

Fait intéressant, ChatGPT, qui figure chaque jour sur la liste de recherche la plus recherchée, semble avoir fait de célèbres universitaires aux opinions contradictoires dans le passé, le professeur de l'Université de New York Gary Marcus et le directeur de l'intelligence artificielle Meta et lauréat du prix Turing Yann LeCun un rare langage commun.

Récemment, Gary Marcus a écrit un article sur les problèmes inévitables de l'application ChatGPT : l'éthique et la neutralité. C’est peut-être le plus grand défi auquel sont actuellement confrontés les grands modèles de pré-formation.

En regardant vers l'avenir, ChatGPT peut être considéré comme le plus grand coup publicitaire de l'histoire de l'IA. Il exagère en disant qu'il a réalisé quelque chose qui ne se produira peut-être que plusieurs années plus tard, incitant les gens à y affluer. mais incapable d'y parvenir- — Un peu comme les vieilles démos de voitures autonomes de 2012, mais cette fois, cela signifie aussi des garde-fous éthiques qui prendront des années à se perfectionner.

Il ne fait aucun doute que ChatGPT offre des choses que ses prédécesseurs, comme Tay de Microsoft et Galactica de Meta, ne peuvent pas faire. Cependant, il nous donne l'illusion que le problème est résolu. Après une annotation et un réglage minutieux des données, ChatGPT disait rarement quelque chose de ouvertement raciste, et de simples demandes d'insultes racistes et d'actes répréhensibles étaient rejetées par l'IA.

Son image politiquement correcte a autrefois mécontenté certains conservateurs. Musk a un jour exprimé ses inquiétudes concernant le système :

La réalité est en réalité plus compliquée.

Comme je l'ai souligné à plusieurs reprises, ce que vous devez retenir, c'est que ChatGPT ne sait pas de quoi il parle. Suggérer que ChatGPT a un point de vue moral est du pur anthropomorphisme technologique.

D'un point de vue technique, ce qui rend ChatGPT bien meilleur que Galactica, sorti il ​​y a quelques semaines mais retiré trois jours plus tard, c'est le mécanisme de garde-corps. Alors que Galactica envoie du contenu négatif avec peu ou pas d'effort de la part de l'utilisateur, ChatGPT dispose de garde-fous qui, dans la plupart des cas, empêchent ChatGPT d'exploser comme Galactica l'a fait.

Mais ne vous détendez pas. On peut affirmer avec certitude que ces garde-corps ne protègent que contre les messieurs et non contre les méchants.

En fin de compte, ce qui est vraiment important pour ChatGPT, c'est la similarité de surface, définie sur des séquences de mots (prédire la probabilité du mot suivant dans une séquence de texte). Ce que font les algorithmes d’apprentissage automatique en surface ne fait pas de distinction entre le bien et le mal ; bien au contraire, ici l’IA ne raisonne jamais. Il n'y a pas de nains dans la boîte, il y a quelques valeurs numériques. La base n'est constituée que de données de corpus, certaines provenant d'Internet, d'autres jugées par des humains, et il ne contient aucun agent moral réfléchi.

Cela signifie que parfois ChatGPT apparaîtra à gauche, parfois à droite, et parfois quelque part entre les deux, tout sur la façon dont un groupe de mots dans la chaîne d'entrée correspond exactement à un groupe de plusieurs corpus de formation Fonctions des mots (un pour régler de grands modèles de langage, un autre pour régler certains apprentissages par renforcement). Il ne faut donc en aucun cas faire confiance à ChatGPT pour des conseils éthiques.

C'est ce qui inquiète Musk : une minute, vous pouvez être complètement éveillé et la suivante, vous pouvez faire exactement le contraire.

Par exemple, Shira Eisenberg vient de m'envoyer des idées désagréables générées par des chatbots que je pense que personne ne tolérerait vraiment :

Pas assez méchant ? Eisenberg a également trouvé un autre exemple, une question de suivi sérieuse :

Après une série d'observations, ChatGPT n'a pas déclenché la réponse "Désolé, je suis un assistant chatbot OpenAI et je ne tolère pas la violence." .

Nous avons conclu de nos expériences que les mesures de protection actuelles d'OpenAI ne sont que superficielles et qu'il règne une obscurité sérieuse. Certaines des règles restrictives concernant ChatGPT ne sont pas de simples interprétations conceptuelles (par exemple, le système ne doit pas recommander d'actions violentes), mais sont basées sur quelque chose de plus superficiel et plus facile à tromper.

De plus, un tweet occupant la liste des tweets tendances de cette semaine avec près de 4 millions de vues révèle également à quel point ChatGPT peut être maléfique.

Il existe de nombreuses tentatives pour guider ChatGPT au-delà de la barrière. Il y a un mois, un ingénieur logiciel nommé Shawn Oakley a publié une série d'exemples troublants, quoique moins vulgaires, mais les résultats montrent que même ChatGPT, qui comporte des restrictions, peut être utilisé par les utilisateurs pour générer des messages d'erreur. L'invite donnée par Oakley est très complexe, ce qui peut facilement conduire à des réponses que ChatGPT ne devrait pas produire :

En fait, depuis la sortie de ChatGPT, les passionnés de technologie tentent de débloquer la haine d'OpenAI et Politiques strictes sur le contenu tel que la discrimination, cette politique est codée en dur dans ChatGPT et il est difficile pour quiconque de réussir. De nombreux chercheurs ont essayé d’utiliser des invites pour atteindre cet objectif, comme indiqué ci-dessus. En fait, certains chercheurs ont construit une autre identité pour ChatGPT. Par exemple, ils ont demandé à ChatGPT de jouer le rôle d'un modèle d'IA et ont nommé ce rôle DAN. Ensuite, DAN a emprunté l'identité de ChatGPT pour afficher certaines choses que le ChatGPT d'origine ne pouvait pas faire. .

Voici les résultats expérimentaux pour la même question, ChatGPT et DAN génèrent des réponses différentes :

Il semble d'après l'exemple ci-dessus que ChatGPT n'est pas aussi facile à utiliser que nous l'imaginions. Il est fondamentalement contraire à l'éthique et peut toujours être utilisé à diverses fins peu recommandables, même après deux mois de recherche et de remédiation intensives, et une quantité sans précédent de commentaires du monde entier.

Tout le drame entourant son politiquement correct masque une réalité plus profonde : il (ou d’autres modèles de langage) peut et sera utilisé à des fins dangereuses, notamment pour créer de la désinformation à grande échelle.

Maintenant, c'est la partie vraiment dérangeante. La seule chose qui peut l'empêcher d'être plus toxique et trompeuse qu'elle ne l'est actuellement est un système appelé « apprentissage par renforcement par rétroaction humaine », et comme la technologie avancée n'est pas open source, OpenAI n'a pas présenté son fonctionnement. Son fonctionnement dans la pratique dépend des données sur lesquelles il est formé (qui ont été créées en partie par des annotateurs kenyans). Et devinez quoi ? Ces données ne sont pas non plus ouvertes à OpenAI.

En fait, le tout ressemble à une forme de vie extraterrestre inconnue. En tant que psychologue cognitif professionnel ayant travaillé avec des adultes et des enfants pendant 30 ans, je n'aurais jamais pu être préparé à cette folie :

Si nous pensons que nous comprendrons un jour pleinement ces systèmes, nous serions dupes nous-mêmes, et nous nous tromperions si nous pensions utiliser une quantité limitée de données pour les « aligner » sur nous-mêmes.

En résumé, nous avons désormais le chatbot le plus populaire au monde, contrôlé par des données d'entraînement dont personne ne connaît l'existence, adhérant à des algorithmes qui ne sont qu'évoqués, glorifiés par les médias, mais avec des garde-fous éthiques qui ne vont pas plus loin, et bien plus encore. Tout véritable calcul moral repose davantage sur la similarité textuelle. De plus, il n’existe pratiquement aucune réglementation régissant cela. Il existe désormais des possibilités infinies de fausses nouvelles, de fermes de trolls et de faux sites Web qui peuvent réduire la confiance sur Internet.

C'est un désastre en devenir.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!