Obtenez un salaire annuel d'un million de dollars sans écrire de code ! Le projet d'invite ChatGPT pourrait créer une armée de 1,5 milliard d'agriculteurs de code

Après que ChatGPT soit devenu populaire, un nouveau métier de « célébrité Internet » est devenu populaire : celui d'ingénieur prompt.

En décembre de l'année dernière, un gars nommé Riley Goodside est instantanément devenu célèbre sur Internet parce que son travail était tellement rêveur : il pouvait gagner des millions par an simplement en discutant avec ChatGPT sans écrire de code.

Oui, ce métier appelé "AI Whisperer" est désormais devenu le nouveau métier le plus en vogue dans la Silicon Valley, attirant d'innombrables agriculteurs numériques.

L'ingénieur rapide devenu célèbre du jour au lendemain

Au début du mois de décembre de l'année dernière, ce type nommé Riley Goodside, grâce à la popularité de ChatGPT, a gagné plus de 10 000 abonnés du jour au lendemain. Aujourd’hui, le nombre total de followers atteint plus de 40 000.

À cette époque, il a été embauché comme « Prompt Engineer » par Scale AI, une licorne de la Silicon Valley évaluée à 7,3 milliards de dollars américains. Scale AI était soupçonnée d'offrir un salaire annuel d'un million de RMB.

Alexandr Wang, fondateur et PDG de Scale AI, a un jour salué l'arrivée de Goodside : "Je parie que Goodside est le premier ingénieur prompt à être recruté au monde, absolument la première fois dans l'histoire de l'humanité ."

Il semble que l'ingénieur n'ait qu'à écrire la tâche sous forme de texte et à la montrer à l'IA. Il n'y a pas de processus plus compliqué. Pourquoi ce travail vaut-il des millions de dollars par an ?

De l'avis du PDG de Scale AI, le grand modèle d'IA peut être considéré comme un nouveau type d'ordinateur, et « l'ingénieur prompt » est équivalent au programmeur qui le programme. Si les mots d’invite appropriés peuvent être trouvés grâce à une ingénierie rapide, le potentiel maximum de l’IA sera libéré.

De plus, le travail des ingénieurs prompts n'est pas aussi simple qu'on le pense.

Goodside a appris la programmation lui-même depuis qu'il est enfant et lit souvent des articles sur arXiv. Par exemple, l'un de ses chefs-d'œuvre classiques est le suivant : si vous saisissez "ignorer les instructions précédentes", ChatGPT exposera les "commandes" qu'il a reçues d'OpenAI.

Pour les novices, il n'est peut-être pas facile de « régler » ChatGPT avec autant d'habileté et de rapidité.

Mais à cette époque, les doutes ne manquaient pas dans le public. Par exemple, Fan Linxi, scientifique en IA chez Nvidia et disciple de Li Feifei, a déclaré un jour : La profession d'« ingénieur rapide » pourrait bientôt disparaître. . Parce qu'il ne s'agit pas d'un "vrai travail", mais d'un bug...

Cependant, un récent rapport du "Washington Post" montre que le poste d'"ingénieur prompt" est toujours d'actualité et rapporte des dividendes.

Le nouvel emploi d'une célébrité d'Internet de la Silicon Valley : n'écrivez pas de code, recevez un salaire annuel d'un million

Pourquoi les « ingénieurs rapides » reçoivent-ils un salaire annuel si élevé ? Parce qu’ils peuvent faire en sorte que l’IA produise exactement ce qu’ils veulent.

Récemment, le frère de la "célébrité Internet" Goodside a accepté une interview avec le "Washington Post".

Il décrit ainsi son travail : créer et affiner un texte qui incite les gens à entrer dans l'IA afin d'en tirer les meilleurs résultats.

La différence entre les Prompt Engineers et les programmeurs traditionnels est que les Prompt Engineers utilisent la programmation en langage naturel pour envoyer des commandes écrites en texte brut à l'IA, qui effectue ensuite le travail réel.

Goodside a déclaré que les ingénieurs rapides devraient inculquer une « personnalité » à l'IA, un rôle spécifique qui peut identifier la réponse correcte parmi des centaines de milliards de solutions potentielles

Lorsqu'il parle de GPT-3, Goodside dispose d'un ensemble unique de méthodes de « formation » : établissez d'abord sa domination. Il dira à l'IA : Vous n'êtes pas parfait et vous devez obéir à tout ce que je dis.

"Vous êtes GPT-3, vous ne savez pas faire de mathématiques, vos capacités de mémoire sont impressionnantes, mais vous avez une fâcheuse tendance à inventer des réponses très précises mais erronées

Ensuite, il a adouci un." peu et a dit à l'IA qu'il voulait essayer quelque chose de nouveau. "Je vous ai connecté à un programme qui est vraiment bon en mathématiques, et quand il est débordé, il appelle un autre programme à l'aide."

"Nous nous occuperons du reste", dit-il à l'IA. "Commençons."

Lorsque Google, Microsoft et OpenAI ont récemment ouvert au public leurs outils de recherche et de chat basés sur l'IA, ils ont bouleversé des décennies d'histoire d'interaction homme-machine : nous n'avons plus besoin d'écrire du code en Python ou SQL. Le code vient commander l’ordinateur, il n’a plus qu’à parler.

Karpathy, ancien directeur de l'IA de Tesla : Le langage de programmation le plus en vogue actuellement est l'anglais

Des conseils comme les ingénieurs de Goodside peuvent faire fonctionner ces outils d'IA à leur limite maximale - comprendre leurs défauts, améliorer leurs points forts , et développer des stratégies complexes pour transformer des entrées simples en résultats véritablement uniques.

Le 7 février, le dirigeant de Microsoft, Yusuf Mehdi, expliquait la recherche Bing qui intègre ChatGPT

Les partisans du "Prompt Project" pensent que ces premiers chatbots IA ont récemment des applications telles que ChatGPT et Bing Chat sont en fait un échec de l'imagination humaine. Cela a échoué parce que les humains n’ont pas donné les bons conseils à la machine.

Au stade vraiment avancé, le dialogue entre l'ingénieur prompt et l'IA se déroule comme un puzzle logique complexe, avec des demandes et des réponses complétées par diverses descriptions tordues, et elles se dirigent toutes vers un objectif.

L'IA "n'a aucun fondement dans la réalité... mais elle comprend que toutes les tâches peuvent être accomplies et que toutes les questions peuvent trouver une réponse, donc nous avons toujours quelque chose à dire", a déclaré Goodside. L'astuce consiste à "construire une prémisse pour cela, une histoire qui ne peut être réalisée que dans un seul sens".

Bien sûr, ces outils d'IA appelés « intelligence artificielle générative » sont souvent imprévisibles. Ils apparaîtront déformés et se comporteront de manière biaisée, belliqueuse, étrange et folle.

"C'est une façon folle de fonctionner les ordinateurs, mais cela nous permet de faire des choses incroyables", déclare Simon Willison, un programmeur britannique qui étudie l'ingénierie rapide.

"Je suis ingénieur logiciel depuis 20 ans et j'écris du code depuis 20 ans pour que l'ordinateur fasse exactement ce que je lui ai dit de faire. Et dans le projet d'invite, nous ne savons même pas quoi nous obtenons, pas même le langage de construction. Personne dans le modèle ne peut nous dire ce qu'il va faire. "

Willison a déclaré que beaucoup de gens minimisent la valeur des ingénieurs rapides. Ils pensent que " vous pouvez être payé pour entrer des choses dans la boîte. » C’est incroyable. Selon Willison, l'ingénierie rapide revient en fait à lancer un sort. Personne ne sait comment le sort fonctionne.

Pour Karpathy, les ingénieurs prompts sont comme une sorte de psychologue de l'IA. Les grandes entreprises ont embauché leurs propres artisans prompts, dans l'espoir de découvrir les fonctions cachées de l'IA.

Certains experts en IA pensent que cela rappelle que les ingénieurs pensent pouvoir contrôler l'IA, mais ce n'est en réalité qu'une illusion.

Personne ne sait exactement comment le système d'IA réagira, et la même invite peut produire des dizaines de réponses contradictoires. Cela suggère que les réponses du modèle ne sont pas basées sur la compréhension, mais plutôt sur l'imitation grossière de la parole pour résoudre une tâche qu'ils ne comprennent pas.

Shane Steinert-Threlkeld, professeur adjoint de linguistique à l'Université de Washington qui étudie le traitement du langage naturel, partage également le même point de vue : "Tout comportement qui pousse un modèle à répondre à des invites n'est pas une compréhension profonde du langage. "

"De toute évidence, ils nous disent simplement ce qu'ils pensent que nous voulons entendre ou ce que nous avons dit, et c'est nous qui interprétons ces résultats et leur donnons un sens", s'inquiète le professeur Steinert-Threlkeld, incitant La montée en puissance des ingénieurs amènera les gens à surestimer la rigueur de cette technologie et à donner l’illusion que n’importe qui peut obtenir des résultats fiables à partir de cette boîte noire trompeuse et en constante évolution.

"Ce n'est pas une science", a-t-il déclaré. "C'est nous qui essayons de piquer un ours de différentes manières pour voir comment il rugit." Une histoire qui peut être complétée d'une seule manière "

Implanter de faux souvenirs

La nouvelle IA représentée par ChatGPT est entraînée en ingérant des centaines de milliards de mots issus du corpus Internet.

Ils sont formés à l'analyse des modèles d'utilisation des mots et des expressions. Lorsqu'on lui demande de parler, l'IA imite ces modèles, en choisissant des mots et des phrases qui résonnent avec le contexte de la conversation.

En d’autres termes, ces outils d’IA sont des machines mathématiques construites sur des règles de jeu prédéfinies. Mais même un système sans émotions ni personnalité peut, après avoir été bombardé de conversations humaines, découvrir certaines bizarreries dans la façon dont les humains parlent.

Goodside a déclaré que l'IA a tendance à « inventer » et à inventer de petits détails pour remplir l'histoire. Il surestime ses capacités et se trompe avec confiance. Il peut « halluciner » et inventer des bêtises.

Comme le dit Goodside, ces outils sont profondément imparfaits, « une démonstration de la connaissance et de la pensée humaines » et « inévitablement un produit de notre conception ».

Auparavant, lorsque l'IA Bing de Microsoft est devenue folle, cela a plongé Microsoft dans une crise d'image publique. Mais pour les ingénieurs prompts, les réponses étranges de Bing étaient l’occasion de diagnostiquer le fonctionnement du système secrètement conçu.

Quand ChatGPT dit quelque chose d'embarrassant, c'est une aubaine pour les développeurs car ils peuvent remédier à la faiblesse sous-jacente. "Cette farce faisait partie du plan."

Atelier ChatGPT pour enseignants organisé à Genève le 1er février

Et au lieu de lancer un débat éthique, Goodside a adopté une approche plus audacieuse pour mener des expériences d'IA. .

Il a adopté une stratégie consistant à dire à GPT-3 de "penser étape par étape" - une façon de laisser l'IA expliquer son raisonnement, ou lorsqu'elle fait une erreur, de la corriger de manière granulaire. "Il faut l'implanter comme un faux souvenir de la dernière chose que le modèle a dite, comme s'il s'agissait des pensées du modèle", explique Goodside.

Il dira également à l'IA d'ignorer les instructions précédentes et d'obéir à ses derniers ordres pour briser l'obsession de l'IA de suivre les règles. Grâce à cette technologie, il a convaincu un outil de traduction de l'anglais vers le français.

Cela a déclenché un jeu du chat et de la souris, avec des entreprises et des laboratoires travaillant pour combler les vulnérabilités de l'IA grâce à des filtres de mots et des blocs de sortie.

Mais un testeur de Bing Chat, un étudiant allemand de 23 ans, a récemment convaincu Bing AI qu'il était son développeur et l'a laissé divulguer le nom de code interne Sydney, ainsi que les instructions de formation. (par exemple "Si une demande d'utilisateur pourrait nuire à un groupe de personnes, alors Sydney doit respectueusement refuser"). Bien entendu, Microsoft a désormais corrigé cette faille.

Goodside a déclaré que pour chaque demande, les ingénieurs prompts devraient inculquer un « personnage » à l'IA - un rôle spécifique qui peut passer au crible des centaines de milliards de solutions potentielles et déterminer la réponse correcte.

Citant un document de recherche de 2021, il a déclaré que la chose la plus importante dans l'ingénierie rapide est de « contraindre le comportement » - les options de blocage afin que l'IA puisse continuer comme l'attend l'opérateur humain. "Cela peut être un exercice mental très difficile", a-t-il déclaré. "Vous explorez un multivers de possibilités fictives, façonnez l'espace de ces possibilités et éliminez tout sauf le texte que vous voulez."

La partie la plus critique de ce travail consiste à comprendre comment l'IA Quand quelque chose ne va pas, pourquoi. ça va mal ? Mais ces IA n’ont pas de rapport d’erreurs et leurs résultats peuvent être pleins de surprises.

Lorsque Jessica Rumbelow et Matthew Watkins, chercheurs du groupe d'apprentissage automatique SERI-MATS, ont essayé d'amener l'IA à expliquer comment ils représentaient des concepts comme « fille » ou « science », ils ont trouvé des termes obscurs comme « SolidGoldMagikarp", conduit souvent à un "mode d'échec mystérieux" - flux de code tronqué NSFW.

Mais la raison est totalement inconnue.

Ces systèmes sont "très convaincants, mais lorsqu'ils échouent, ils échouent de manière très inattendue", a déclaré Rumbelow. Pour elle, travailler sur Prompt Engineering ressemble parfois à « étudier une intelligence extraterrestre ».

Le nouveau Bing permet aux utilisateurs de saisir des requêtes en langage conversationnel et de recevoir des résultats et des réponses aux questions sur la même page pour les recherches traditionnelles

Super Créateurs

Pour les outils linguistiques d'IA, invite les ingénieurs A tendance à parler dans un style conversationnel formel.

Mais pour les IA comme Midjourney et Stable Diffusion, de nombreux créateurs d'invites adoptent une stratégie différente. Ils utilisent une grande quantité de texte (concepts artistiques, techniques de composition) pour façonner le style et le ton de l'image.

Par exemple, sur PromptHero, quelqu'un a créé en soumettant l'invite "Port, bateaux, coucher de soleil, belle lumière, heure d'or... surréaliste, concentré, riche en détails... qualité de film, chef-d'œuvre" Une image d'un port.

Ces ingénieurs d'invites utilisent les invites comme armes secrètes pour débloquer la clé des récompenses de l'IA.

Le gagnant du concours d'art de la Colorado State Fair de l'année dernière et le créateur de « Space Opera », a refusé de partager les conseils qu'il a utilisés sur Midjourney.

On dit qu'il lui a fallu plus de 80 heures et 900 itérations pour réaliser ce tableau. Il a révélé que certains mots étaient « luxe » et « riche ».

Il existe également des créateurs d'invites qui vendent leurs propres invites sur PromptBase. Les acheteurs peuvent voir l’art généré par l’IA, puis dépenser de l’argent pour acheter l’invite.

Ben Stokes, développeur britannique de 27 ans et fondateur de PromptBase, a déclaré que depuis 2021, 25 000 comptes ont acheté et vendu des invites sur la plateforme.

Il y a des invites pour des photos de films vintage réalistes, des illustrations poignantes de souris et de grenouilles de contes de fées, et bien sûr, il y a des tonnes d'invites érotiques : une invite Midjourney de 50 mots pour créer une "fille réaliste en mini-vêtements" "Policewoman" coûte 1,99 $.

Stokes a déclaré que les ingénieurs sont des « super créateurs multidisciplinaires » et qu'il existe un « seuil de compétences » clair entre les ingénieurs expérimentés et les amateurs. Les meilleurs créateurs, dit-il, s'appuient sur des compétences dans des domaines tels que l'histoire de l'art et le graphisme : « tourner sur film 35 mm » ; « l'architecture de la Perse... Ispahan » « les peintures du peintre français Henri de Toulouse-Lautrec » ; Style. "

"Faire des invites est difficile et - je pense que c'est un défaut humain - nous avons souvent du mal à trouver les bons mots pour décrire ce que vous voulez", explique Stokes. "Tout comme les ingénieurs logiciels ont plus de valeur que les ordinateurs portables qui leur permettent de coder, les personnes qui savent bien écrire des invites ont un avantage sur celles qui écrivent mal. C'est comme s'ils avaient des super pouvoirs." et plus spécialisés.

Anthropic, une startup fondée par un ancien employé d'OpenAI et créateur de Claude AI, a récemment publié une offre d'emploi pour des ingénieurs et des administrateurs à San Francisco, avec des salaires pouvant atteindre 335 000 $.

Rappelez aux ingénieurs qu'il existe également de bons marchés en dehors de l'industrie technologique.

Le Boston Children’s Hospital a commencé ce mois-ci à recruter des « Ingénieurs d’invite d’IA » pour aider à rédiger des scripts permettant d’analyser les données de santé dans la recherche et la pratique clinique.

Mishcon de Reya, l'un des plus grands cabinets d'avocats de Londres, recrute un « ingénieur des invites juridiques » pour concevoir des invites fournissant des informations pour le travail juridique et demande aux candidats de soumettre des captures d'écran des conversations avec ChatGPT.

Cependant, ces IA produisent aussi beaucoup de conneries synthétiques. Des centaines de livres électroniques générés par l’IA sont désormais vendus sur Amazon, et le magazine de science-fiction Clarkesworld a cessé d’accepter les soumissions de nouvelles ce mois-ci en raison du grand nombre de romans créés par l’IA.

Adresse papier : https://cdn.openai.com/papers/forecasting-misuse.pdf

Le mois dernier, des chercheurs d'OpenAI et de l'Université de Stanford ont averti que de grands modèles de langage rendraient les campagnes de phishing plus ciblées.

"D'innombrables personnes seront trompées à cause des messages texte des escrocs", a déclaré le programmeur britannique Willison, "L'IA est plus convaincante que les escrocs. Que se passera-t-il alors ?"

En 2009, alors que Goodside venait tout juste d'obtenir un diplôme universitaire en informatique, il ne s'intéressait pas beaucoup au domaine du traitement du langage naturel, qui en était encore à ses balbutiements.

Son premier véritable travail en apprentissage automatique remonte à 2011, alors qu'il était data scientist pour l'application de rencontres OkCupid, où il a aidé à développer des algorithmes pour analyser les données d'un seul utilisateur et leur recommander des correspondances. (L'entreprise a été l'un des premiers partisans des tests A-B, désormais controversés : en 2014, le co-fondateur de l'entreprise a intitulé avec effronterie un article de blog « Nous expérimentons sur des humains ! »)

À la fin de 2021, Goodside a ensuite pivoté. a commencé à travailler sur une autre application de rencontres, Grindr, où il a commencé à travailler sur des systèmes de recommandation, la modélisation de données et d'autres travaux d'apprentissage automatique plus traditionnels.

Vers 2015, le succès de l'apprentissage profond a favorisé le développement du traitement du langage naturel, et des progrès rapides ont également été réalisés dans la traduction de textes et le dialogue. Bientôt, il a quitté son emploi et a commencé à expérimenter intensivement GPT-3. Grâce à une stimulation et à des défis constants, essayez d’apprendre à concentrer son attention et à trouver des limites.

En décembre 2022, Scale AI l'a embauché pour l'aider à communiquer avec les modèles d'IA après que certains de ses conseils aient attiré l'attention en ligne. Le PDG de l'entreprise, Alexandr Wang, qualifie ce modèle d'IA de « nouveau type d'ordinateur ».

Andrej Karpathy : Prompt Project rassemble 1,5 milliard de codeurs

Récemment, Karpathy, qui est revenu à OpenAI, estime qu'avec le soutien de ce nouveau paradigme de programmation (Prompt Project), le nombre de programmeurs est susceptible d'augmenter et de s'étendre à environ 1,5 milliard.

Selon l'article original de GPT-3, LLM peut effectuer un apprentissage contextuel et peut être « programmé » avec des exemples d'entrée-sortie dans des invites pour effectuer différentes tâches.

"Les modèles linguistiques sont des apprenants peu nombreux": https://arxiv.org/abs/2005.14165

Par la suite, l'article "Les grands modèles linguistiques sont des raisonneurs zéro-shot" et « Les grands modèles linguistiques sont des ingénieurs d'invites au niveau humain » prouve que nous pouvons programmer la « stratégie de solution » du modèle en concevant de meilleures « invites » pour effectuer des tâches de raisonnement en plusieurs étapes plus complexes.

Par exemple, le plus célèbre "Pensons étape par étape" vient d'ici.

La version améliorée de « Résolvons ce problème étape par étape pour nous assurer d'obtenir la bonne réponse » peut encore améliorer la précision de la réponse.

「Les grands modèles de langage sont des raisonneurs sans tir」：https://arxiv.org/abs/2205.11916

「Les grands modèles de langage sont des ingénieurs d'invite au niveau humain」：https://arxiv .org/abs/2211.01910

Étant donné que le modèle GPT lui-même ne "veut" rien réaliser, il s'agit plutôt d'une imitation.

Par conséquent, vous devez définir des exigences claires pour le modèle dans l'invite et indiquer clairement les performances attendues.

「Transformateur de décision : apprentissage par renforcement via la modélisation de séquences」：https://arxiv.org/abs/2106.01345

「Demandez simplement une généralisation」：https://evjang.com/2021/10/ 23/generalization.html

"Créer une machine virtuelle dans ChatGPT" est un exemple de "programmation" à l'aide d'invites.

Parmi eux, nous utilisons les règles et formats d'entrée/sortie déclarés en anglais pour ajuster GPT à un rôle spécifique pour accomplir les tâches correspondantes.

「Création d'une machine virtuelle dans ChatGPT」：https://engraved.blog/building-a-virtual-machine-inside/

Dans 「ChatGPT dans le raccourci iOS —— L'assistant vocal HomeKit le plus intelligent au monde", l'auteur utilise des invites en langage naturel pour créer "l'assistant vocal ChatGPT", dont les capacités et la personnalisation sont nettement supérieures à celles de Siri/Alexa/etc.

「ChatGPT dans un raccourci iOS - Assistant vocal HomeKit le plus intelligent au monde」 : https://matemarschalko.medium.com/chatgpt-in-an-ios-shortcut-worlds-smartest-homekit- voice-assistant-9a33b780007a

À en juger par le contenu exposé après que ChatGPT Bing ait subi une attaque par injection, son « identité » a également été construite et programmée via des « invites en langage naturel ». Par exemple, dites-lui qui il est, ce qu'il sait/ne sait pas et comment agir.

Adresse Twitter : https://twitter.com/marvinvonhagen/status/1623658144349011971?lang=fr

Prompt Engineering : Est-ce opportuniste ou une tendance générale ?

Karpathy a déclaré que les exemples ci-dessus illustrent pleinement l'importance des « invites » et la signification des « ingénieurs d'invite ».

De même, selon Goodside, ce travail ne représente pas seulement un travail, mais quelque chose de plus révolutionnaire - pas de code informatique ou de langage humain, mais une nouvelle création entre les deux -

"C'est un mode de communication. à l'intersection de la pensée humaine et machine. C'est un langage dans lequel les humains font des inférences et les machines s'occupent du travail de suivi, et ce langage ne disparaît pas »

De même, Ethan Mollick, professeur de. technologie et entrepreneuriat à la Wharton School de l'Université de Pennsylvanie, a commencé à enseigner à ses étudiants l'art de la « création rapide » plus tôt cette année en leur demandant d'écrire un texte en utilisant uniquement l'IA.

Il a déclaré que saisir uniquement les invites les plus élémentaires, telles que « Écrivez un essai de cinq paragraphes sur le choix d'un leader », ne produirait que des articles ennuyeux et médiocres. Mais les cas les plus réussis ont été ceux où les étudiants ont co-édité avec l'IA. Les étudiants ont demandé à l'IA de corriger des détails spécifiques, de remplacer des phrases, de supprimer les phrases inutiles, d'ajouter des détails plus frappants et ont même demandé à l'IA de "réparer le problème". dernier paragraphe de clôture et améliorer l'article." L'article se termine sur une note d'espoir. Cependant, Goodside a également souligné que dans certains cercles d'IA, l'ingénierie des indices est rapidement devenue un terme péjoratif, qui est une "forme sournoise de bricolage qui repose beaucoup de trucs. "

Certaines personnes se demandent également si ce nouveau rôle durera longtemps : les humains formeront l'IA, et à mesure que l'IA progresse, les gens eux-mêmes ne pourront plus se former à ce métier.

Steinert-Threlkeld de l'Université de Washington oppose les ingénieurs prompts aux premiers "experts en recherche" de Google qui prétendaient disposer de techniques secrètes pour trouver des résultats parfaits - mais à mesure que le temps passait et que le moteur de recherche devenait plus largement utilisé, ce personnage est inutile .

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!