ChatGPT annote les données 20 fois moins cher que les humains et a un avantage dans 80% des tâches

En termes simples, l'annotation des données consiste à étiqueter les données de contenu sur les réseaux sociaux, à les classer en différents thèmes ou concepts, ou à juger de leur position et de leurs émotions. Ces données annotées peuvent être utilisées comme ensembles de formation ou critères d'évaluation pour les modèles PNL.

Un autre « travail humain » a été supprimé par l'IA, et il est étroitement lié à la formation de l'IA :

Annotation de données.

Une recherche de l'Université de Zurich a révélé que face à ChatGPT, les humains n'ont aucun avantage en termes de coût ou d'efficacité :

• En termes de coût, le coût moyen de chaque annotation de ChatGPT est inférieur à 0,003 $ US, ce qui est 20 fois moins cher que les plateformes de crowdsourcing ;
• En termes d'efficacité, ChatGPT « écrase » également les humains avec un avantage de 4 : 1 dans des tâches telles que la pertinence, la position et les thèmes.

Après la publication du document, certains internautes ont ridiculisé le fait que l'adage selon lequel « générer des données de formation nécessite un travail manuel » était devenu une chose du passé.

Certaines personnes ont même crié : « Est-il possible que le travail de numérisation de la restauration de livres anciens soit accéléré ?

Certaines personnes n'ont pas dérangé l'excitation et ont directement tweeté :

Cela supprime directement les emplois des travailleurs de plateforme.

En parlant de ça, comment ChatGPT a-t-il volé les « emplois » des travailleurs de l'annotation de données ?

ChatGPT a un avantage dans 80% des tâches

Tout d'abord, il faut d'abord comprendre le contenu spécifique du travail d'annotation de données.

En termes simples, l'annotation des données consiste à étiqueter les données de contenu sur les réseaux sociaux, à les classer en différents thèmes ou concepts, ou à juger de leur position et de leurs émotions.

Ces données annotées peuvent être utilisées comme ensemble de formation ou norme d'évaluation pour le modèle PNL.

Dans le passé, ce type de travail était géré manuellement. Par exemple, MTurk est une plateforme de crowdsourcing spécialisée dans l'annotation de données.

Dans les plateformes de crowdsourcing telles que MTurk, il y aura une division du travail plus raffinée, comme des annotateurs de données professionnellement formés et des travailleurs de crowdsourcing.

Le premier a l'avantage de produire des données de haute qualité, mais le coût est naturellement plus élevé, tandis que le second est moins cher mais la qualité fluctue en fonction de la difficulté de la tâche.

L'équipe de recherche a donc commencé à étudier le potentiel des grands modèles de langage (LLM) dans ce domaine, et a comparé les performances de ChatGPT (basé sur GPT-3.5) et MTurk sans formation supplémentaire (zéro-shot) en annotation de données.

Cette comparaison est basée sur 2382 échantillons de tweets précédemment collectés par l'équipe de recherche.

ChatGPT et MTurk marquent respectivement les tweets avec cinq tâches : "pertinence, position, thème, politique et caractère pratique".

Il existe deux critères d'évaluation :

• Précision : le pourcentage d'annotations correctes par les travailleurs de crowdsourcing ChatGPT et MTurk ;
• Fiabilité de la cohérence inter-codeurs : en utilisant ChatGPT, les travailleurs de crowdsourcing MTurk et les annotateurs de données professionnels calculent la cohérence entre deux ;

Les résultats sont également évidents en termes de précision, ChatGPT est meilleur que les travailleurs du crowdsourcing de MTurk dans quatre tâches sur cinq.

En termes de fiabilité de cohérence, ChatGPT a surpassé les annotateurs de données professionnels dans toutes les tâches.

En termes de coût, comme mentionné au début, ChatGPT est en moyenne 20 fois moins cher que le travail manuel, sans compter que l'IA peut fonctionner 24h/24 et 7j/7.

Cependant, tous les internautes n'ont pas adhéré à la conclusion tirée par l'équipe de recherche. Certaines personnes ont déclaré :

Ces cinq tâches sont trop simples et difficiles. La fiabilité d’une telle conclusion fondée sur ces seuls éléments est discutable.

Certains internautes se sont même moqués du fait que l'échantillon de recherche était trop petit :

(étonnamment) seuls 2382 tweets ont été utilisés comme échantillon.

La « menace pour l'emploi » va au-delà de l'étiquetage des données

Maintenant, il est difficile de dire si l'IA remplacera complètement un certain type de travail, mais il ne fait aucun doute qu'elle affectera dans une certaine mesure le travail humain .

La semaine dernière, OpenAI a publié un rapport d'analyse indiquant que 80 % des emplois seront affectés par ChatGPT dans une certaine mesure, et 19 % des emplois seront sérieusement affectés par ChatGPT.

Et les métiers avec des salaires plus élevés seront plus durement touchés.

OpenAI a en outre répertorié les professions spécifiques qui seront concernées, du plus grand au plus petit :

Traducteurs, créateurs de textes (y compris poètes, écrivains, etc.), personnel des relations publiques, mathématiciens, préparateurs de déclarations de revenus, ingénieurs Blockchain, travailleurs financiers. , professionnels des médias...

△Source photo : OpenAI

De plus, le PDG d'OpenAI, Altman, a également déclaré à plusieurs reprises que "l'IA remplacera certains emplois existants".

Il n'y a pas si longtemps, la mise à jour majeure de MidjourneyV5 a également amené de nombreux peintres humains à se plaindre du fait que leur travail n'est pas garanti.

emmmmm, tu penses pouvoir encore garder ton job ?

Adresse papier :​​https://arxiv.org/abs/2303.15056​​​
Lien de référence :​​​https://twitter.com/arankomatsuzaki/status/1640521970608402435​​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!