Ce que LinkedIn a appris en utilisant de grands modèles linguistiques pour servir son milliard d'utilisateurs

Avec plus d'un milliard d'utilisateurs dans le monde, LinkedIn continue de repousser les limites de la technologie d'entreprise actuelle. Peu d’entreprises fonctionnent comme LinkedIn ou disposent de ressources de données aussi vastes.

Cette plateforme de médias sociaux axée sur les affaires et l'emploi met en relation des candidats qualifiés avec des employeurs potentiels, aidant à pourvoir les postes vacants étant son activité principale. Il est également important de garantir que les publications sur la plateforme reflètent les besoins des employeurs et des consommateurs. Selon le modèle de LinkedIn, ces processus de mise en relation se sont toujours appuyés sur la technologie.

À l'été 2023, alors que GenAI prenait de l'ampleur, LinkedIn a commencé à réfléchir à l'opportunité de tirer parti des grands modèles linguistiques (LLM) pour mettre en relation les candidats avec les employeurs et rendre le flux d'informations plus utile.

Le géant des médias sociaux s'est donc lancé dans l'aventure GenAI et rapporte maintenant les résultats de son expérience en tirant parti du service Azure OpenAI de Microsoft. Les DSI de tous les secteurs peuvent tirer quelques leçons de LinkedIn en cours de route.

Des hauts et des bas

Comme l'expérience de la plupart des DSI, l'adoption de technologies émergentes s'accompagne d'épreuves et de revers. La situation chez LinkedIn n'est pas différente et, selon Juan Bottaro, principal ingénieur logiciel et responsable de la technologie de l'entreprise, son parcours vers la collaboration LLM a été tout sauf fluide.

Bottaro a déclaré que les premiers résultats "semblent incomplets" et "ne relient pas suffisamment de points".

La première vague de battage médiatique autour de GenAI n'a pas aidé.

« LLM est nouveau et donne l'impression qu'il résout tous les problèmes », a déclaré Bottaro. "Nous n'avions pas une idée très claire de ce que LLM pouvait faire lorsque nous avons commencé

Par exemple, les premières versions de l'effort amélioré d'adéquation des emplois pourraient être considérées comme assez, pour utiliser un mot moins approprié, grossières." . Ou du moins, trop littéral.

"Il n'est pas pratique de cliquer sur "Évaluer mes aptitudes pour cet emploi" et d'obtenir "Vous n'êtes pas du tout un bon candidat"", a déclaré Bottaro. "Nous voulons que [les réponses] soient factuellement exactes mais aussi empathiques. Certains membres envisagent peut-être un changement de carrière dans un domaine pour lequel ils ne sont pas actuellement bien adaptés et ont besoin d'aide pour comprendre les lacunes et quoi faire ensuite. " L'une des principales leçons apprises chez LinkedIn était d'adapter LLM pour répondre aux attentes du public et d'aider LLM à comprendre comment réagir d'une manière qui n'est peut-être pas humaine, mais au moins humaine.

Problèmes de vitesse

Même si LinkedIn compte plus d'un milliard de membres, la plupart des fonctionnalités de recherche d'emploi pour les emplois LLM qui dépendent de LinkedIn étaient initialement destinées aux membres premium, un groupe relativement restreint. (LinkedIn a refusé de dire combien de membres premium il compte.)

Lorsque nous opérons à une si grande échelle, la rapidité est essentielle, en particulier dans quelque chose d'aussi nuancé que l'appariement des candidats aux postes pertinents. Ici, on pensait que les LLM seraient utiles car un avantage souvent cité des LLM est leur rapidité, leur permettant de réaliser rapidement des étapes complexes. Mais ce n'est pas le cas du déploiement de LinkedIn, a déclaré Bottaro.

"Je ne dirais pas que le LLM est rapide. Je ne pense pas que la vitesse soit un avantage", a-t-il déclaré.

La vitesse peut être définie de plusieurs manières. Bien que sur le plan opérationnel, le LLM ne soit peut-être pas aussi rapide qu'espéré, Bottaro a déclaré que l'accélération du processus de déploiement global est stupéfiante. "Le super pouvoir de cette nouvelle technologie est qu'il est possible de créer des prototypes très rapidement, entre deux et trois mois. Avant cette technologie, cela n'était pas possible", a-t-il déclaré.

Quand on lui a demandé combien de temps prendraient divers aspects du projet sans un LLM, Bottaro a répondu que certains pourraient ne pas être terminés du tout, tandis que d'autres éléments "pourraient prendre plusieurs années".

À titre d'exemple, Bottaro a mentionné l'objectif de comprendre le système d'intention. partie. Sans LLM, cela aurait pris deux à trois mois, mais LLM l'a maîtrisé en « moins d'une semaine ».

Considérations relatives aux coûts

Un aspect que Bottaro appelle un « obstacle » est le coût. De même, le coût a des significations différentes selon les étapes d'un projet, comme le montre l'expérience de LinkedIn.

« Le montant d'argent que nous dépensons pour le développement est minuscule », a déclaré Bottaro. Mais lorsqu’il s’agit de fournir des données aux clients de LinkedIn, les coûts montent en flèche.

« Même pour quelques millions de membres », a déclaré Bottaro, faisant peut-être allusion au nombre de membres premium, les prix ont grimpé en flèche. En effet, la tarification LLM – du moins l'accord de licence de LinkedIn avec Microsoft (son fournisseur LLM et sa société mère) – est basée sur l'utilisation, en particulier l'utilisation de jetons d'entrée et de sortie.

Tarun Thummala, PDG d'un fournisseur d'IA, a expliqué dans un article LinkedIn sans rapport avec ce projet que les jetons d'entrée et de sortie de LLM équivalent à peu près à 0,75 mot. Les fournisseurs LLM vendent généralement des jetons par milliers ou par millions. Par exemple, Azure OpenAI utilisé par LinkedIn facture 30 $ pour 1 million de jetons d’entrée 8K GPT-4 et 60 $ pour 1 million de jetons de sortie 8K GPT-4 dans la région Est des États-Unis.

Défi d'évaluation

Un autre objectif de fonctionnalité que LinkedIn s'est fixé pour ses projets est les évaluations automatisées. L'évaluation du LLM en termes d'exactitude, de pertinence, de sécurité et d'autres préoccupations a toujours été un défi. Les principales organisations et fabricants de LLM ont tenté d'automatiser certaines tâches, mais selon LinkedIn, cette fonctionnalité est « encore un travail en cours ».

Il n'y a pas d'évaluation automatisée, et LinkedIn rapporte que « les ingénieurs ne peuvent s'appuyer que sur une inspection visuelle des résultats et des tests sur un ensemble d'échantillons limité, et il y a souvent un délai de plus d'un jour avant de connaître les métriques ». L'entreprise construit un modèle basé sur Evaluator pour aider à estimer les indicateurs clés du LLM tels que le score de qualité global, le taux d'hallucinations, la cohérence et les violations responsables de l'IA. Cela accélérera les expériences et, même si les ingénieurs de LinkedIn ont connu un certain succès dans la détection des hallucinations, ils n'ont pas encore terminé dans ce domaine, ont déclaré les ingénieurs de l'entreprise.

Qualité des données

Une partie des défis auxquels LinkedIn est confronté dans ses efforts d'adéquation des emplois se résume à des problèmes de qualité des données des deux côtés : l'employeur et l'employé potentiel.

LLM ne peut utiliser que les données qui lui sont fournies et parfois les offres d'emploi ne décrivent pas de manière précise ou complète les compétences recherchées par les employeurs. D’un autre côté, certains demandeurs d’emploi affichent des curriculum vitae médiocres qui ne reflètent pas efficacement leur vaste expérience en résolution de problèmes et dans d’autres domaines.

À cet égard, Bottaro voit le potentiel du LLM pour aider les employeurs et les employés potentiels. En améliorant la rédaction, les employeurs et les utilisateurs de LinkedIn en bénéficient, car le Job Matching LLM de l'entreprise est capable de travailler plus efficacement lorsque la saisie des données est de meilleure qualité.

EXPÉRIENCE UTILISATEUR

Lorsqu'il s'agit d'une base de membres aussi importante, les mesures d'exactitude et de pertinence peuvent « donner un faux sentiment de confort », a déclaré Bottaro. Par exemple, si LLM « réussit 90 % du temps, cela signifie qu’une personne sur dix vivra une mauvaise expérience », a-t-il déclaré.

Ce qui rend ce déploiement encore plus difficile, ce sont les nuances et le jugement extrêmes impliqués dans la fourniture de réponses utiles, utiles et précises.

"Comment définissez-vous ce qui est bon et ce qui est mauvais ? Nous avons passé beaucoup de temps à travailler avec des linguistes pour élaborer des conseils sur la manière de fournir une représentation complète. Nous avons également effectué de nombreuses recherches sur les utilisateurs", a déclaré Bottaro. "Comment formez-vous les gens à rédiger la bonne réponse ? Comment définissez-vous la tâche, dictez-vous à quoi devrait ressembler la réponse ? Le produit peut essayer d'être constructif ou utile. Il n'essaie pas de trop supposer, car c'est là que L'illusion commence. Nous sommes très intéressés par les réponses. Nous sommes très fiers de notre cohérence. Avec un milliard de membres, une offre d'emploi peut recevoir des centaines, voire des milliers de réponses quelques minutes après sa publication. De nombreux demandeurs d’emploi ne prendront peut-être pas la peine de postuler s’ils constatent que des centaines de personnes ont déjà postulé. Cela oblige LLM à trouver très rapidement des membres correspondants et à répondre avant que les candidats moins qualifiés ne soumettent leurs documents. Après cela, la question reste de savoir si les membres verront la notification et répondront en temps opportun.

Du côté de l’employeur, le défi consiste à trouver les candidats les plus adaptés – pas nécessairement ceux qui répondent le plus rapidement. Certaines entreprises sont réticentes à publier les échelles salariales, ce qui complique encore davantage les efforts des deux côtés, car les candidats les plus qualifiés peuvent ne pas être intéressés par le montant que le poste leur rapportera. C'est un problème que LLM ne peut pas résoudre.

API & RAG

L'énorme base de données de LinkedIn contient de nombreuses informations uniques sur les individus, les employeurs, les compétences et les cours, mais ses LLM n'ont pas été formés sur ces données. Par conséquent, selon les ingénieurs de LinkedIn, ils ne sont actuellement pas en mesure d’utiliser ces actifs pour des activités d’inférence ou de génération de réponses en raison de la manière dont ces actifs sont stockés et servis.

Ici, la génération augmentée de récupération (RAG) est une solution typique. En créant des pipelines vers les API internes, les entreprises peuvent « améliorer » les invites LLM avec un contexte supplémentaire pour mieux guider et contraindre les réponses de LLM. La plupart des données de LinkedIn sont exposées via l'API RPC, qui, selon les ingénieurs de l'entreprise, est « pratique pour les humains à appeler par programmation » mais « n'est pas conviviale pour LLM ».

Pour résoudre ce problème, les ingénieurs de LinkedIn ont « regroupé leurs compétences » autour de leurs API, en leur donnant une « description conviviale de ce que fait l'API et quand l'utiliser », ainsi que des détails de configuration, des schémas d'entrée et de sortie et les La version LLM d'une API mappe toute la logique requise à sa version RPC sous-jacente (réelle).

Les ingénieurs de LinkedIn ont écrit dans un communiqué : « Des compétences comme celle-ci permettent à LLM d'effectuer une variété d'actions liées à nos produits, telles que l'affichage de profils, la recherche d'articles/de personnes/d'emplois/d'entreprises, et même d'interroger des systèmes d'analyse internes. » Ils ont également a mentionné que « la même technologie est utilisée pour appeler des API non LinkedIn telles que la recherche et les actualités Bing ». Cette approche améliore non seulement les fonctionnalités de LLM, mais améliore également son intégration avec les capacités de l'infrastructure technologique existante, permettant à LLM d'être plus largement utilisé dans tous. aspects de l’entreprise.