Was LinkedIn aus der Nutzung großer Sprachmodelle zur Bedienung seiner Milliarden Nutzer gelernt hat

Mit mehr als 1 Milliarde Nutzern weltweit fordert LinkedIn weiterhin die Grenzen der heutigen Unternehmenstechnologie heraus. Nur wenige Unternehmen funktionieren so wie LinkedIn oder verfügen über ähnlich große Datenressourcen.

Diese geschäfts- und beschäftigungsorientierte Social-Media-Plattform verbindet qualifizierte Kandidaten mit potenziellen Arbeitgebern. Die Besetzung offener Stellen ist ihr Kerngeschäft. Es ist außerdem wichtig sicherzustellen, dass die Beiträge auf der Plattform die Bedürfnisse von Arbeitgebern und Verbrauchern widerspiegeln. Nach dem Modell von LinkedIn basierten diese Matching-Prozesse schon immer auf Technologie.

Im Sommer 2023, als GenAI erstmals an Fahrt gewann, begann LinkedIn darüber nachzudenken, ob man große Sprachmodelle (LLMs) nutzen sollte, um Kandidaten mit Arbeitgebern zusammenzubringen und den Informationsfluss nützlicher zu gestalten.

Also begab sich der Social-Media-Riese auf eine GenAI-Reise und berichtet nun über die Ergebnisse seiner Erfahrungen mit der Nutzung des Azure OpenAI-Dienstes von Microsoft. CIOs aller Branchen können dabei einiges von LinkedIn lernen.

Höhen und Tiefen

Wie die meisten CIOs erleben, ist die Einführung neuer Technologien mit Prüfungen und Rückschlägen verbunden. Die Situation bei LinkedIn ist nicht anders, und laut Juan Bottaro, dem leitenden Softwareentwickler und Technologieleiter des Unternehmens, verlief der Weg zur LLM-Zusammenarbeit alles andere als reibungslos.

Bottaro sagte, die ersten Ergebnisse „fühlen sich unvollständig an“ und „verknüpfen nicht genügend Zusammenhänge.“

Die anfängliche Welle des Hypes um GenAI hat nicht geholfen.

„LLM ist neu und scheint alle Probleme zu lösen“, sagte Bottaro. „Zu Beginn hatten wir keine klare Vorstellung davon, was LLM leisten könnte.“ . Oder zumindest zu wörtlich.

„Es ist nicht praktikabel, auf ‚Meine Eignung für diesen Job bewerten‘ zu klicken und zu bekommen: ‚Du passt überhaupt nicht‘“, sagte Bottaro. „Wir möchten, dass [die Antworten] sachlich korrekt, aber auch einfühlsam sind. Einige Mitglieder erwägen möglicherweise einen Karrierewechsel in einem Bereich, für den sie derzeit nicht gut geeignet sind, und benötigen Hilfe, um die Lücken zu verstehen und herauszufinden, was als nächstes zu tun ist.“ Eine der wichtigsten ersten Lektionen, die LinkedIn gelernt hat, bestand darin, LLM so anzupassen, dass es den Erwartungen des Publikums entspricht – und LLM zu helfen, zu verstehen, wie man auf eine Art und Weise reagiert, die vielleicht nicht menschlich, aber zumindest menschlich ist.

Geschwindigkeitsprobleme

Obwohl LinkedIn über eine Milliarde Mitglieder hat, waren die meisten Jobsuchfunktionen für LLM-Jobs, die auf LinkedIn basieren, ursprünglich auf Premium-Mitglieder ausgerichtet, eine relativ kleine Gruppe. (LinkedIn lehnte es ab, zu sagen, wie viele Premium-Mitglieder es hat.)

Bei der Arbeit in so großem Maßstab ist Geschwindigkeit von entscheidender Bedeutung, insbesondere bei etwas so Nuanciertem wie der Zuordnung von Kandidaten zu relevanten Positionen. Hier wurde angenommen, dass LLMs helfen würden, da ein oft genannter Vorteil von LLMs ihre Geschwindigkeit ist, die es ihnen ermöglicht, komplexe Schritte schnell abzuschließen. Aber das sei beim Einsatz von LinkedIn nicht der Fall, sagte Bottaro.

„Ich würde nicht sagen, dass LLM schnell ist. Ich glaube nicht, dass Geschwindigkeit ein Vorteil ist“, sagte er.

Geschwindigkeit kann auf viele Arten definiert werden. Auch wenn LLM operativ möglicherweise nicht so schnell ist wie erhofft, so Bottaro, sei die Beschleunigung des gesamten Bereitstellungsprozesses erstaunlich. „Die Superkraft dieser neuen Technologie besteht darin, dass man sehr schnell Prototypen erstellen kann, etwa in zwei bis drei Monaten. Vor dieser Technologie war das nicht möglich“, sagte er.

Auf die Frage, wie lange verschiedene Aspekte des Projekts ohne ein LLM dauern würden, sagte Bottaro, dass einige möglicherweise überhaupt nicht abgeschlossen seien, während andere Elemente „mehrere Jahre dauern könnten“.

Als Beispiel nannte Bottaro das Ziel, das Absichtssystem zu verstehen Teil. Ohne LLM hätte dies zwei bis drei Monate gedauert, aber LLM hat es in „weniger als einer Woche“ gemeistert.

Kostenüberlegungen

Ein Aspekt, den Bottaro als „Barriere“ bezeichnet, sind die Kosten. Ebenso haben Kosten in verschiedenen Phasen eines Projekts unterschiedliche Bedeutungen, wie die Erfahrung von LinkedIn zeigt.

„Der Geldbetrag, den wir für die Entwicklung ausgeben, ist winzig“, sagte Bottaro. Doch wenn es um die Bereitstellung von Daten für LinkedIn-Kunden geht, steigen die Kosten sprunghaft an.

„Selbst für ein paar Millionen Mitglieder“, sagte Bottaro und deutete möglicherweise auf die Anzahl der Premium-Mitglieder an, sind die Preise in die Höhe geschossen. Das liegt daran, dass die LLM-Preise – zumindest die Lizenzvereinbarung von LinkedIn mit Microsoft (seinem LLM-Anbieter und Mutterunternehmen) – auf der Nutzung basieren, insbesondere auf der Nutzung von Eingabe- und Ausgabe-Tokens.

Tarun Thummala, CEO eines KI-Anbieters, erklärte in einem LinkedIn-Beitrag, der nichts mit diesem Projekt zu tun hat, dass die Eingabe- und Ausgabe-Tokens von LLM ungefähr 0,75 Wörtern entsprechen. LLM-Anbieter verkaufen Token typischerweise in Tausender- oder Millionenbeträgen. Beispielsweise berechnet Azure OpenAI, das von LinkedIn verwendet wird, in der Region USA Ost 30 US-Dollar pro 1 Million 8K-GPT-4-Eingabetokens und 60 US-Dollar pro 1 Million 8K-GPT-4-Ausgabetokens.

Assessment Challenge

Ein weiteres Feature-Ziel, das sich LinkedIn für seine Projekte gesetzt hat, sind automatisierte Bewertungen. Die Bewertung von LLM im Hinblick auf Genauigkeit, Relevanz, Sicherheit und andere Aspekte war schon immer eine Herausforderung. Führende Organisationen und LLM-Hersteller haben versucht, einige Aufgaben zu automatisieren, aber laut LinkedIn ist diese Funktion „noch in Arbeit“.

Es gibt keine automatisierte Bewertung und LinkedIn berichtet, dass „Ingenieure sich nur auf die visuelle Inspektion der Ergebnisse und Tests an einem begrenzten Stichprobensatz verlassen können und es oft zu einer Verzögerung von mehr als einem Tag kommt, bevor sie die Metriken kennen.“ Das Unternehmen erstellt ein auf Evaluator basierendes Modell, um die Schätzung wichtiger LLM-Kennzahlen wie Gesamtqualitätsbewertung, Halluzinationsrate, Kohärenz und verantwortliche KI-Verstöße zu unterstützen. Dies wird die Experimente beschleunigen, und obwohl LinkedIn-Ingenieure mit der Halluzinationserkennung einige Erfolge erzielt haben, sind sie in diesem Bereich noch nicht fertig, sagten die Ingenieure des Unternehmens.

Datenqualität

Ein Teil der Herausforderungen, denen LinkedIn bei seinen Job-Matching-Bemühungen gegenübersteht, beruht auf Datenqualitätsproblemen auf beiden Seiten: dem Arbeitgeber und dem potenziellen Arbeitnehmer.

LLM kann nur die ihm zur Verfügung gestellten Daten verwenden und manchmal beschreiben Stellenausschreibungen die Fähigkeiten, nach denen Arbeitgeber suchen, nicht genau oder umfassend. Andererseits veröffentlichen einige Arbeitssuchende schlechte Lebensläufe, die ihre umfassende Erfahrung in der Problemlösung und in anderen Bereichen nicht effektiv widerspiegeln.

In dieser Hinsicht sieht Bottaro das Potenzial für LLM, Arbeitgebern und potenziellen Arbeitnehmern zu helfen. Von der Verbesserung des Schreibens profitieren sowohl Arbeitgeber als auch LinkedIn-Nutzer, da das Job Matching LLM des Unternehmens effizienter arbeiten kann, wenn die Dateneingabe von höherer Qualität ist.

BENUTZERERFAHRUNG

Beim Umgang mit einer so großen Mitgliederbasis können Genauigkeits- und Relevanzmetriken „ein falsches Gefühl der Sicherheit vermitteln“, sagte Bottaro. Wenn beispielsweise LLM „in 90 Prozent der Fälle alles richtig macht, bedeutet das, dass jeder Zehnte eine schlechte Erfahrung machen wird“, sagte er.

Was diesen Einsatz noch schwieriger macht, ist die extreme Nuancierung und das Urteilsvermögen, die bei der Bereitstellung nützlicher, hilfreicher und genauer Antworten erforderlich sind.

„Wie definiert man, was gut und was schlecht ist? Wir haben viel Zeit damit verbracht, mit Linguisten zusammenzuarbeiten, um Anleitungen für eine umfassende Darstellung zu entwickeln. Wir haben auch viel Benutzerforschung betrieben“, sagte Bottaro. „Wie schult man die Leute darin, die richtige Antwort zu schreiben? Wie definiert man die Aufgabe, legt fest, wie die Antwort aussehen soll? Das Produkt versucht vielleicht, konstruktiv oder hilfreich zu sein. Es versucht nicht, zu viel anzunehmen, denn das ist der Punkt.“ Die Illusion beginnt. Wir sind sehr an Antworten interessiert. Wir sind sehr stolz auf unsere Beständigkeit.“ Bei einer Milliarde Mitgliedern kann eine Stellenanzeige innerhalb von Minuten nach der Veröffentlichung Hunderte oder sogar Tausende von Antworten erhalten. Viele Arbeitssuchende machen sich möglicherweise nicht die Mühe, sich zu bewerben, wenn sie sehen, dass sich bereits Hunderte von Menschen beworben haben. Dies erfordert, dass LLM sehr schnell passende Mitglieder findet und reagiert, bevor weniger qualifizierte Bewerber Unterlagen einreichen. Danach bleibt die Frage offen, ob die Mitglieder die Benachrichtigung sehen und rechtzeitig reagieren.

Auf Arbeitgeberseite besteht die Herausforderung darin, die am besten geeigneten Kandidaten zu finden – nicht unbedingt diejenigen, die am schnellsten reagieren. Einige Unternehmen zögern, Gehaltsspannen zu veröffentlichen, was die Bemühungen auf beiden Seiten zusätzlich erschwert, da die qualifiziertesten Kandidaten möglicherweise nicht daran interessiert sind, wie viel die Position verdienen wird. Dies ist ein Problem, das LLM nicht lösen kann.

API & RAG

Die riesige Datenbank von LinkedIn enthält viele einzigartige Informationen über Einzelpersonen, Arbeitgeber, Fähigkeiten und Kurse, aber die LLMs wurden nicht auf Grundlage dieser Daten geschult. Laut LinkedIn-Ingenieuren sind sie daher aufgrund der Art und Weise, wie diese Assets gespeichert und bereitgestellt werden, derzeit nicht in der Lage, diese Assets für Rückschlüsse oder antwortgenerierende Aktivitäten zu verwenden.

Hier ist Retrieval Augmented Generation (RAG) eine typische Lösung. Durch den Aufbau von Pipelines zu internen APIs können Unternehmen LLM-Eingabeaufforderungen mit zusätzlichem Kontext „erweitern“, um die Antworten von LLM besser zu steuern und einzuschränken. Die meisten Daten von LinkedIn werden über die RPC-API offengelegt, die laut Unternehmensingenieuren „für Menschen bequem programmgesteuert aufzurufen“ ist, aber „nicht LLM-freundlich“ ist.

Um dieses Problem zu lösen, haben LinkedIn-Ingenieure die APIs mit „Fähigkeiten“ ausgestattet und ihnen eine „LLM-freundliche Beschreibung dessen gegeben, was die API tut und wann sie verwendet werden soll“, sowie Konfigurationsdetails, Eingabe- und Ausgabeschemata usw Die LLM-Version einer API ordnet die gesamte erforderliche Logik der zugrunde liegenden (tatsächlichen) RPC-Version zu.

LinkedIn-Ingenieure schrieben in einer Erklärung: „Fähigkeiten wie diese ermöglichen es LLM, eine Vielzahl von Aktionen im Zusammenhang mit unseren Produkten durchzuführen, wie z. B. das Anzeigen von Profilen, die Suche nach Artikeln/Personen/Jobs/Unternehmen und sogar die Abfrage interner Analysesysteme.“ Sie auch erwähnte, dass „die gleiche Technologie zum Aufrufen von Nicht-LinkedIn-APIs wie Bing-Suche und News verwendet wird“. Dieser Ansatz verbessert nicht nur die Funktionalität von LLM, sondern verbessert auch seine Integration mit der vorhandenen Technologie-Infrastruktur, wodurch LLM allgemeiner genutzt werden kann Aspekte des Unternehmens.