Warum macht Weibo süchtig? Entschlüsselung des Empfehlungsalgorithmus hinter den Kulissen

Am 13. Juli 2021 wollten sich junge Menschen, die einen Tag lang hart gearbeitet hatten, gerade hinlegen, ihre Mobiltelefone hervorholen, die bekannte Xiaobaozhan-App öffnen und ihre Lieblings-Up-Besitzer mit einem Klick verbinden . Neueste Videos.

Infolgedessen stellte ich plötzlich fest, dass meine Sicht dunkel wurde:

Nach einem Jahr lüftete Station B endlich das Geheimnis: eine „intrigante 0“.

Aber haben Sie schon einmal darüber nachgedacht, warum dieser Microblog einen wahnsinnigen Zustrom an Benutzern erlebt? nicht zusammenbrechen?

Bevor wir die Antwort auf dieses Rätsel finden, müssen wir mit der Entwicklung künstlicher Intelligenz beginnen.

Am 27. Juli fand die New Wise-Konferenz „Integrated Ecosystem Value Co-Creation“ 2022 unter der Leitung der Internet Society of China erfolgreich statt und wurde von Weibo und ausgerichtet Sina-Neuigkeiten.

Im Thema „Intelligenz treibt alles an: KI fördert die beschleunigte Ankunft des Internet of Everything“, Weibo COO, Sina Mobile CEO und Dekan des Sina AI Media Research Institute Wang Wei hielt eine Grundsatzrede mit dem Titel „Cloud stärkt Weibos komplexe Geschäftsszenarien durch die integrierte Anwendung digitaler und intelligenter Technologien“.

王Wei Er sagte, wenn wir die Entwicklungsgeschichte des maschinellen Lernens betrachten, können wir erkennen, dass der allgemeine Entwicklungstrend der KI darin besteht: massive Quantifizierung und Diversifizierung von Trainingsdaten, Komplexität und Verallgemeinerung von KI-Modellen sowie Effizienz und Umfang der Rechenleistung.

Das erste ist die multimodale Datenfusion.

Mit der rasanten Entwicklung von 5G machen modale Inhalte im Bild- und Videotyp einen immer größeren Anteil an Online-Inhalten aus, sodass eine modale Fusion sehr notwendig ist .

Wenn Sie bei Weibo gleichzeitig eine multimodale Fusion von Text, Bildern und Videos durchführen können, können Sie besser verstehen, wovon dieses Weibo spricht. Inhalt.

Das zweite ist die Berechnung von Graphen im extrem großen Maßstab.

Im Vergleich zu anderen Modellen des maschinellen Lernens hat das Ultra-Large-Scale-Graph-Computing einen besonderen Vorteil: Es fördert den Fluss und die Aggregation von Informationen durch die Übertragung von Informationen im Netzwerk erfasst und integriert.

Beispielsweise können wir für einen Kaltstartbenutzer mit wenigen Verhaltensweisen das Profil dieses Benutzers anhand der Personen in seiner Aufmerksamkeitsliste und der von diesen geposteten Inhalte ableiten Menschen durch Informationsverbreitung.

Der dritte ist der von der KI entwickelte Hantelmodus.

Der aktuelle Schwerpunkt der KI-Forschung und -Entwicklung liegt zum einen auf immer größeren Supermodellen und zum anderen auf der Modellminiaturisierungstechnologie.

Wir alle wissen, dass der Modelleffekt immer besser wird, je größer der Maßstab der Modellparameter wird, und dass dies bei hochpräzisen Modellen immer noch der Fall ist B. im Jahr 2018. Als Googles Bert zum ersten Mal herauskam, betrug die Modellparametergröße 300 Millionen, was nicht allzu groß war, aber seitdem ist diese Zahl schnell gewachsen.

Das von OpenAI entwickelte GPT-2-Modell hat eine Parametergröße von 1,5 Milliarden, das GPT-3-Modell hat eine Parametergröße von 175 Milliarden, und im Jahr 2021 wird das Der von Google veröffentlichte Switch Transformer hat eine Parametergröße von 1,5 Milliarden und hat 1,6 Billionen erreicht.

Andererseits gilt: Je größer das Modell, desto besser die Wirkung, aber weil das Modell auch so ist groß, manchmal führt es dazu, dass praktische Anwendungen nicht implementiert werden können. Daher liegt ein weiterer Schwerpunkt der Forschung und Entwicklung auf der Miniaturisierung und dem Leichtgewicht dieser großen Modelle, wie z. B. Modelldestillation, Modellbeschneidung und anderen Technologien.

Viertens wandelt sich das KI-Modell von einem spezialisierten Modell zu einem allgemeinen Modell.

Google hat das Pathways-Modell-Framework in der zweiten Hälfte des Jahres 2021 veröffentlicht. Es schlug diese Idee zunächst vor und hoffte, durch die Konstruktion eines allgemeinen großen Modells das Ziel zu erreichen, dass „ein Modell zig Millionen Dinge tun kann“.

Die konkrete Idee besteht darin, dass nach der Eingabe verschiedener Aufgabendaten ein Teil des Pfads des neuronalen Netzwerks über den Routing-Algorithmus ausgewählt wird, um die Modellausgabeschicht zu erreichen. Verschiedene Aufgaben verfügen sowohl über gemeinsame Parameter als auch über aufgabenspezifische Modellparameter.

Ein sehr großer Graph mit 1 Milliarde Knoten + 10 Milliarden Kanten

Warum reden Sie schon so lange über maschinelles Lernen? Denn was als nächstes kommt, ist das „Weibo Featured Recommendation System“.

Wie wir alle wissen, hat Weibo als größtes Social-Media-Netzwerk in China derzeit 582 Millionen monatlich aktive Nutzer erreicht! Ein solch großer Benutzerumfang wird die Netzwerkumgebung auf Weibo unweigerlich sehr kompliziert machen.

Gepaart mit der hohen Aktualität und der großen Vielfalt an Inhalten werden die großen Internetereignisse von heute auf Weibo sofort explodieren.

Darüber hinaus ist Weibo mit einer Vielzahl von Szenarien konfrontiert und muss in vielen Szenarien wie Beziehungsfluss, Hotspot-Fluss und Videofluss Inhalte an Benutzer verteilen, die sie interessieren.

Ich kann ohne Finger leben, aber ich kann nicht ohne mein Telefon leben

Wie nutzt Weibo angesichts komplexer Geschäftsszenarien KI und Big Data, um ein Empfehlungssystem zu erstellen, das sich anpassen lässt? auf veränderte Umstände?

Wang Wei stellte uns vor, dass das Weibo-Empfehlungssystem aus drei Teilen besteht: Inhaltsverständnis, Benutzerverständnis und Empfehlungssystem.

Zuallererst geht es um das Inhaltsverständnis.

Wenn Sie verstehen möchten, was ein Weibo sagt, reicht es nicht aus, nur den Textinhalt zu verstehen. Sie müssen multimodale Verständnistechnologie verwenden, um Blogbeiträge, Bilder, Videos und andere Medieninformationen zu integrieren.

Zu diesem Zweck hat Weibo ein eigenes multimodales Weibo-Vortrainingsmodell trainiert. Durch „kontrastives Lernen“ wird diese selbstüberwachte Lernmethode zur Durchführung eines multimodalen Vortrainings verwendet.

Das folgende Beispiel zeigt, wie Weibo seine eigenen „Themen“ verwendet, um automatisch Trainingsdaten zu erstellen.

Zum Beispiel nehmen wir zwei Weibo-Beiträge, in denen beide „Rashford im Training“ sagen, als positive Beispiele und wählen zufällig einige Weibo-Beiträge mit unterschiedlichen Themen als negative Beispiele aus, damit wir automatisch Trainingsdaten erstellen können.

Für ein bestimmtes Weibo wird der Textinhalt von Bert kodiert, der Bild- und Videoinhalt wird von ViT kodiert und dann werden die Informationen über das Fusions-Subnetzwerk zusammengeführt, um die Einbettungskodierung von Weibo zu bilden. Dies ist ein Vortrainingsprozess.

Nach dem Vortraining kann der gut erlernte Weibo-Encoder verwendet werden, um neue Weibo-Inhalte multimodal zu kodieren, um eine Einbettung zu bilden, die in nachgelagerten Aufgaben wie Empfehlungen verwendet werden kann.

Zweitens nutzt Weibo im Hinblick auf das Benutzerverständnis ultragroße Graphenberechnungen, um die Leseinteressen der Benutzer besser zu verstehen. Schließlich hat Weibo seine eigenen Social-Media-Attribute, was natürlich gut mit groß angelegtem Graph-Computing harmoniert.

Durch die Verwendung von Benutzern und Blog-Beiträgen als Knoten im Diagramm und die Konstruktion von Kanten im Diagramm basierend auf der Aufmerksamkeitsbeziehung zwischen Benutzern, dem Lesen von Benutzern und Blog-Beiträgen, dem erneuten Kommentieren und Liken usw. hat Weibo eine Skala von erstellt 1 Milliarde Knoten, sehr große Diagramme mit 10 Milliarden Kanten.

Durch Informationsverbreitung, -aggregation und -integration im groß angelegten Graph-Computing können Einbettungsvektoren gebildet werden, die Benutzerinteressen darstellen, um Benutzerinteressen besser zu verstehen.

Auf diese Weise ist es möglich, die folgenden Beziehungen zwischen Benutzern, die Re-Kommentare und Likes von Benutzern und Blog-Beiträgen usw. gleichzeitig zu verwalten.

Nachdem das Weibo-Empfehlungssystem verstanden hat, worüber die Benutzer sprechen, und die Interessen der Weibo-Benutzer verstanden hat, verteilt es hochwertige Weibo-Beiträge auf personalisierte Weise an interessierte Benutzer.

Wie kann man also in einem so komplexen Szenario ein effizientes Empfehlungssystem aufbauen?

Weibo verfolgt einen Multi-Szenario-Modellierungsansatz. Die ideale Situation besteht darin, nur ein Empfehlungsmodell zu erstellen und es für mehrere Szenarien zu verwenden.

Wie kann man also die Gemeinsamkeit und Individualität zwischen Szenen ausdrücken? Netzwerkparameter können zwischen Szenen gemeinsam genutzt werden, oder die Szenen können über exklusive private Netzwerkparameter verfügen, um die Gemeinsamkeit und Individualität der Szenen widerzuspiegeln.

In diesem Modelldiagramm werden diese Netzwerkparameter beispielsweise in der zugrunde liegenden Feature-Eingabeschicht des Modells und in einem Teil des „Experten-Subnetzwerks“ in der Mitte des Netzwerks von verschiedenen gemeinsam genutzt Szenarien; während andere Subnetzwerkparameter eine gewisse Einzigartigkeit für die Szene haben

Auf diese Weise kann ein Modell mehrere Szenen bedienen und Modellressourcen sparen.

Tangshan-Vorfall: Was soll ich tun, wenn sich der Verkehr verdoppelt?

Nun zurück zur ursprünglichen „Spannung“.

Für Weibo war dieser Hotspot, der „explodiert“, wenn er nicht vollständig geschützt ist, schon immer eine sehr große Herausforderung.

Zum Beispiel hat der „Tangshan-Vorfall“, der in letzter Zeit landesweite Aufmerksamkeit erregte, durch den starken Verkehr am Tag des Vorfalls die tägliche Verkehrsspitze vollständig verdoppelt.

In diesem Zusammenhang sagte Wang Wei, dass Weibo sehr früh Microservices + Docker-Containerisierungstechnologie angewendet habe, was nicht nur die Effizienz des Betriebs und der Wartung von Diensten verbessert, sondern auch die dynamischen Erweiterungs- und Kontraktionsfähigkeiten von Diensten realisiert. Derzeit verfügt Weibo über die Kapazität, mehr als 10.000 Server in 10 Minuten zu planen, und verfügt über genügend Server, um heißen Datenverkehr zu bewältigen.

Darüber hinaus hat Weibo auch einen Hotspot-Überwachungsmechanismus und ein Hotspot-Verknüpfungssystem eingerichtet und kann durch die von Weibo entwickelte Weibo Mesh-Technologie effiziente sprachübergreifende Anrufe zwischen verschiedenen Diensten erreichen, die Leistung des Gesamtdienstes verbessern und Effizienz der Verknüpfungserweiterung.

Schließlich übernimmt Weibo die Offline-Echtzeit-Hybrid-Bereitstellungstechnologie. Die Kombination aus CPU-Echtzeit-Präemptivplanungstechnologie und Containerisierungstechnologie wird verwendet, um Offline-Echtzeit-Hybridbereitstellungsfunktionen von Weibo-Diensten zu erreichen.

Nachdem Sie die oben genannten Vorgänge kombiniert haben, können Sie bei ankommendem Hot-Traffic in Sekundenschnelle den Hot-Traffic der Kerndienste übernehmen. Lassen Sie uns abschließend einen Blick auf die Entwicklungsgeschichte des Internets werfen.

Wenn das PC-Internet der Beginn der Online-Welt ist, dann ermöglicht uns der Aufstieg des mobilen Internets, diesen unsichtbaren Informationsraum in unsere Taschen zu stecken. Mit der Überlagerung und Integration von Big Data, Cloud Computing, künstlicher Intelligenz und anderen Technologien mit dem mobilen Internet sind wir in das Zeitalter der intelligenten Information eingetreten.

Das heißeste Thema ist jetzt das Multiversum. Seit letztem Jahr hat das Metaverse umfangreiche Diskussionen ausgelöst, etwa zu digitalen Zwillingen, digitalen Menschen, XR, Blockchain-Technologie usw.

Wang Wei glaubt, dass die aktuellen Anwendungsszenarien, die auf Spitzentechnologien wie KI, Blockchain und XR basieren, bereits einige Prototypen des Metaversums widerspiegeln. Bereiche wie Spiele und soziale Netzwerke sind sehr gute Anwendungsszenarien für das Metaverse, die bei jedem die Begeisterung für die Teilnahme am Metaverse entfachen werden.

Das obige ist der detaillierte Inhalt vonWarum macht Weibo süchtig? Entschlüsselung des Empfehlungsalgorithmus hinter den Kulissen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!