US-Medien enthüllen großen Datensatz zum Modelltraining: Einige Inhalte sind etwas „schmutzig'

Neuigkeiten vom 20. April: Chatbots mit künstlicher Intelligenz sind in den letzten vier Monaten immer beliebter geworden. Ihre Fähigkeit, eine Vielzahl von Aufgaben zu erledigen, wie zum Beispiel das Verfassen komplexer wissenschaftlicher Arbeiten und das Führen intensiver Gespräche, ist beeindruckend.

Chatbots denken nicht wie Menschen, sie wissen nicht einmal, wovon sie reden. Sie können menschliche Sprache nachahmen, weil die künstliche Intelligenz, die sie antreibt, riesige Textmengen absorbiert hat, von denen ein Großteil aus dem Internet stammt.

Diese Texte sind die Hauptinformationsquelle der KI über die Welt während ihres Aufbaus und können einen tiefgreifenden Einfluss darauf haben, wie die KI reagiert. Wenn künstliche Intelligenz bei der gerichtlichen Prüfung hervorragende Ergebnisse erzielt, liegt das möglicherweise daran, dass ihre Trainingsdaten Tausende von LSAT-Informationen (Law School Admission Test, American Law School Admission Test) enthalten.

Tech-Unternehmen machen immer ein Geheimnis darüber, welche Informationen sie der künstlichen Intelligenz zur Verfügung stellen. Deshalb machte sich die Washington Post daran, einen dieser wichtigen Datensätze zu analysieren und die Arten proprietärer, persönlicher und oft anstößiger Websites aufzudecken, die zum Trainieren von KI verwendet werden.

Um den internen Aufbau von Trainingsdaten für künstliche Intelligenz zu untersuchen, arbeitete die Washington Post mit Forschern des Allen Institute for Artificial Intelligence zusammen, um den C4-Datensatz von Google zu analysieren. Dieser Datensatz ist eine riesige Momentaufnahme von mehr als 15 Millionen Websites, deren Inhalte zum Trainieren vieler hochkarätiger englischsprachiger KIs wie Googles T5 und Facebooks LLaMA verwendet werden. OpenAI gab nicht bekannt, welche Art von Datensatz sie zum Trainieren des Modells verwendet haben, das den Chatbot ChatGPT unterstützt.

In dieser Umfrage verwendeten Forscher Daten des Webanalyseunternehmens Similarweb, um Websites zu klassifizieren. Etwa ein Drittel dieser Websites konnte nicht klassifiziert werden und wurde ausgeschlossen, vor allem weil sie nicht mehr im Internet vorhanden sind. Anschließend ordneten die Forscher die verbleibenden 10 Millionen Websites anhand der Anzahl der „Tokens“ ein, die auf jeder Website im Datensatz auftauchten. Ein Token ist eine kleine Textverarbeitungsinformation, normalerweise ein Wort oder eine Phrase, die zum Trainieren von KI-Modellen verwendet wird.

Von Wikipedia bis WoWhead

Websites im C4-Datensatz stammen hauptsächlich aus Branchen wie Nachrichten, Unterhaltung, Softwareentwicklung, Medizin und Inhaltserstellung. Dies könnte erklären, warum diese Bereiche durch eine neue Welle künstlicher Intelligenz bedroht sein könnten. Die drei wichtigsten Websites sind: Die erste ist Google Patent Search, die weltweit veröffentlichte Patenttexte enthält, und die dritte ist Scribd, eine digitale Bibliothek, die nur kostenpflichtige Abonnements akzeptiert. Zu den weiteren hochrangigen Websites gehört außerdem der Raubkopien-E-Book-Marktplatz Library (Nr. 190), der vom US-Justizministerium wegen illegaler Aktivitäten geschlossen wurde. Darüber hinaus enthält der Datensatz mindestens 27 Websites, die von der US-Regierung als Märkte für Raubkopien und gefälschte Produkte identifiziert wurden.

Es werden auch einige Top-Seiten vorgestellt, wie zum Beispiel wowhead (Nr. 181), ein Forum für World of Warcraft-Spieler, und throveglobal (Nr. 181), eine von Arianna Huffington gegründete Seite zur Bekämpfung von Burnout 175 Bits. Darüber hinaus gibt es mindestens 10 Websites, die Müllcontainer verkaufen, darunter dumpsteroid (Nr. 183), aber es scheint nicht mehr zugänglich zu sein.

Während die meisten Websites sicher sind, gibt es bei einigen schwerwiegende Datenschutzprobleme. Beispielsweise waren zwei Websites in der Top-100-Liste privat gehostete Kopien staatlicher Wählerregistrierungsdatenbanken. Während Wählerdaten öffentlich sind, können diese Modelle diese persönlichen Informationen auf unbekannte Weise nutzen.

Industrielle und kommerzielle Websites nehmen die größte Kategorie ein (16 % der Kategorie-Tokens). Ganz oben auf der Liste steht The Motley Fool (Nr. 13), das Anlageberatung anbietet. Als nächstes folgt Kickstarter (Nr. 25), eine Website, die es Benutzern ermöglicht, kreative Projekte per Crowdfunding zu finanzieren. Patreon, das auf Platz 2.398 weiter unten liegt, hilft Kreativen dabei, monatliche Gebühren von Abonnenten für exklusive Inhalte zu erheben.

Kickstarter und Patreon ermöglichen jedoch möglicherweise, dass künstliche Intelligenz auf die Ideen und Marketingtexte von Künstlern zugreift, und es gibt Bedenken, dass KI diese Werke kopieren könnte, wenn sie Benutzern Vorschläge macht. Künstler, die derzeit keine Entschädigung erhalten, wenn ihre Arbeit in KI-Trainingsdaten einbezogen wird, haben Verletzungsklagen gegen die Text-zu-Bild-Generatoren Stable Diffusion, MidJourney und DeviantArt eingereicht.

Laut dieser Analyse der Washington Post könnten weitere rechtliche Herausforderungen auf uns zukommen: Das Urheberrechtssymbol (das als geistiges Eigentum registrierte Werke anzeigt) kommt im C4-Datensatz mehr als 200 Millionen Mal vor.

Technische Websites sind die zweitgrößte Kategorie und machen 15 % der Kategorie-Tokens aus. Dazu gehören viele Plattformen, die Menschen beim Erstellen von Websites unterstützen, wie zum Beispiel Google Sites (Nr. 85), dessen Seiten alles von einem Judo-Club in Reading, England, bis zu einem Kindergarten in New Jersey abdecken.

Der C4-Datensatz enthält außerdem mehr als 500.000 persönliche Blogs, was 3,8 % der klassifizierten Inhalte ausmacht. Die Veröffentlichungsplattform Medium belegt den 46. Platz und ist die fünftgrößte Technologie-Website mit Zehntausenden Blogs unter ihrem Domainnamen. Darüber hinaus gibt es Blogs, die auf Plattformen wie WordPress, Tumblr, Blogpot und Live Journal geschrieben wurden.

Diese Blogs gibt es in vielen Formen, von beruflich bis privat, wie zum Beispiel ein Blog mit dem Titel „Grumpy Rumblings“, gemeinsam verfasst von zwei anonymen Akademikern, von denen einer kürzlich darüber schrieb, wie sich der Verlust des Arbeitsplatzes ihres Partners auf die Steuererklärung des Paares auswirkte. Darüber hinaus gibt es im C4-Datensatz einige Top-Blogs, die sich auf Live-Action-Rollenspiele konzentrieren.

Der Inhalt sozialer Netzwerke wie Facebook und Twitter (die als Kern des modernen Webs gelten) ist für das Crawling gesperrt, was bedeutet, dass die meisten Datensätze, die zum Trainieren künstlicher Intelligenz verwendet werden, nicht darauf zugreifen können. Tech-Giganten wie Facebook und Google sitzen auf riesigen Mengen an Gesprächsdaten, wissen aber noch nicht, wie sie persönliche Benutzerinformationen nutzen können, um Modelle der künstlichen Intelligenz für den internen Gebrauch oder den Verkauf als Produkte zu trainieren.

Nachrichten- und Medienseiten belegen in allen Kategorien den dritten Platz, während die Hälfte der Top-Ten-Seiten Nachrichtenagenturen sind: Die Website der New York Times belegt den vierten Platz, die Website der Los Angeles Times den sechsten und die Website des Guardian den dritten und siebten Platz Die Website „Forbes“ belegte den achten Platz, die Website „Huffington Post“ den neunten und die Website „Washington Post“ den 11. Platz. Ebenso wie Künstler und YouTuber haben mehrere Nachrichtenorganisationen Technologieunternehmen dafür kritisiert, dass sie ihre Inhalte ohne Genehmigung oder Vergütung nutzen.

Gleichzeitig stellte die „Washington Post“ auch fest, dass mehrere Medien in der unabhängigen Glaubwürdigkeitsbewertung von NewsGuard schlecht abgeschnitten haben: etwa Russlands RT (65.) und die rechtsextreme Nachrichten-Website Breitbart (159.) sowie die Anti-Einwanderungs-Website vdare ( Nr. 993) mit Verbindungen zur weißen Vorherrschaft.

Chatbots verbreiten nachweislich Fehlinformationen. Nicht vertrauenswürdige Trainingsdaten können dazu führen, dass sie Voreingenommenheit verbreiten und Fehlinformationen verbreiten, ohne dass Benutzer sie auf ihre ursprüngliche Quelle zurückführen können.

Community-Websites machen etwa 5 % der klassifizierten Inhalte aus, hauptsächlich religiöse Websites.

Welche Fische fehlen im Filter?

Wie die meisten Unternehmen filtert und überprüft Google die Daten, bevor es sie an die KI weiterleitet. Das Unternehmen entfernt nicht nur bedeutungslosen und sich wiederholenden Text, sondern verwendet auch eine Open-Source-Liste mit „schlechten Wörtern“, die 402 englische Begriffe und ein Emoji enthält. Unternehmen verwenden häufig hochwertige Datensätze zur Feinabstimmung von Modellen, um Inhalte zu blockieren, die Benutzer nicht sehen möchten.

Während Listen wie diese dazu dienen sollen, zu verhindern, dass Models während des Trainings rassistischen Beleidigungen und unangemessenen Inhalten ausgesetzt werden, bleibt vieles unbemerkt. Die Washington Post fand Hunderte pornografische Websites und mehr als 72.000 Beispiele für „Nazi“ auf der Liste der verbotenen Wörter.

Unterdessen stellte die Washington Post fest, dass die Filter einige beunruhigende Inhalte nicht entfernen konnten, darunter Websites von weißen Rassisten, Anti-Trans-Websites und ein anonymes Message Board, das dafür bekannt ist, Belästigungskampagnen gegen Einzelpersonen auf 4chan zu organisieren. Die Studie deckte auch Websites auf, die Verschwörungstheorien verbreiten.

Wird Ihre Website zum Training von KI verwendet?

Web Scraping hört sich vielleicht so an, als würde man das gesamte Internet kopieren, aber es handelt sich tatsächlich nur um das Sammeln von Schnappschüssen, einer Auswahl von Webseiten zu einem bestimmten Zeitpunkt. Der C4-Datensatz wurde ursprünglich im April 2019 von der gemeinnützigen Organisation CommonCrawl für das Crawlen von Webinhalten erstellt und ist eine beliebte Ressource für das Training von Modellen für künstliche Intelligenz. Laut CommonCrawl versucht die Organisation, die wichtigsten und seriösesten Websites zu priorisieren, unternimmt jedoch keinen Versuch, lizenzierte oder urheberrechtlich geschützte Inhalte zu vermeiden.

Die Washington Post ist der Ansicht, dass es von entscheidender Bedeutung ist, den vollständigen Dateninhalt in Modellen der künstlichen Intelligenz darzustellen, die das Potenzial haben, viele Aspekte des modernen Lebens der Menschen zu verwalten. Allerdings enthalten viele Websites in diesem Datensatz äußerst anstößige Sprache, und selbst wenn das Modell darauf trainiert ist, diese Wörter zu maskieren, können dennoch anstößige Inhalte vorhanden sein.

Experten sagen, dass der C4-Datensatz zwar groß ist, große Sprachmodelle jedoch möglicherweise noch größere Datensätze verwenden. Beispielsweise veröffentlichte OpenAI im Jahr 2020 GPT-3-Trainingsdaten, die das 40-fache der Menge an Web-Scraping-Daten in C4 enthalten. Die Trainingsdaten von GPT-3 umfassen die gesamte englische Wikipedia, eine Sammlung kostenloser Romane unveröffentlichter Autoren, die häufig von großen Technologieunternehmen verwendet werden, und eine Zusammenstellung verlinkter Texte, die von Reddit-Benutzern hoch bewertet werden.

Experten sagen, dass viele Unternehmen den Inhalt ihrer Schulungsdaten nicht einmal protokollieren (auch nicht intern), aus Angst, personenbezogene Daten, urheberrechtlich geschütztes Material und andere Daten herauszufinden, die ohne Zustimmung gestohlen wurden. Während Unternehmen die Herausforderung hervorheben, zu erklären, wie Chatbots Entscheidungen treffen, ist dies ein Bereich, in dem Führungskräfte transparente Antworten geben müssen.

Das obige ist der detaillierte Inhalt vonUS-Medien enthüllen großen Datensatz zum Modelltraining: Einige Inhalte sind etwas „schmutzig'. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!