Es war ein wunderschöner Frühlingstag in New York City. Der Himmel war klar und die Temperaturen stiegen auf 20 Grad Celsius. Die Yankees bereiteten sich darauf vor, die Kansas City Royals im Yankee Stadium zu spielen, und die Rangers stießen gegen die Teufel im Madison Square Garden.
Nichts schien außergewöhnlich, aber die Menschen, die sich im gerechten Zentrum in Midtown Manhattan versammelten, wollten etwas wirklich Einzigartiges erleben. Sie wollten das historische Ereignis miterleben, als ein Computer zum ersten Mal einen amtierenden Weltmeister im Schach unter Standard -Turnierbedingungen übertreffen würde.
Menschen war Gary Kasparov, der zu dieser Zeit als weltweit führender Schachspieler anerkannt wurde. Und die Maschinen darstellen, tiefblau - ein von IBM entwickelter Schachcomputer. Beide Spieler hatten 2,5 Punkte. Heute sollte der Gewinner entschieden werden.
Gary begann als schwarz, machte aber einen frühen Fehler und sah sich einem starken, aggressiven Angriff von Deep Blue aus. Nach nur 19 Zügen war alles vorbei. Kasparov, der sich demoralisiert und unter Druck fühle, trat zurück und glaubte, seine Position sei unhaltbar. Ein symbolischer und von vielen als einer der wichtigsten Momente zwischen Mensch und Maschine war eine Tatsache. Dieses Landmark -Ereignis markierte einen Wendepunkt in der KI -Entwicklung, wobei das Potenzial - und die Herausforderungen - der strategischen AI.
hervorgehoben wurde.
Inspiriert von den jüngsten Fortschritten in der generativen KI - und meinen eigenen Experimenten mit großer Sprachmodellen und ihrer strategischen Fähigkeiten - habe ich zunehmend über strategische KI nachgedacht. Wie haben wir versucht, dieses Thema in der Vergangenheit zu nähern? Was sind die Herausforderungen und was bleibt noch gelöst zu werden, bevor wir einen allgemeiner strategischen AI -Agenten haben?
Als Datenwissenschaftler implementieren wir zunehmend KI -Lösungen für unsere Kunden und Arbeitgeber. Für die Gesellschaft insgesamt macht es die ständig steigende Interaktion mit KI von entscheidender Bedeutung, die Entwicklung von KI und insbesondere die strategische KI zu verstehen. Sobald wir autonome Agenten mit der Fähigkeit haben, in strategischen Kontexten gut zu manövrieren, wird dies für alle tiefgreifende Auswirkungen haben.
Aber was genau meinst wir, wenn wir strategische Ai sagen? Im Kern umfasst die strategische KI Maschinen, die Entscheidungen treffen, die nicht nur potenzielle Maßnahmen berücksichtigen, sondern auch die Reaktionen anderer antizipieren und beeinflussen. Es geht darum, die erwarteten Ergebnisse in komplexen, unsicheren Umgebungen zu maximieren.
In diesem Artikel werden wir die strategische KI definieren, untersuchen, was es ist und wie es sich im Laufe der Jahre seit IBMs tiefblauem Kasparov im Jahr 1997 entwickelt hat. Wir werden versuchen, die allgemeine Architektur einiger Modelle zu verstehen und zu verstehen und Untersuchen Sie außerdem, wie große Sprachmodelle (LLMs) in das Bild passen. Durch das Verständnis dieser Trends und Entwicklungen können wir uns besser auf eine Welt vorbereiten, in der autonome KI -Agenten in die Gesellschaft integriert sind.
Eine tiefere Diskussion über strategische KI beginnt mit einer gut formulierten Definition des Themas.
Wenn wir die Strategie in einem kommerziellen Umfeld betrachten, verbinden wir sie häufig mit Themen wie langfristigem Denken, Ressourcenzuweisung und Optimierung, einem ganzheitlichen Verständnis von Interpendenzen in einer Organisation, Ausrichtung von Entscheidungen mit dem Zweck und der Mission der Firma und so weiter. Während diese Themen nützlich zu berücksichtigen sind, bevorzuge ich oft eine theoretische Definition der Strategie im Umgang mit KI und autonomen Agenten. In diesem Fall definieren wir strategisch als:
Auswählen einer Vorgehensweise, die Ihre erwartete Auszahlung maximiert, indem Sie nicht nur Ihre eigenen potenziellen Aktionen berücksichtigen, sondern auch, wie andere auf diese Aktionen reagieren und wie sich Ihre Entscheidungen auf die Gesamtdynamik der Umgebung auswirken.
Der kritische Teil dieser Definition ist, dass strategische Entscheidungen Entscheidungen sind, die nicht in einem Vakuum auftreten, sondern im Kontext anderer Teilnehmer, sei es Menschen, Organisationen oder andere AIs. Diese anderen Unternehmen können ähnliche oder widersprüchliche Ziele haben und versuchen auch, strategisch zu handeln, um ihre eigenen Interessen zu fördern.
Außerdem versuchen strategische Entscheidungen immer, die erwarteten Auszahlungen zu maximieren , unabhängig davon, ob diese Auszahlungen in Bezug auf Geld, Nutzen oder andere Wertmaßnahmen sind. Wenn wir die traditionelleren "kommerziellen" Themen im Zusammenhang mit der Strategie integrieren wollten, können wir uns vorstellen, dass wir den Wert eines Unternehmens in 10 Jahren maximieren möchten. In diesem Fall müssten wir, um eine gute Strategie zu formulieren, eine "langfristige" Sichtweise und möglicherweise auch den "Zweck und die Mission" des Unternehmens berücksichtigen, um die Ausrichtung der Strategie zu gewährleisten. Die Verfolgung dieser Bemühungen sind jedoch lediglich eine Folge dessen, was es tatsächlich bedeutet, strategisch zu handeln.
Die spieltheoretische Sichtweise der Strategie erfasst die Essenz strategischer Entscheidungsfindung und lässt uns folglich klar definieren, was wir unter strategischer KI verstehen. Aus der Definition erkennen wir, dass ein KI -System oder Agent strategisch handeln muss, es einige Kernfunktionen haben muss. Insbesondere muss es in der Lage sein,:Es gibt derzeit kein bekanntes oder gut veröffentlichtes System, das all diese Aktionen in der realen Welt auf autonome Weise in der Lage ist. Angesichts der jüngsten Fortschritte in KI -Systemen und dem schnellen Anstieg von LLMs, die sich möglicherweise ändern könnten!
Bevor wir mit einer weiteren Diskussion über die strategische KI fortfahren, könnte es nützlich sein, einige Konzepte und Ideen aus der Spieltheorie zu überprüfen. Ein Großteil der Arbeiten, die in der strategischen KI geleistet wurden, hat eine Grundlage für theoretische Spielkonzepte und die Verwendung von Theoreme aus der Spieltheorie kann die Existenz bestimmter Eigenschaften zeigen, die einige Spiele und Situationen erleichtern als andere. Es hilft auch, einige der Mängel der Spieltheorie in Bezug auf reale Situationen hervorzuheben und hervorzuheben, wo wir besser in andere Richtungen nach Inspiration schauen können.
Wir definieren ein Spiel als mathematisches Modell, das drei Schlüsselkomponenten umfasst:
Diese formale Struktur ermöglicht die systematische Untersuchung strategischer Interaktionen und Entscheidungsprozesse.
Wenn Sie über Spiele sprechen, ist es auch sinnvoll, die Unterscheidung zwischen endlichen und unendlichen Spielen zu betrachten.
endliche Spiele haben feste Spieler, definierte Regeln und einen klaren Endpunkt. Ziel ist es zu gewinnen, und Beispiele sind Schach, Go, Checkers und die meisten traditionellen Brettspiele.
unendliche Spiele hingegen haben keinen vorbestimmten Endpunkt, und die Regeln können sich im Laufe der Zeit entwickeln. Ziel ist es nicht, zu gewinnen, sondern weiter zu spielen. Reale Szenarien wie Business-Wettbewerb oder gesellschaftliche Entwicklung können als unendliche Spiele angesehen werden. Der Kalten Krieg kann als Beispiel für ein unendliches Spiel angesehen werden. Es war ein längerer geopolitischer Kampf zwischen den Vereinigten Staaten und ihren Verbündeten (westlich) und der Sowjetunion und ihren Verbündeten (Osten). Der Konflikt hatte keinen festen Endpunkt und die Strategien und "Regeln" entwickelten sich im Laufe der Zeit.
Manchmal können wir in einem größeren Spielkontext kleinere Spiele finden. Mathematisch sind Subgames eigenständige in sich geschlossene Spiele und die Notwendigkeit, einige verschiedene Kriterien zu erfüllen:
Wir können ein Subspiel visualisieren, wenn wir uns einen großen Baum vorstellen, der ein ganzes Spiel darstellt. Ein Subgame ist wie die Auswahl eines Zweigs dieses Baumes von einem bestimmten Punkt (Knoten) und allem, was sich daraus erstreckt, und gleichzeitig sicherstellen, dass alle Unsicherheiten in diesem Zweig vollständig dargestellt sind.
Die Kernidee hinter einem Subgame macht es für unsere Diskussion über strategische KI nützlich. Der Grund ist in erster Linie, dass einige unendliche Spiele zwischen den Spielern sehr komplex und schwer zu modellieren sind, während wir uns für kleinere Spiele in diesem Spiel entscheiden, mehr Erfolg bei der theoretischen Analyse von Spielen anwenden können.
Zurück zu unserem Beispiel mit dem Kalten Krieg als unendlichem Spiel können wir mehrere Unterspiele in diesem Kontext erkennen. Einige Beispiele sind:
Die kubanische Raketenkrise (1962):
Die Berliner Blockade und Luftbrücke (1948–1949):
Obwohl natürlich sehr schwierig und komplex zu behandeln ist, sind beide "Subgames" leichter zu analysieren und Antworten zu entwickeln als auf den gesamten Kalten Krieg. Sie hatten definierte Spieler mit einer begrenzten Reihe von Strategien und Auszahlungen sowie einem klareren Zeitrahmen. Dies machte sie beide stärker für die theoretische Analyse der Spiele an.
im Kontext der strategischen KI ist die Analyse dieser Subspiele für die Entwicklung intelligenter Systeme, die in komplexen, dynamischen Umgebungen optimale Entscheidungen treffen können.
Zwei Spielerspiele sind einfach ein Spiel zwischen zwei Spielern. Dies könnte zum Beispiel ein Spiel zwischen zwei Schachspielern sein oder zu unserem Beispiel des Kalten Krieges, dem Westen gegen den Osten, zurückkehren. Nur zwei Spieler im Spiel zu vereinfachen, vereinfacht die Analyse, erfasst aber dennoch wesentliche Wettbewerbs- oder kooperative Dynamik. Viele der Ergebnisse in der Spieltheorie basieren auf zwei Spielern.
Null-Sum-Spiele sind eine Untergruppe von Spielen, bei denen der Gewinn eines Spielers der Verlust eines anderen Spielers ist. Die Gesamtauszahlung bleibt konstant und die Spieler sind in direktem Wettbewerb.
Ein Nash -Gleichgewicht (NE) ist eine Reihe von Strategien, bei denen kein Spieler einen zusätzlichen Nutzen erzielen kann, indem sie ihre eigene Strategie einseitig ändern, vorausgesetzt, die anderen Spieler halten ihre unverändert. In diesem Zustand ist die Strategie jedes Spielers die beste Reaktion auf die Strategien der anderen, was zu einem stabilen Ergebnis führt, bei dem kein Spieler einen Anreiz hat, abweichen zu können.
Zum Beispiel ist der NE im Game Rock-Papier-Scissor (RPS) der Zustand, in dem alle Spieler zufällig mit gleicher Wahrscheinlichkeit Rock, Papier und Schere spielen. Wenn Sie als Spieler die NE-Strategie spielen, stellen Sie sicher, dass kein anderer Spieler Ihr Spiel ausnutzen kann, und in einem Zwei-Spieler-Null-Sum-Spiel kann gezeigt werden, dass Sie nicht in Erwartung verlieren, und das Schlimmste, was Sie tun können ist ausbruch.
Das Spielen einer NE-Strategie ist jedoch möglicherweise nicht immer die optimale Strategie, insbesondere wenn Ihr Gegner vorhersehbar suboptimal spielt. Betrachten Sie ein Szenario mit zwei Spielern, A und B. Wenn Spieler B mehr Papier spielen kann, könnte Spieler A dies erkennen und seine Häufigkeit des Scherenspiels erhöhen. Diese Abweichung von A konnte jedoch erneut von B ausgenutzt werden, der sich ändern und mehr Rock spielen könnte.
Überprüfung der theoretischen Konzepte der Spiele, es scheint, dass die Idee eines Untergames besonders nützlich für strategische KI ist. Die Fähigkeit, mögliche kleinere und einfachere analysierende Spiele in einem größeren Kontext zu finden
Nehmen wir zum Beispiel an, Sie arbeiten an der Entwicklung Ihrer Karriere, etwas, das als unendliches Spiel eingestuft und schwer zu lösen ist, aber plötzlich erhalten Sie die Möglichkeit, einen neuen Vertrag auszuhandeln. Dieser Verhandlungsprozess bietet eine Gelegenheit für ein Subgame in Ihrer Karriere und wäre für eine strategische KI, die theoretische Konzepte verwendet, viel zugänglicher.In der Tat schafft Menschen seit Tausenden von Jahren Unterspiele in unserem Leben. Vor ungefähr 1500 Jahren in Indien haben wir die Ursprünge des heutigen Schaches geschaffen. Schach stellte sich als eine große Herausforderung für die KI heraus, es zu schlagen, ermöglichte es uns jedoch auch, reifere Werkzeuge und Techniken zu entwickeln, die für noch kompliziertere und schwierigere strategische Situationen verwendet werden könnten.
Spiele haben einen erstaunlichen Nachweis für die Entwicklung strategischer KI geliefert. Die geschlossene Natur von Spielen erleichtert es, Modelle zu trainieren und Lösungstechniken zu entwickeln als in offenen Systemen. Spiele sind klar definiert; Die Spieler sind bekannt und auch die Auszahlungen. Einer der größten und frühesten Meilensteine war tiefblau, die Maschine, die den Weltmeister im Schach besiegte.
Deep Blue war ein von IBM in den 1990er Jahren entwickelter Supercomputer-Supercomputer. Wie im Prolog angegeben, schrieb es im Mai 1997 die Geschichte, indem er den amtierenden Weltschachmeister Garry Kasparov in einem Spiel mit sechs Spielen besiegte. Deep Blue verwendete spezielle Hardware und Algorithmen, die 200 Millionen Schachpositionen pro Sekunde bewerten können. Es kombinierte Brute-Force-Suchtechniken mit heuristischen Bewertungsfunktionen, sodass es tiefer nach potenziellen Bewegungssequenzen als in jedem vorherigen System suchen kann. Was Deep Blue besonders besonders machte, war seine Fähigkeit, eine große Anzahl von Positionen schnell zu verarbeiten und die kombinatorische Komplexität des Schachs effektiv zu bearbeiten und einen bedeutenden Meilenstein in der künstlichen Intelligenz zu markieren.
Wie Gary Kasparov in seinem Interview mit Lex Fridman¹ jedoch feststellt, war Deep Blue eher eine brutale Kraftmaschine als alles andere, daher ist es vielleicht schwierig, sie als jede Art von Intelligenz zu qualifizieren. Der Kern der Suche ist im Grunde nur Versuch und Irrtum. Apropos Fehler, es macht deutlich weniger Fehler als Menschen, und laut Kasparov ist dies eine der Funktionen, die es schwierig gemacht haben, zu schlagen.
19 Jahre nach dem tiefen blauen Sieg im Schach produzierte ein Team aus Googles DeepMind ein weiteres Modell, das zu einem besonderen Moment in der Geschichte der KI beitragen würde. 2016 war Alphago das erste KI -Modell, das einen Weltmeister -Go -Spieler, Lee Sedol, besiegte.
go ist ein sehr altes Brettspiel mit Ursprung in Asien, bekannt für seine tiefe Komplexität und eine große Anzahl möglicher Positionen, die weit über die Schachkessel liegen. Alphago kombinierte tiefe neuronale Netzwerke mit Monte Carlo Tree -Suche, sodass sie Positionen bewerten und sich effektiv bewegt. Je mehr Zeit Alphago bei Inferenz verabreicht wurde, desto besser führt es durch.
Die KI trainierte auf einem Datensatz menschlicher Expertenspiele und verbesserte sich durch das Selbstspiel weiter. Was Alphago besonders besonders machte, war seine Fähigkeit, die Komplexität von GO zu bewältigen und fortschrittliche Techniken für maschinelles Lernen zu verwenden, um übermenschliche Leistung in einer Domäne zu erzielen, von der zuvor angesehen wurde, dass sie gegen AI -Meisterschaft resistent ist.
Man könnte argumentieren, dass Alphago aufgrund seiner außergewöhnlichen Fähigkeit, Board -Zustände und Auswahlzüge auszuwählen, mehr Intelligenz als tiefblau aufweist. Move 37 aus seinem Spiel 2016 gegen Lee Sedol ist ein klassisches Beispiel. Für diejenigen, die mit GO vertraut waren, war es ein Schulterhit in der fünften Zeile und die zunächst verblüfften Kommentatoren, einschließlich Lee Sedol selbst. Aber wie später klar werden würde, war der Schritt ein brillantes Stück und zeigte, wie Alphago Strategien untersuchen würde, die menschliche Spieler übersehen und ignorieren könnten.
Ein Jahr später machte Google DeepMind erneut Schlagzeilen. Diesmal nahmen sie viele der Erkenntnisse aus Alphago und schufen Alphazero, das eher ein allgemeines KI-System war, das Schach beherrschte, sowie Go und Shogi. Die Forscher konnten die KI ausschließlich durch Selbsteinstellung und Verstärkungslernen ohne vorherige menschliche Wissen oder Daten aufbauen. Im Gegensatz zu herkömmlichen Schachmotoren, die auf handgefertigten Bewertungsfunktionen und umfangreichen Eröffnungsbibliotheken angewiesen sind, verwendete Alphazero tiefe neuronale Netzwerke und einen neuartigen Algorithmus, der die Monte-Carlo-Baumsuche mit selbstlief kombinierte.
Das System begann nur mit den Grundregeln und lernte optimale Strategien, indem Millionen von Spielen gegen sich selbst gespielt wurden. Was Alphazero zu etwas Besonderem machte, war seine Fähigkeit, kreative und effiziente Strategien zu entdecken und ein neues Paradigma in KI zu präsentieren, das sich selbst über das Wissen über menschliches Engagement lernt.
Die Google DeepMind -Team setzte seine Herrschaft im KI -Bereich fort und änderte seinen Fokus auf ein sehr beliebtes Computerspiel, Starcraft II. Im Jahr 2019 entwickelten sie eine KI namens Alphastar², die in der Lage war, ein Spiel auf Grandmaster -Level zu erzielen und über 99,8% der menschlichen Spieler auf der Wettbewerbsgrenze zu liegen.
StarCraft II ist ein Echtzeit -Strategiespiel, das dem Team bei DeepMind mehrere neue Herausforderungen darstellte. Das Ziel des Spiels ist es, den gegnerischen Spieler oder den gegnerischen Spielern zu erobern, indem sie Ressourcen sammeln, Gebäude bauen und Armeen ansammeln, die den Gegner besiegen können. Die Hauptherausforderungen in diesem Spiel ergeben sich aus dem enormen Aktionsraum, der in Betracht gezogen werden muss, die Entscheidungsfindung in Echtzeit, die teilweise Beobachtbarkeit aufgrund des Krieges und die Notwendigkeit einer langfristigen strategischen Planung, da einige Spiele stundenlang dauern können.
Durch den Aufbau einiger der für früheren AIS entwickelten Techniken wie Verstärkungslernen durch Selbstvertreter und tiefe neuronale Netze konnte das Team eine einzigartige Spielermotor herstellen. Erstens trainierten sie ein neuronales Netz mit überwachtem Lernen und menschlichem Spiel. Dann benutzten sie das, um einen weiteren Algorithmus zu säen, der in einem Spielrahmen mit mehreren Agenten gegen sich selbst spielen konnte. Das DeepMind -Team schuf eine virtuelle Liga, in der die Agenten Strategien gegeneinander untersuchen konnten und in der die dominierenden Strategien belohnt würden. Letztendlich kombinierten sie die Strategien der Liga zu einer Superstrategie, die gegen viele verschiedene Gegner und Strategien wirksam sein könnte. In ihren eigenen Wortenssure:
Der endgültige Alphastar -Agent besteht aus den Komponenten der Nash -Verteilung der Liga - mit anderen Worten, die effektivste Mischung von Strategien, die auf einer einzelnen Desktop -GPU ausgeführt werden.
Ich liebe es, Poker zu spielen, und als ich in Trondheim lebte und studierte, hatten wir früher ein wöchentliches Geldspiel, das ziemlich intensiv werden könnte! Einer der letzten Meilensteine, die von der strategischen KI in den Schatten gestellt wurden, war im Pokerspiel. Insbesondere in einer der beliebtesten Formen von Poker, 6-Spieler-No-Limit-Texas Hold'em. In diesem Spiel verwenden wir ein reguläres Kartenspiel mit 52 Karten, und das Spiel folgt der folgenden Struktur:
Die Spieler können die Karten auf dem Tisch und die beiden Karten auf der Hand verwenden, um eine 5-Karten-Pokerhand zusammenzustellen. Für jede Runde des Spiels wechseln die Spieler abwechselnd Wetten, und das Spiel kann in einer der Runden enden, wenn ein Spieler eine Wette legt, die niemand sonst anrufen bereit ist.
Obwohl es einigermaßen einfach zu lernen ist, muss man nur die Hierarchie der verschiedenen Pokerhände kennen. Dieses Spiel erwies sich trotz laufender Bemühungen über mehrere Jahrzehnte als sehr schwer mit KI zu lösen.
Es gibt mehrere Faktoren, die zur Schwierigkeit bei der Lösung von Poker beitragen. Erstens haben wir das Problem der versteckten Informationen, da Sie nicht wissen, welche Karten die anderen Spieler haben. Zweitens haben wir ein Multiplayer -Setup mit vielen Spielern, wobei jeder zusätzliche Spieler die Anzahl möglicher Interaktionen und Strategien exponentiell erhöht. Drittens haben wir die No-Limit-Wettregeln, die eine komplexe Wettstruktur ermöglichen, in der ein Spieler plötzlich beschließen kann, seinen gesamten Stapel zu wetten. Viertens haben wir aufgrund der Kombination von Lochkarten, Community -Karten und Wett -Sequenzen eine enorme Komplexität des Spielsbaums. Darüber hinaus haben wir aufgrund der stochastischen Natur der Karten, dem Potenzial für das Bluffen und der Modellierung des Gegners!
auch Komplexität.Erst 2019 haben einige Forscher, Noam Brown und Tuomas Sandholm, schließlich den Code geknackt. In einer in Science veröffentlichten Arbeit beschreiben sie einen neuartigen Poker AI-Pluribus-, der es geschafft hat, die besten Spieler der Welt in 6-Spieler-No-Limit-Texas Hold'em zu schlagen. Pokerhände und beide Experimente zeigten deutlich die Dominanz von Pluribus.
Im ersten Experiment spielte Pluribus gegen 5 menschliche Gegner und erreichte eine durchschnittliche Gewinnrate von 48 MBB/Spiel mit einer Standardabweichung von 25 MBB/Spiel. (MBB/Game steht für Milli Big Blind pro Spiel, wie viele Big Blinds werden pro 1000 Spiele gewonnen.) 48 MBB/Spiel werden als sehr hohe Siegesrate angesehen, insbesondere bei Elite -Poker -Spielern, und impliziert, dass Pluribus stärker ist als die menschliche Gegner.
Im zweiten Experiment hatten die Forscher 5 Versionen von Pluribus gegen 1 Menschen. Sie richten das Experiment so ein, dass 2 verschiedene Menschen jeweils 5000 Hände gegen die 5 Maschinen spielen. Pluribus verprügelte die Menschen mit einem Standardfehler von 15 MBB/Spiel, was wiederum seine strategische Überlegenheit zeigt.
Die Dominanz von Pluribus ist ziemlich erstaunlich, insbesondere angesichts der Komplexität, die die Forscher überwinden mussten. Brown und Sandholm entwickelten mehrere intelligente Strategien, die Pluribus dazu veranlassten, übermenschlich und rechnerisch viel effizienter zu werden als frühere Top -Poker -AIs. Einige ihrer Techniken umfassen:Es gibt einige interessante Beobachtungen, die aus Pluribus stammen können, aber am interessantesten ist, dass es sein Spiel nicht gegen verschiedene Gegner variiert, sondern eine robuste Strategie entwickelt hat, die gegen eine Vielzahl von Spielern wirksam ist. Da viele Pokerspieler glauben, sie müssen ihr Spiel an verschiedene Situationen und Menschen anpassen, zeigt uns Pluribus, dass dies nicht erforderlich ist und wahrscheinlich nicht einmal optimal ist, da es alle Menschen besiegte, gegen die es gespielt wird.
In unserem kurzen Einstieg in die Spieltheorie haben wir festgestellt, dass, wenn Sie die NE-Strategie in Zwei-Spieler-Null-Sum-Spielen spielen, dass Sie garantiert die Erwartung nicht verlieren. Für ein Multiplayer-Spiel wie 6-Player-Poker gibt es jedoch keine solche Garantie. Noam Brown spekuliert, dass es vielleicht die kontroverse Natur eines Spiels wie Poker ist, das es immer noch geeignet macht, zu versuchen, sich mit einer NE -Strategie daran zu nähern. Umgekehrt wird in einem Spiel wie Risiko, in dem Spieler mehr zusammenarbeiten können, nicht garantiert funktioniert, da Sie, wenn Sie ein Risikospiel mit 6 Personen spielen auf dich und töte dich.
Zusammenfassend die Geschichte der strategischen KI in Spielen zusammen, sehen wir einen klaren Trend. Die Spiele werden langsam aber sicher näher an strategischen Situationen der realen Welt, in denen sich Menschen täglich befinden.
Erstens bewegen wir uns von einem Zwei-Spieler zu einer Multiplayer-Einstellung. Dies ist aus dem ersten Erfolg in zwei Spielern bis zu Multiplayer-Spielen wie 6-Player-Poker zu sehen. Zweitens sehen wir eine Zunahme der Beherrschung von Spielen mit versteckten Informationen. Drittens sehen wir auch eine Zunahme der Meisterschaft von Spielen mit stochastischeren Elementen.
versteckte Informationen, Mehrspielermoduseinstellungen und stochastische Ereignisse sind eher die Norm als die Ausnahme in strategischen Interaktionen zwischen Menschen. Das Mastering dieser Komplexität ist daher der Schlüssel für eine allgemeinere strategische KI, die in der realen Welt navigieren kann.
Ich habe kürzlich ein Experiment durchgeführt, bei dem ich LLMs das BoardGame -Risiko gegeneinander spielen ließ. Mein Ziel mit dem Experiment war es, zu messen, wie gut die LLMs in einer strategischen Umgebung abschneiden konnten, mehr von weniger außerhalb der Box. Die Agenten wurden jedoch eine Menge detaillierter Aufforderung zur Verfügung gestellt, um den richtigen Kontext zu liefern, und vielleicht nicht überraschend war die LLM -Leistung eher mittelmäßig.
finden Sie hier einen Artikel über das Experiment:
Erforschen Sie die strategischen Fähigkeiten von LLMs in einer Risikospieleinstellung
Zusammenfassend einige der wichtigsten Erkenntnisse aus dem Experiment zusammen, kämpft die aktuelle Generation von LLMs mit grundlegenden strategischen Konzepten wie Befestigung und Erkennung von Gewinnbewegungen. Sie können auch andere Spieler nicht beseitigen, wenn es für sie strategisch vorteilhaft gewesen wäre.
Das obige Experiment weist darauf hin, dass die LLMs, obwohl wir eine rasche Verbesserung der LLMs gesehen haben, immer noch die Raffinesse für strategisches Denken fehlt. Angesichts ihrer sehr allgemeinen Trainingsdaten und der Art und Weise, wie sie konstruiert wurden, sollte dies nicht überraschend sein.
Wie passen sie in die Diskussion um strategische KI? Um das zu verstehen, müssen wir verstehen, worauf sich die LLMs wirklich auszeichnen. Das vielleicht vielversprechendste Merkmal der LLMs ist ihre Fähigkeit, große Mengen an Text zu verdauen und zu generieren. Und jetzt mit multimodalen Modellen, Video und Audio. Mit anderen Worten, LLMs eignen sich hervorragend für die Interaktion mit der realen Welt, sowohl in menschlichen als auch in anderen Kontexten. Vor kurzem konnte ein KI -Team von Meta die allgemeinen Sprachfunktionen eines Sprachmodells mit den strategischen Erkenntnissen einer Strategie -Engine kombinieren.
Das Spiel der Diplomatie ist ein 2 bis 7-Spieler-Strategiespiel, das Meta als Mischung zwischen Risiko, Poker und TV-Show Survivor beschreibt. Die Spieler beginnen mit einer Karte von Europa, ca. 1900, und das Ziel ist es, die Kontrolle über die Mehrheit der Versorgungszentren zu erlangen. Insbesondere zielt ein Spieler darauf ab, 18 von 34 Versorgungszentren zu kontrollieren, um den Sieg zu erringen. Auf diese Weise dominiert ein Spieler die Karte effektiv und repräsentiert den Aufstieg ihrer Nation über Europa in der Zeit vor dem Ersten Weltkrieg.
Was die Diplomatie von vielen anderen Spielen unterscheidet, die wir bisher diskutiert haben, ist das Vertrauen in die Verhandlungen zwischen Spielern. Es ist eine viel kooperativere Form des Spiels als zum Beispiel Poker. Jeder Spieler nutzt die natürliche Sprache, um vor jeder Runde mit den anderen Spielern zu kommunizieren, und erstellt Pläne, sich miteinander zu verbünden. Wenn die Vorbereitungen beendet sind, geben alle Spieler ihre Pläne gleichzeitig auf und die Wendung wird ausgeführt. Diese Art von Spiel ähnelt offensichtlich der tatsächlichen Diplomatie und den realen Verhandlungen, die näher als die meisten anderen Boardgames sind, aber aufgrund der natürlichen Sprachkomponente war es für KI sehr schwierig, zu meistern.
Dies änderte sich im Jahr 2022, als das KI -Team von Meta Cicero entwickelte. Mit den neuesten Fortschritten bei der Sprachmodellierung, kombiniert mit einem strategischen Modul, war Cicero eine Game -Engine, die mehr als "die durchschnittliche Punktzahl der menschlichen Spieler doppelt so doppelte und unter den Top 10% der Teilnehmer, die mehr als ein Spiel spielten . "⁶ Wie Meta es beschreibt, kann ihr Modell einen Strategiedialog erstellen und einen Dialog bewusst werden.
Es gibt einige wichtige Unterschiede zwischen Diplomatie und einigen anderen Spielen, bei denen wir die jüngsten strategischen KI -Fortschritte erzielt haben. Vor allem ist die kooperative Natur des Spiels-im Vergleich zum kontroversen Charakter der anderen Spiele-und dem von ihnen verwendeten offenen natürlichen Sprachformat. Ich würde argumentieren, dass diese Unterschiede das Spiel eher wie eine echte menschliche Interaktion machen, aber auch Einschränkungen dafür legt, wie die Forschungen die Algorithmen, die Cicero betreiben, trainieren können.
Im Gegensatz zu Pluribus und Alphazero wird Cicero nicht hauptsächlich durch das Lernen von Selbstvertretung und Verstärkung trainiert. Stattdessen verwendete das Meta -Team einen Datensatz mit über 125.000 Spielen und 40.000.000 Nachrichten, um den Algorithmus auszubilden. Sie dachten, angesichts der Verhandlung, Überzeugungs- und Vertrauensaufbauaspekte des Spiels könnten sie seltsames Verhalten sehen, wenn sie die KI durch Selbsteinstellung mit sich selbst verhandeln lassen und dass es möglicherweise nicht die Essenz der menschlichen Interaktion erfasst. Zitieren ihren Forschungsartikel:
"… Wir fanden heraus, dass ein Selbstvertretungsalgorithmus, der in den 2P0S-Versionen des Spiels übermenschliche Leistung erzielte, in Spielen mit mehreren menschlichen Spielern schlecht abschneidet, da eine politische Politik gelernt wurde, die mit den Normen und Erwartungen potenzieller menschlicher Verbündeter in Einklang steht. "
Verstärkungslernen wurde jedoch verwendet, um einen Teil der Strategie -Engine zu schulen, insbesondere, um die Wertfunktion von Cicero zu trainieren - die die Nützlichkeit seiner Handlungen vorhersagen muss. Die Forscher verwendeten eine modifizierte Version des Verhaltensklonen, PIKL, die den erwarteten Nutzen aus einer Aktion maximieren und gleichzeitig die Abweichungen durch menschliches Verhalten minimieren. Während gleichzeitig menschliche Handlungen nahe bleiben.
Die oben genannten Merkmale der Diplomatie unterstreichen einige wichtige Probleme im Zusammenhang mit der Erstellung einer strategischen KI, die in einer realen menschlichen Umgebung operieren kann, und müssen berücksichtigt werden, wenn wir bewerten, wie sich die strategische KI weiterentwickeln wird.
Vorhersage der Zukunft ist immer schwierig. Ein Ansatz kann jedoch darin bestehen, die aktuellen Trends zu verwenden und in zukünftige Szenarien zu extrapolieren. Im Folgenden untersuchen wir einige Themen, die sich genau auf unsere vorherige Diskussion beziehen, und bewerten, wie sie die Zukunft der strategischen AI beeinflussen können.
Wenn wir die Flugbahn strategischer KI -Motoren bisher untersuchen, ist eine Sache, die uns auffällt, wie spezialisiert jede Spielmotor ist. Auch wenn die Architekturen ähnlich sein können - wie bei Alphazero, wie man lernt, wie man mehrere verschiedene Spiele spielt -, spielt die KI für jedes bestimmte Spiel immer noch Millionen von Spielen mit sich selbst. Für Schach hat Alphazero 44 Millionen Spiele gespielt und für GO 130 Millionen Spiele! ⁷ Eine natürliche Frage ist, ob wir versuchen sollten, allgemeinere Strategie -Motoren aufzubauen oder weiterhin auf spezielle Module für bestimmte Aufgaben zu konzentrieren?
Eine allgemeine Strategie -Engine würde darauf abzielen, umfassende strategische Prinzipien in verschiedenen Situationen zu verstehen und anzuwenden. Vielleicht könnte AI durch das Erstellen von Spielen, die viele Aspekte der menschlichen strategischen Interaktion erfassen, durch das Spiel gegen sich selbst lernen und Strategien entwickeln, die für reale Szenarien gelten. Dieser Ansatz könnte AI helfen, sein Lernen zu verallgemeinern und ihn in verschiedenen Kontexten nützlich zu machen.
Andererseits sind Spezialmodule AI -Systeme für bestimmte Szenarien oder Aufgaben. Wir könnten uns vorstellen, dass wir eine allgemeine strategische KI schaffen könnten, indem wir mehrere spezialisierte Agenten kombinieren. KI -Agenten könnten geschult werden, um in jedem bestimmten Bereich hervorragend zu sein und ein tiefes Know -how zu bieten, wo es am dringendsten benötigt wird. Diese Methode könnte zwar die Verallgemeinerungsfähigkeit der KI einschränken, sorgt jedoch für eine hohe Leistung in bestimmten Bereichen, was zu praktischen Anwendungen schneller führen kann.
Angesichts der Probleme bei der Verwendung von KI für das Selbstspiel in kooperativen Umgebungen-wie wir mit Diplomatie-und den aktuellen Trend, der spezialisierte Module für verschiedene strategische Situationen zu bevorzugen scheint, scheint es wahrscheinlich, dass wir für die nah Strategische Module für verschiedene Kontexte. Man könnte sich jedoch auch ein gemischtes System vorstellen, in dem wir allgemeine Strategie -Motoren einsetzten, um Einblicke in breitere Themen zu geben, während spezielle Module komplexe, spezifische Herausforderungen bewältigen. Dieses Gleichgewicht könnte es KI -Systemen ermöglichen, allgemeine strategische Erkenntnisse anzuwenden und gleichzeitig an die Details bestimmter Situationen anzupassen.
große Sprachmodelle haben die Art und Weise verändert, wie KI mit der menschlichen Sprache interagiert, und bieten eine leistungsstarke Möglichkeit, strategische KI-Module mit realen Anwendungsfällen zu verbinden. LLMs sind großartig darin, menschenähnlichen Text zu verstehen und zu generieren, was sie als Vermittler ideal macht, die reale Situationen in strukturierte Daten umsetzen kann, die Strategie-Motoren verarbeiten können. Wie bei METAs Cicero zu sehen ist, ermöglichte es der KI, LLMs mit strategischem Denken zu kombinieren, die menschliche Kommunikation zu verstehen, zu verhandeln und in kollaborativen Umgebungen zu planen.
Angesichts des aktuellen Trends zu mehr multimodalen Modellen können die LLMs zunehmend nicht nur Text, sondern einen realen Kontext in eine maschinenlesbare Syntax übersetzen. Dies macht die Modelle noch nützlicher als Vermittler.
Wenn wir auf den für Cicero entwickelten Ideen aufbauen, können wir uns auch vorstellen, verschiedene Sprachmodelle für bestimmte Aufgaben-wie diplomatische Kommunikation-zu fällen, indem wir die Modelle zur historischen diplomatischen Korrespondenz fährt und dann separate Strategie-Engines ausbilden, um zu erstellen mit optimalen Aktionen.
Beispiele für dieses Modell umfassen Bereiche, in denen Human-AI-Teams entweder Menschen oder Maschinen übertreffen, die alleine arbeiten. In Schach zum Beispiel förderte Garry Kasparov die Idee, sich mit AI zusammenzutun, und kombinierte menschliche strategische Einblicke mit den genauen Berechnungen von AI. Das Centaur -Modell schien im Schach gut zu funktionieren, bis die Programme wirklich gut wurden. Zu diesem Zeitpunkt war der menschliche Beitrag nichts wert und war im schlimmsten Fall schädlich.
In anderen Bereichen, die offener und realer als Schach sind, ist das Centaur-Modell in Zukunft wahrscheinlich eine gute Wette. Überlegen Sie einfach, wie die menschliche Zusammenarbeit mit modernen LLMs das Potenzial hat, die Produktivität drastisch zu verbessern.
Dieser kollaborative Ansatz verbessert die Entscheidungsfindung durch Kombination des menschlichen Urteils mit KI-Analyse, was möglicherweise zu fundierteren und ausgewogeneren Ergebnissen führt. Es ermöglicht eine schnelle Anpassung an neue und unerwartete Situationen, da Menschen Strategien in Echtzeit mit KI-Unterstützung anpassen können.
Spiele waren ein großartiger Test für die Entwicklung strategischer KI, aber der eigentliche Einfluss besteht aus der Anwendung dieser Fortschritte auf die realen Herausforderungen. Unten heben wir einige Beispiele hervor.
Ein Feld, auf dem sich in den letzten Jahren eine enorme Entwicklung verzeichnet hat, sind selbstfahrende Autos und wie sie strategische KI verwenden, um sicher nach Straßen zu navigieren. Sie müssen die Handlungen anderer Treiber, Fußgänger und Radfahrer vorhersagen und darauf reagieren. Zum Beispiel muss ein autonomes Fahrzeug vorhersehen, ob ein Fußgänger die Straße überqueren will oder ob ein anderer Fahrer unerwartet die Fahrspuren wechseln will.
Erst in diesem Jahr begann Waymo-ein Unternehmen, das autonome Fahrzeuge und Fahrtätigkeiten entwickelt-in drei US-Städten vollständig autonome Taxis: Phoenix, Arizona sowie Kalifornien in Los Angeles und San Francisco. In den kommenden Jahren können wir wahrscheinlich einen massiven Anstieg der vollautonomen Fahrzeuge aufgrund der Verbesserungen der strategischen KI erwarten.
Auf den Finanzmärkten analysieren KI-gesteuerte Handelssysteme enorme Datenmengen, um Investitionsentscheidungen zu treffen. Diese Systeme berücksichtigen die wahrscheinlichen Maßnahmen anderer Marktteilnehmer wie Händler und Institutionen, um Marktbewegungen zu antizipieren. Sie verwenden strategisches Denken, um Geschäfte auszuführen, die die Renditen maximieren und gleichzeitig die Risiken minimieren, häufig in stark volatilen Umgebungen.
AI -Systeme optimieren auch die Lieferketten, indem sie die Aktionen von Lieferanten, Wettbewerbern und Kunden berücksichtigen. Sie können Produktionspläne, Lagerbestände und Logistik strategisch anpassen, die auf erwarteten Nachfrage und Konkurrenzverhalten basieren. Wenn beispielsweise von einem Wettbewerber erwartet wird, dass ein neues Produkt auf den Markt kommt, kann die KI empfehlen, den Aktienniveau zu erhöhen, um potenzielle Nachfrageerhöhungen zu erreichen.
Strategische KI wird auch verwendet, um die Energieverteilung effizient zu verwalten. Smart Grids verwenden KI, um Verbrauchsmuster vorherzusagen und die Versorgung entsprechend anzupassen. Sie überlegen, wie die Verbraucher ihre Verwendung als Reaktion auf Preissignale oder Umweltfaktoren ändern könnten. Die KI verurteilt strategisch Ressourcen, um Belastungen auszugleichen, Ausfälle zu verhindern und erneuerbare Energiequellen zu integrieren.
Die obigen Beispiele zeigen deutlich, wie die strategische KI in verschiedene Branchen und Bereiche integriert wird. Durch die Berücksichtigung der Handlungen anderer treffen diese KI -Systeme fundierte Entscheidungen, die die Ergebnisse optimieren, die Effizienz verbessern und häufig einen Wettbewerbsvorteil bieten. Als strategische KI verbessert sich weiterhin diese Systeme, und wir werden wahrscheinlich auch in vielen anderen Bereichen auftreten.
Strategic AI hat seit dem Sieg von Deep Blue über Garry Kasparov einen langen Weg zurückgelegt. KI-Systeme zeigen zunehmend strategische Argumentationsfähigkeiten.
In diesem Artikel haben wir die grundlegenden Konzepte der strategischen KI untersucht und die Bedeutung der Spieltheorie betont und wie einige der Konzepte aus diesem Bereich auf strategische KI angewendet werden können. Wir haben uns auch untersucht, wie spezialisierte KI-Systeme in bestimmten Spielen übermenschliche Leistung erzielt haben, indem sie sich auf enge Domänen und ein umfangreiches Selbstspiel konzentriert haben. Dies wirft die Frage auf, ob die Zukunft der strategischen KI darin liegtWie wir mit Cicero gesehen haben, werden Sprachmodelle wahrscheinlich auch eine Zukunft im Raum der strategischen KI haben. Die neuen Modelle von Anbietern wie OpenAI, Anthropic und Meta machen es einfacher als je zuvor, diese Tools in autonome Agenten zu integrieren, die sie verwenden können, um die reale Welt in strukturierte Daten zu übersetzen, die KI-Systeme verarbeiten können.
Die Reise zu einer allgemeinen strategischen KI, die die Komplexität der realen Welt navigieren kann, beginnt gerade erst. Herausforderungen bleiben in Entwicklungssystemen, die über Bereiche hinweg verallgemeinert, sich an unvorhergesehene Situationen anpassen und ethische Überlegungen in ihre Entscheidungsprozesse integrieren können.
Danke fürs Lesen!
Möchten Sie benachrichtigt werden, wenn ich einen neuen Artikel veröffentliche? ➡️ Abonnieren Sie meinen Newsletter hier ⬅️. Es ist kostenlos und Sie können sich jederzeit abmelden!
Wenn Sie diesen Artikel gelesen haben und von mir auf weitere Inhalte zugreifen möchten, können Sie sich gerne unter linkedIn unter https://www.linkedin.com/in/hans-christian-ekne-1760a259 verbinden / oder besuchen Sie meine Webseite unter https://www.ekonconsulting.com/, um einige der von mir angebotenen Dienste zu erkunden. Zögern Sie nicht, per E -Mail unter [E -Mail geschützt]
zu erreichen referenzen
Das obige ist der detaillierte Inhalt vonWenn Maschinen vorausdenken: der Aufstieg der strategischen KI. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Empfehlung für das Ranking von Computer-Hardware-Erkennungssoftware
Eingabemethode für abgeleitete Symbole
Kostenloser Website-Domainname
Ranking der zehn besten formellen Handelsplattformen
Suffix für den Namen der Linux-Batch-Änderungsdatei
Methode zum Öffnen einer CDR-Datei
Einführung in die Hauptarbeitsinhalte des Backends
Einführung in den Route Add-Befehl
![[Web-Frontend] Node.js-Schnellstart](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
