Am 5. Oktober wurde AlphaTensor gestartet und DeepMind gab bekannt, dass es ein seit 50 Jahren ungelöstes mathematisches Algorithmusproblem im Bereich der Mathematik gelöst hat, nämlich die Matrixmultiplikation. AlphaTensor ist das erste KI-System, das neuartige, effiziente und nachweislich korrekte Algorithmen für mathematische Probleme wie die Matrixmultiplikation entdeckt. Der Artikel „Discovering schneller Matrix Multiplication Algorithms with Reinforcement Learning“ erschien auch auf dem Cover von Nature.
Allerdings hielt der Rekord von AlphaTensor nur eine Woche, bevor er von menschlichen Mathematikern gebrochen wurde.
In ihrer neuesten Arbeit sagen die Forscher Manuel Kauers und Jakob Moosbauer von der Johann Kepler Universität Linz, Österreich, dass sie den Matrixmultiplikationsrekord von AlphaTensor gebrochen haben. Sie entwickelten eine Methode, die „eine 5×5-Matrixmultiplikation“ in 95 Schritten durchführt, einen Schritt weniger als AlphaTensors Rekord von 96 Schritten und der vorherige Rekord von 98 Schritten. Ein Vorabdruck des Papiers wurde am 13. Oktober auf arxiv veröffentlicht.
Papieradresse: https://arxiv.org/abs/2210.04045
Das „FBHHRBNRSSSHK“ im Papiertitel ist eigentlich eine Kombination aus den Anfangsbuchstaben der Nachnamen aller Autoren des DeepMind-Papiers Es ist auch sehr interessant:
1 AlphaTensor 2 Schritte vorwärts
Viele mathematische Aufgaben in der Informatik werden durch Matrizenmultiplikation gelöst, wie zum Beispiel maschinelles Lernen, Erstellung von Computergrafiken, verschiedene Simulationen oder Datenkomprimierung. Computer berechnen Multiplikationen viel langsamer als Additionen, daher kann selbst eine kleine Verbesserung der Effizienz der Matrixmultiplikation große Auswirkungen haben. Seit Jahrzehnten suchen Mathematiker nach effizienteren Matrixmultiplikationsalgorithmen.
1969 entwickelte der deutsche Mathematiker Volker Strassen einen Algorithmus, der erstmals die Lösung der 4×4-Matrixmultiplikation von 64 Schritten auf 49 Schritte reduzierte und damit die Mathematikwelt schockierte.
Das von Deepmind veröffentlichte KI-System AlphaTensor hat diesmal einen neuen Algorithmus entdeckt, der schneller ist als der Strassen-Algorithmus. Demis Hassabis sagte, der neue Algorithmus habe das Potenzial, die Effizienz bei Billionen Berechnungen pro Tag um 10 bis 20 % zu steigern.
AlphaTensor ist ein Sprung von Spielen zur Mathematik und basiert auf AlphaZero, einem Allzweck-Brettspiel-KI-System, das 2018 von Deepmind veröffentlicht wurde. Um AlphaTensor zu trainieren, hat das Deepmind-Forschungsteam ein Matrixmultiplikationsproblem in ein 3D-Brettspiel umgewandelt, wobei jeder Schritt die Bausteine eines neuen Algorithmus liefert. AlphaTensor wird dafür belohnt, dass es in möglichst wenigen Schritten neue Algorithmen generiert, indem es jedes Mal aus Zehntausenden von Bewegungen auswählt. Deepmind nennt dies ein „Tensorspiel“.
In einer 5×5-Eingabematrix hat AlphaTensor unabhängig den Strassen-Algorithmus und andere bekannte Algorithmen entdeckt. Außerdem wurden neue Algorithmen entwickelt, die effizienter sind als die alten.
Zum Beispiel wurde die 5×5-Matrixmultiplikation (n=4) früher in 80 Schritten berechnet, aber der neue Algorithmus von AlphaTensor erfordert nur 76 Schritte; wenn n=5, reduziert AlphaTensor die Lösung von ursprünglich 98 Schritten auf 96 Schritte. Die 4×4-Matrixmultiplikation wird von Strassen auf 49 Schritte reduziert und von AlphaTensor auf 47 Schritte optimiert. Diese Effizienz wird durch mehr als 70 von AlphaTensor generierte Algorithmen zur Matrixmultiplikation erreicht.
Hinweis: Vergleich der von AlphaTensor entdeckten Algorithmuskomplexität mit bekannten Matrixmultiplikationsalgorithmen
Außerdem AlphaTensor kann auch hardwarespezifische Algorithmen für den Einsatz beim maschinellen Lernen entwickeln. Es soll derzeit 20 % schneller laufen als Algorithmen auf Google TPUs und NVIDIA V100s.
Es ist für Menschen schwierig, den Multiplikationsalgorithmus selbstständig an die Hardware anzupassen, daher schafft AlphaTensor durch die Verbesserung des Strassen-Algorithmus eine neue Obergrenze für die 4×4-Matrix Multiplikation, Es ist ein großartiger Beweis dafür, dass der KI-Fortschritt anderen Disziplinen helfen kann. Es zeigt auch, dass das AlphaZero-System, das ursprünglich für traditionelle Spiele entwickelt wurde, mathematische Probleme außerhalb der Domäne lösen kann.
In der neuesten Forschung von Manuel Kauers und Jakob Moosbauer, Sie Sie machten hauptsächlich zwei neue Entdeckungen: Für die 4×4-Matrix schlugen sie einen weiteren 47-Schritte-Multiplikationsalgorithmus vor, der sich jedoch von der vorherigen Lösung unterschied. Zweitens schlugen sie für die 5×5-Matrix erstmals eine Lösung vor . Ein Schema, das 95 Multiplikationsschritte erfordert.
In diesem Artikel demonstriert der Autor kurz die beiden Matrixmultiplikationsschemata. In Kürze wird ein formelles Papier veröffentlicht, um die Suchtechnologie des Lösungsalgorithmus detaillierter vorzustellen. .
Das neue Schema für die 4 × 4-Matrix enthält insgesamt 47 Multiplikationen, wie folgt:
#🎜🎜 ##🎜🎜 #
# 🎜🎜## 🎜🎜# 
Wenn man bedenkt, dass die GPU jeden Tag Billionen von Matrixberechnungen durchführt, also von 98 Schritte auf 96 Schritte und von 96 Schritten Eine scheinbar kleine inkrementelle Verbesserung wie Schritt 95 kann tatsächlich die Recheneffizienz erheblich verbessern und es KI-Anwendungen ermöglichen, schneller auf vorhandener Hardware zu laufen.
Über den Autor:Manuel Kauers, Professor für Algebra an der Johannes Kepler Universität Linz, Direktor von das Institut für Algebra der Universität. Seine Forschungsinteressen sind Computeralgebra, symbolische Summation und Integration, spezielle Funktionsidentitäten usw.
Jakob Moosbauer, Doktorand am Institut für Algebra der Johannes Kepler Universität Linz.
Das obige ist der detaillierte Inhalt vonMenschen überholen KI: Eine Woche nachdem DeepMind mithilfe von KI den 50-Jahres-Rekord für die Geschwindigkeit von Matrixmultiplikationsberechnungen gebrochen hatte, brachen Mathematiker ihn erneut. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
