Article DeepMind publié dans Nature : un problème qui préoccupe les mathématiciens depuis des décennies, un grand modèle trouve une nouvelle solution

En tant que technologie de pointe dans le domaine de l'intelligence artificielle cette année, les grands modèles de langage (LLM) sont efficaces pour combiner des concepts et aider les gens à résoudre des problèmes par la lecture, la compréhension, l'écriture et le codage. Mais peuvent-ils découvrir des connaissances entièrement nouvelles ?

Exploiter le LLM pour une découverte vérifiablement correcte est une tâche difficile étant donné qu'il a été démontré que le LLM souffre du problème des « hallucinations », c'est-à-dire qu'il génère des informations incompatibles avec les faits

Maintenant, de Google DeepMind L'équipe de recherche a proposé une nouvelle façon de rechercher des solutions aux problèmes mathématiques et informatiques - FunSearch. FunSearch fonctionne en associant un LLM pré-formé (qui fournit des solutions créatives sous forme de code informatique) à un « évaluateur » automatique pour éviter les hallucinations et les idées fausses. En itérant entre ces deux composants, la solution initiale évolue vers de « nouvelles connaissances ». Un article connexe a été publié dans la revue Nature.

Adresse papier : https://www.nature.com/articles/s41586-023-06924-6

Ce travail est le premier à utiliser le LLM sur un problème ouvert difficile en sciences ou en mathématiques Faites de nouvelles découvertes.

FunSearch découvre de nouvelles solutions au problème du cap set, un problème persistant non résolu en mathématiques. De plus, DeepMind utilise également cette solution pour explorer des algorithmes plus efficaces afin de résoudre le problème du « boxing », largement utilisé dans de nombreux domaines, comme l'amélioration de l'efficacité des centres de données. Démontrer la valeur pratique de FunSearch

L'équipe de recherche estime que FunSearch deviendra un outil scientifique particulièrement puissant car les programmes qu'il produit révèlent comment leurs solutions sont construites, et pas seulement quelles sont les solutions. Cela stimulera les connaissances des scientifiques, créant ainsi un cercle vertueux d’amélioration et de découverte scientifiques.

Driver la découverte grâce à l'évolution des modèles linguistiques

FunSearch utilise un algorithme évolutif optimisé par LLM pour encourager et piloter les idées et les idées les plus performantes. Ces idées et idées peuvent être exprimées sous forme de programmes informatiques afin qu'elles puissent être automatiquement exécutées et évaluées

Tout d'abord, l'utilisateur doit rédiger la description du problème sous forme de code. Cette description doit inclure le processus d'évaluation du programme et le programme de départ utilisé pour initialiser le pool de programmes

FunSearch est un processus itératif. À chaque itération, le système sélectionne certains programmes dans le pool de programmes actuel et les transmet à LLM. LLM s'appuie sur cette base et génère de nouveaux programmes, qui sont ensuite automatiquement évalués. Les meilleurs programmes seront ajoutés à la bibliothèque existante, créant ainsi un cycle d'auto-amélioration. FunSearch utilise PaLM 2 de Google, mais est également compatible avec d'autres méthodes entraînées par le code

LLM récupère le meilleur programme généré à partir d'une base de données de programmes et est invité à générer un meilleur programme.

Comme nous le savons tous, explorer de nouvelles connaissances mathématiques et de nouveaux algorithmes dans divers domaines est une tâche très difficile, qui dépasse souvent les capacités des systèmes d'intelligence artificielle les plus avancés actuels. Pour que FunSearch soit à la hauteur, l'équipe de recherche a introduit plusieurs éléments clés. FunSearch ne part pas de zéro, mais part du bon sens du problème et utilise un processus évolutif pour se concentrer sur la recherche des idées les plus critiques afin de réaliser de nouvelles découvertes

De plus, le processus évolutif de FunSearch utilise une stratégie pour augmenter la diversité d'idées pour éviter la stagnation. Enfin, pour accroître l’efficacité du système, le processus d’évolution se déroule en parallèle.

Innover en mathématiques

DeepMind a déclaré que la première chose qu'ils voulaient résoudre était le problème Cap set, un problème ouvert qui a intrigué les mathématiciens dans plusieurs domaines de recherche pendant des décennies. Le célèbre mathématicien Terence Tao l’a décrit un jour comme son problème ouvert préféré. DeepMind a choisi de travailler avec Jordan Ellenberg, professeur de mathématiques à l'Université du Wisconsin-Madison, qui a constitué une avancée importante dans le problème de l'ensemble Cap.

Un problème important est de trouver le plus grand ensemble de points (appelé « ensemble de plafonds ») dans une grille de grande dimension de telle sorte qu'aucun point de celle-ci ne soit colinéaire. L’importance de ce problème est qu’il peut servir de modèle à d’autres problèmes de combinatoire extrême. La combinatoire extrême étudie la taille minimale ou maximale que peuvent avoir les collections, qui peuvent être des nombres, des graphiques ou d'autres objets. Les solutions par force brute ne résoudront pas ce problème - le nombre de possibilités à considérer dépassera rapidement le nombre d'atomes dans l'univers

Les solutions générées par programme de FunSearch ont dans certains cas découvert les plus grands ensembles de plafonds jamais créés. Il s’agit de la plus forte augmentation de la taille du capital fixé au cours des 20 dernières années. De plus, FunSearch surpasse les solveurs informatiques de pointe car l'ampleur du problème dépasse de loin leurs capacités actuelles.

Graphique interactif montrant l'évolution du programme de semences (en haut) vers la nouvelle fonction de score élevé (en bas). Chaque cercle représente un programme et sa taille est proportionnelle à la note qui lui est attribuée. Seuls les supérieurs du programme inférieur sont représentés sur la figure. La fonction correspondante générée par FunSearch pour chaque nœud est affichée à droite.

Ces résultats montrent que la technologie FunSearch peut permettre aux humains d'aller au-delà des résultats établis sur des problèmes combinatoires difficiles où il est difficile de construire l'intuition. DeepMind espère que cette approche jouera un rôle dans de nouvelles découvertes sur des problèmes théoriques similaires en combinatoire et, à l'avenir, apportera de nouvelles possibilités dans des domaines tels que la théorie de la communication.

FunSearch préfère les programmes concis et compréhensibles par l'homme

Bien que la découverte de nouvelles connaissances mathématiques soit importante en soi, la méthode FunSearch démontre également d'autres avantages par rapport aux techniques de recherche informatique traditionnelles. En effet, FunSearch n’est pas une boîte noire qui génère uniquement des solutions à des problèmes. Au lieu de cela, il génère des programmes qui décrivent comment ces solutions ont été obtenues. Ce type de « démonstration de votre travail » est généralement la manière dont les scientifiques travaillent, expliquant de nouvelles découvertes ou de nouveaux phénomènes en décrivant les processus qui les ont donnés naissance.

FunSearch préfère trouver des solutions avec une complexité de Kolmogorov inférieure, qui représentent des programmes très compacts. La complexité de Kolmogorov fait référence à la longueur du programme informatique le plus court nécessaire pour générer une solution. En utilisant des programmes courts, FunSearch peut décrire des objets très volumineux et ainsi traiter des problèmes très complexes. De plus, cela permet également aux chercheurs de comprendre plus facilement les résultats du programme générés par FunSearch. Ellenberg a déclaré : "FunSearch fournit un tout nouveau mécanisme pour développer des stratégies de frappe. Les solutions générées via FunSearch sont conceptuellement plus riches qu'une simple liste de chiffres. J'ai appris quelque chose en les étudiant."

Plus important encore, cette interprétabilité de FunSearch. Le programme peut fournir aux chercheurs des informations exploitables. Par exemple, en utilisant FunSearch, DeepMind a remarqué des symétries intrigantes dans le code de certaines de ses sorties les plus performantes. Cela a donné à DeepMind une nouvelle compréhension du problème, qu'ils ont utilisée pour améliorer le problème introduit par FunSearch afin de trouver une meilleure solution. DeepMind estime qu'il s'agit d'un excellent exemple de collaboration humaine avec FunSearch sur de nombreux problèmes mathématiques.

Gauche : en inspectant le code généré par FunSearch, DeepMind a obtenu des informations plus exploitables (mis en surbrillance). À droite : l'ensemble "acceptable" original construit à l'aide du programme (plus court) de gauche.

Résoudre un problème informatique bien connu

Inspiré par le succès du problème théorique de l'ensemble de plafonds, DeepMind a décidé d'appliquer FunSearch à un défi pratique important en informatique : le problème de l'emballage des bacs. Explorez sa flexibilité. Le problème de l’emballage concerne la manière d’emballer des articles de différentes tailles dans un nombre minimum de boîtes. Il est au cœur de nombreux problèmes concrets, depuis les conteneurs maritimes transportant des objets jusqu'à la répartition du travail informatique dans les centres de données, où les coûts doivent être minimisés.

Généralement, la résolution des problèmes de regroupement en ligne utilise des règles algorithmiques heuristiques basées sur l'expérience humaine. Cependant, élaborer un ensemble de règles pour chaque situation spécifique (variant en taille, en durée ou en capacité) est très difficile. Bien que très différent du problème du cap set, il est très simple de résoudre ce problème en utilisant FunSearch. FunSearch fournit un programme automatiquement personnalisé qui peut s'adapter aux données en fonction de la situation spécifique, et il peut utiliser moins de cases pour charger le même nombre d'éléments par rapport aux heuristiques existantes

Utilisation des heuristiques existantes Exemple de binning utilisant le Heuristique la mieux adaptée (à gauche) et heuristique découverte par FunSearch (à droite).

Des problèmes combinatoires complexes tels que le regroupement en ligne peuvent être résolus à l'aide d'autres méthodes d'intelligence artificielle, telles que les réseaux neuronaux et l'apprentissage par renforcement. Ces méthodes se sont également révélées efficaces, mais leur déploiement peut également nécessiter des ressources importantes. D'un autre côté, FunSearch produit un code facile à inspecter et à déployer, ce qui signifie que ses solutions ont le potentiel d'être appliquées à une variété de systèmes industriels réels, apportant rapidement des avantages.

DeepMind : L'utilisation de grands modèles pour relever des défis scientifiques deviendra une pratique courante

FunSearch prouve que si l'on peut empêcher les LLM d'halluciner, la puissance de ces modèles peut être utilisée non seulement pour générer de nouvelles découvertes mathématiques, mais aussi pour révéler des solutions potentielles importantes à des problèmes du monde réel.

DeepMind estime que pour de nombreux problèmes scientifiques et industriels – anciens et nouveaux – l’utilisation de méthodes basées sur le LLM pour générer des algorithmes efficaces et personnalisés deviendra une pratique courante.

En fait, ce n'est que le début. Au fur et à mesure que LLM continue de progresser, FunSearch continuera de s'améliorer. DeepMind a déclaré qu'ils s'efforceraient également d'étendre ses capacités afin de relever une variété de défis scientifiques et techniques urgents dans la société.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!