Singapour publie le modèle arithmétique d'IA Goat, avec des capacités supérieures à GPT-4

DoNews a rapporté le 7 juin que la plus grande lacune du modèle GPT-4 actuel est principalement sa capacité arithmétique. Puisque la capacité de raisonnement logique du modèle doit être améliorée, GPT-4 ne peut pas résoudre même ce que beaucoup de gens considèrent comme relativement simple. problèmes de calcul. Résultat correct.

Des chercheurs de l'Université nationale de Singapour ont récemment lancé un modèle appelé Goat, conçu pour résoudre des problèmes arithmétiques. Cette nouvelle a été rapportée par IT House. Les chercheurs ont déclaré qu '"après avoir affiné le modèle LLaMA, Goat a obtenu une précision mathématiquement plus élevée et de meilleures performances que GPT-4".

Les chercheurs ont proposé une nouvelle méthode pour classer les tâches en fonction des types d'arithmétique apprenables, puis utiliser les principes arithmétiques de base pour décomposer les tâches non apprenables en une série de tâches apprenables (IT Home Note : Processus de calcul complexes, décomposez-les en étapes simples) et puis importez le modèle AI.

Cette nouvelle méthode permet au modèle d'apprendre le modèle de réponse et de généraliser le processus à des données invisibles, plutôt que de s'appuyer uniquement sur le pur « calcul de mémoire de poids ». Par conséquent, elle peut améliorer efficacement les performances arithmétiques et peut être utilisée dans l'apprentissage à échantillon nul. La « précision quasi parfaite » génère des réponses pour l'addition et la soustraction de grands nombres.

Les chercheurs se sont entraînés sur un GPU doté de 24 Go de mémoire vidéo et ont testé le modèle final à l'aide de la sous-tâche arithmétique BIG-bench. Les résultats de précision étaient exceptionnels, devant Bloom, GPT-NeoX, OPT et d'autres modèles de l'industrie.

La précision du Goat-7B à échantillon nul a même dépassé le modèle PaLM-540 après un apprentissage sur quelques échantillons, et a largement dépassé le GPT-4 dans un grand nombre de calculs.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!