OpenDevin이 대형 모델 에이전트 개발자가 꼭 읽어야 할 기술 보고서를 발표했습니다.

Les auteurs ont construit une bibliothèque AgentSkills, une boîte à outils conçue pour améliorer les capacités des agents, fournissant des utilitaires non facilement disponibles avec les commandes bash de base ou le code python.

Interaction multi-agents

OpenDevin permet à plusieurs agents d'interagir. Pour y parvenir, les auteurs ont utilisé un type d'action spécial, AgentDelegateAction, qui permet à un agent de déléguer des sous-tâches spécifiques à un autre agent.

Évaluation

Cette section compare OpenDevin (abrégé en OD dans les résultats expérimentaux suivants) avec des méthodes de base reproductibles open source. Ces 15 benchmarks couvrent des tâches telles que l'ingénierie logicielle, la navigation Web, etc.

Le tableau 3 montre que même si l'agent OpenDevin n'atteint pas des performances optimales dans chaque catégorie, il est conçu dans un souci de généralité.

Le Tableau 4 rapporte les résultats de l'agent sur des benchmarks d'ingénierie logicielle.

Plus précisément :

SWE-bench est conçu pour évaluer la capacité d'un agent à résoudre les problèmes de GitHub, tels que les rapports de bogues ou les demandes de fonctionnalités. Comme le montre le tableau 4, la dernière version de CodeActAgent v1.8 présentée dans cet article, basée sur Claude-3.5-sonnet, présente un taux de résolution de problèmes allant jusqu'à 26 % par rapport à d'autres agents open source spécifiquement utilisés pour le développement de logiciels.

HumanEvalFix. OpenDevin CodeActAgent a corrigé avec succès 79,3 % des erreurs dans les divisions Python, surpassant considérablement toutes les méthodes non-agent et doublant presque les performances de StarCoder2-15B.

L'agent OpenDevin basé sur GPT-4o a atteint le taux de réussite le plus élevé de 76,47 % sur ML-Bench, ce qui est meilleur que SWE-Agent (42,64 %).

Gorilla APIBench examine la capacité d'un agent à utiliser les API. OpenDevin utilisant GPT-4o atteint un taux de réussite de 36,4 %, surpassant les références qui ne sont pas spécifiquement adaptées aux appels d'API.

ToolQA évalue la capacité d’un agent à utiliser des outils externes. OpenDevin avec GPT-4o affiche les performances les plus élevées par rapport à toutes les références. L'agent a obtenu de meilleurs résultats dans les tâches liées à l'utilisation des outils CSV et de base de données, mais avait besoin d'amélioration dans l'utilisation des outils mathématiques et de calculatrice.

Le tableau 5 rapporte les résultats de l'évaluation sur le benchmark de navigation Web.

Le tableau 6 présente les résultats de divers benchmarks auxiliaires.

Parmi eux, GAIA est utilisé pour évaluer la capacité de l'agent à résoudre des tâches générales. Les résultats montrent que l'agent a obtenu un score de 32,1 sur GAIA, ce qui est significativement amélioré par rapport à l'AutoGPT d'origine.

GPQA est utilisé pour évaluer la capacité d'un agent à coordonner l'utilisation d'outils tout en résolvant des problèmes difficiles de niveau universitaire. Les résultats sont présentés dans les tableaux 6 et 7. OpenDevin intègre des fonctions qui prennent en charge l'utilisation de plusieurs outils et de recherche sur le Web, permettant à l'agent de mieux résoudre des problèmes complexes en plusieurs étapes.

Pour plus de résultats, veuillez vous référer à l'article original.