J'ai publié arXiv il y a six mois, mais j'ai été accusé de plagiat : CAMEL vit dans l'ombre de Microsoft AutoGen

arXiv n'est pas une revue à comité de lecture, donc les articles publiés sur arXiv ne doivent pas être cités. Est-ce raisonnable ?

Si vous êtes intéressé par les agents IA, vous devez connaître AutoGen de Microsoft. Il s'agit d'un cadre de programmation open source pour la création d'agents IA qui permet à plusieurs agents de discuter pour résoudre des tâches. Parallèlement, l'agent LLM peut jouer plusieurs rôles, tels que programmeur, concepteur ou une combinaison de plusieurs rôles.

Sur GitHub, ce projet a reçu 28 000 étoiles et l'article a également remporté le prix du meilleur article lors de l'ICLR 2024 LLM Agent Workshop.

Cependant, il y a en fait une controverse derrière ce document.

En novembre 2023, un chercheur en IA (docteur de l'Université des sciences et technologies King Abdullah, Li Guohao, initiateur des projets open source Camel-AI.org et DeepGCNs.org) a publié cela parce qu'AutoGen est très similaire dans leur journal CAMEL , on leur demandera à chaque fois qu'ils assisteront à un événement, quelle est la différence entre les deux ?

À cet égard, Li Guohao s'est dit très impuissant, car leur article a été publié sur arXiv bien avant AutoGen, mais il est désormais considéré comme un imitateur d'AutoGen (CAMEL a été publié en mars 2023 ; AutoGen sorti en août 2023).

                                                                  ^{Lien papier : https://arxiv.org/abs/2303.17760}

                                   ^{Lien papier : https://arxiv.org/pdf/2308.08155}

Selon Li Guohao Les deux présentent les similitudes méthodologiques suivantes :

Même les exemples utilisés sont quelque peu similaires :

En tant que retardataire, AutoGen a mentionné CAMEL dans le journal, et a souligné certaines différences entre CAMEL et AutoGen. Mais l'endroit où cela apparaît est déroutant : tout est dans l'annexe. Cela peut également être une raison majeure pour laquelle d'autres chercheurs ne connaissent qu'AutoGen mais pas CAMEL. Après tout, combien de personnes liront attentivement l’annexe ?

Paragraphe mentionnant CAMEL dans l'article AutoGen : "CAMEL (Li et al., 2023b) est un cadre d'agent de communication qui montre comment utiliser le jeu de rôle pour permettre aux agents de chat de communiquer entre eux pour effectuer des tâches. CAMEL peut également enregistrer les conversations des agents pour l'analyse comportementale et la compréhension des capacités. CAMEL utilise une technologie « d'invite de démarrage » pour parvenir à une coopération autonome entre les agents. Contrairement à AutoGen, CAMEL ne prend pas en charge nativement l'utilisation d'outils (tels que l'exécution de code). Bien que CAMEL soit proposé comme infrastructure de dialogue multi-agents, il ne prend en charge que les modes de dialogue statiques, alors qu'AutoGen prend également en charge les modes de dialogue dynamiques. "

^{Tabelle 1 fasst die Unterschiede zwischen AutoGen und anderen verwandten Multiagenten zusammen, ausgehend von vier Indikatoren: Einer ist die Infrastruktur, das heißt, ob das System als gemeinsame Infrastruktur für die Erstellung von LLM-Anwendungen konzipiert ist; der andere ist der Dialog Modus, d. h. die vom System unterstützten Modustypen. Im „statischen“ Modus bleibt die Agententopologie unabhängig von der Eingabe unverändert. AutoGen ermöglicht flexible Konversationsmodi, einschließlich statischer und dynamischer Modi, die an unterschiedliche Anwendungsanforderungen angepasst werden können. Das dritte ist die Ausführbarkeit, das heißt, ob das System den von LLM generierten Code ausführen kann; das vierte ist die manuelle Beteiligung, ob (und wie) das System es Menschen ermöglicht, am Ausführungsprozess teilzunehmen. AutoGen ermöglicht es Menschen, flexibel an Gesprächen mit mehreren Agenten teilzunehmen, und ermöglicht es Menschen, auf die Eingabe von Eingaben zu verzichten.}

Absatz aus dem AutoGen-Papier, in dem CAMEL erwähnt wird: „AutoGen kann dabei helfen, hochleistungsfähige Agenten zu entwickeln, die LLM, Tools und Menschen voll ausnutzen. Die Erstellung solcher Agenten ist entscheidend, um sicherzustellen, dass dies der Fall ist.“ Entscheidend für die effektive Fehlerbehebung und den Fortschritt bei Aufgaben ist, dass CAMEL, ein weiteres Multi-Agent-LLM-System, in den meisten Fällen nicht in der Lage war, Probleme effektiv zu lösen, was hauptsächlich auf die fehlenden Ausführungstools oder Codefunktionen zurückzuführen ist dass einfaches Rollenspiel-LLM und Multi-Agenten-Dialog nicht ausreichen und es auch fortgeschrittene, fähige Agenten mit unterschiedlichen Fähigkeiten geben muss. Wir glauben, dass eine systematischere Arbeit zur Entwicklung spezifischer Anwendungen erforderlich ist Wissensbasis und erstellen Sie einen Agenten, der seine eigenen Fähigkeiten entdecken und verbessern kann

Während der Überprüfung von AutoGen, die der ICLR-Hauptkonferenz vorgelegt wurde, wies CAMEL-Autor Li Guohao im öffentlichen Kommentarbereich darauf hin, dass dies ein „. bemerkenswerte Unterlassung.“

In den Rezensionskommentaren für AutoGen wiesen ICLR-Rezensenten und Gebietsleiter auch auf die Unangemessenheit dieses Ansatzes hin.

Unter ihnen schrieb der Bereichsleiter: „Die Autoren diskutieren diese Arbeit im Anhang, aber dieser Ansatz ist nicht ratsam, da sich der Überprüfungsgrad der ergänzenden Materialien von dem des Papiers unterscheidet. Kurz gesagt, das scheint.“ Damit Autoren sagen können, dass sie den Artikel zitieren und diskutieren, aber nicht in den Teilen des Artikels zitieren und diskutieren, die 99 % der Leute wahrscheinlich lesen, ist diese Praxis besorgniserregend . Warum hat der Autor das getan? Sie antworteten: Als sie ihren Beitrag bei ICLR 2024 einreichten, waren Beiträge wie CAMEL noch nicht in einer von Experten begutachteten Konferenz/Zeitschrift veröffentlicht worden. Gemäß den Gutachterrichtlinien des ICLR 2024 sind sie nicht verpflichtet, dieses Papier zu zitieren oder mit ihm zu vergleichen (CAMEL wurde im September 2023 von NeurIPS 2023 angenommen; die Gutachterrichtlinien des ICLR 2024 sehen vor, dass nach dem 28. Mai 2023 veröffentlichte Arbeiten kein Zitieren erforderlich sind).

Gleichzeitig listeten sie die Teile des Papiers auf, an denen CAMEL beteiligt war:

Da die ICLR-Vorschriften an erster Stelle stehen, kann der Feldvorsitzende nicht viel sagen. Er schrieb: „Obwohl ich die Beweggründe hinter dieser Richtlinie verstehe, kann sie im aktuellen Veröffentlichungsklima zu seltsamen Ergebnissen führen. Ich werde dies aufgrund der ICLR-Richtlinien nicht in meine Entscheidung einbeziehen, aber dies wird mein Vertrauen verringern.“

Bezüglich Zu den von Li Guohao erwähnten Ähnlichkeiten lieferte der AutoGen-Autor auch ein Gegenargument:

Auf die von den Rezensenten gestellten Fragen antworteten sie wie folgt:

Abschließend: Die Ähnlichkeit zwischen und CAMEL und Die Zitierprobleme wurden vom Fachreferenten nicht als Hauptthemen in der Arbeit betrachtet. Allerdings wurde das AutoGen-Papier schließlich aus anderen Gründen abgelehnt (so dass der Autor später zum ICLR 2024 LLM Agent Workshop wechselte).

Laut Li Guohao trafen sich die Autoren der beiden Artikel tatsächlich offline, aber es passierten einige unangenehme Dinge:

Li Guohao hofft, durch Beiträge die Aufmerksamkeit der akademischen Gemeinschaft auf sich zu ziehen.

Was haltet ihr davon?

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!