Al Agent – ​​Eine wichtige Implementierungsrichtung im Zeitalter großer Modelle

1. Die Gesamtarchitektur des LLM-basierten Agenten

Die Zusammensetzung des großen Sprachmodells Agent ist hauptsächlich in die folgenden 4 Module unterteilt:

1. Porträtmodul: beschreibt hauptsächlich den Hintergrund Informationen des Agenten

Im Folgenden werden der Hauptinhalt und die Generierungsstrategie des Porträtmoduls vorgestellt.

Porträtinhalte basieren hauptsächlich auf drei Arten von Informationen: demografische Informationen, Persönlichkeitsinformationen und soziale Informationen.

Generierungsstrategie: 3 Strategien werden hauptsächlich zum Generieren von Porträtinhalten verwendet:

• Manuelle Entwurfsmethode: Schreiben Sie den Inhalt des Benutzerporträts auf eine bestimmte Weise in die Eingabeaufforderung des großen Modells; anwendbar auf die Nummer von Agenten Relativ wenige Situationen;
• Methode zur Generierung großer Modelle: Geben Sie zunächst eine kleine Anzahl von Porträts an und verwenden Sie diese als Beispiele. Verwenden Sie dann ein großes Sprachmodell, um weitere Porträts zu generieren Agenten;
• Datenausrichtungsmethode: Es ist notwendig, die Hintergrundinformationen der Zeichen im vorab festgelegten Datensatz als Eingabeaufforderung des großen Sprachmodells zu verwenden und dann entsprechende Vorhersagen zu treffen.

2. Speichermodul: Der Hauptzweck besteht darin, das Verhalten des Agenten aufzuzeichnen und Unterstützung für zukünftige Entscheidungen des Agenten bereitzustellen. kein Langzeitgedächtnis.

Hybrides Gedächtnis: Langzeitgedächtnis und Kurzzeitgedächtnis kombiniert.

• Speicherform: Basiert hauptsächlich auf den folgenden 4 Formen.
• Sprache

Datenbank

• Vektordarstellung
• Liste
• Speicherinhalt: Die folgenden 3 gängigen Operationen sind:
• Gedächtnislesen

Gedächtnisschreiben

• Gedächtnisreflexion
• 3. Planungsmodul
• Planung ohne Feedback: großes Sprachmodell im Prozess der Schlussfolgerung Keine Rückmeldung von Die äußere Umgebung ist erforderlich. Diese Art der Planung wird weiter in drei Typen unterteilt: einkanalbasiertes Denken, bei dem ein großes Sprachmodell nur einmal verwendet wird, um die Schritte des mehrkanaligen Denkens vollständig auszugeben, basierend auf der Idee des Crowdsourcing; Ermöglichen Sie dem großen Sprachmodell, mehrere Gründe für den Pfad zu generieren und den besten Pfad zu bestimmen.

Planung mit Feedback: Diese Planungsmethode erfordert Feedback von der externen Umgebung, und das große Sprachmodell erfordert Feedback von der Umgebung für den nächsten Schritt und die anschließende Planung. Anbieter dieser Art von Planungsfeedback kommen aus drei Quellen: Umgebungsfeedback, menschliches Feedback und Modellfeedback.

• 4. Aktionsmodul
• Aktionsziele: Einige Agentenziele bestehen darin, eine Aufgabe zu erledigen, andere darin, zu kommunizieren und andere darin, sie zu erkunden.

Aktionsgenerierung: Einige Agenten verlassen sich auf den Speicherabruf, um Aktionen zu generieren, und andere führen bestimmte Aktionen gemäß dem ursprünglichen Plan aus.

• Aktionsraum: Einige Aktionsräume sind eine Sammlung von Werkzeugen, andere basieren auf dem eigenen Wissen des großen Sprachmodells und betrachten den gesamten Aktionsraum aus der Perspektive des Selbstbewusstseins.
• Aktionsauswirkungen: einschließlich der Auswirkungen auf die Umwelt, der Auswirkungen auf den inneren Zustand und der Auswirkungen auf neue Aktionen in der Zukunft.
• Das Obige ist der Gesamtrahmen von Agent. Weitere Informationen finden Sie in den folgenden Artikeln:
• Lei Wang, Chen Ma, Xueyang Feng, Zeyu Zhang, Hao Yang, Jingsen Zhang, Zhiyuan Chen , Jiakai Tang, Xu Chen, Yankai Lin, Wayne Xin Zhao, Zhewei Wei, Ji-Rong Wen: Eine Umfrage zu auf großen Sprachmodellen basierenden autonomen Agenten

  2. Wichtige und schwierige Probleme des LLM-basierten Agenten

  

  Zu den wichtigsten und schwierigen Problemen des aktuellen großen Sprachmodells gehören:

  1 Wie man die Rollenspielfähigkeiten des Agenten verbessert

  Agent Die wichtigste Funktion besteht darin, bestimmte Aufgaben zu erledigen oder verschiedene Simulationen abzuschließen, indem er eine bestimmte Rolle spielt. Daher ist die Rollenspielfähigkeit des Agenten von entscheidender Bedeutung.

  (1) Definition der Agent-Rollenspielfähigkeit

  Die Agent-Rollenspielfähigkeit ist in zwei Dimensionen unterteilt:

  • Charakter- und Agent-Verhaltensbeziehung
  • Charakterentwicklungsmechanismus im Umgebung

  (2) Bewertung der Rollenspielfähigkeit des Agenten

  Nach der Definition der Rollenspielfähigkeit besteht der nächste Schritt darin, die Rollenspielfähigkeit des Agenten anhand der folgenden zwei Aspekte zu bewerten:

  • Indikatoren zur Rollenspielbewertung
  • Szenario zur Rollenspielbewertung

  (3) Verbesserung der Rollenspielfähigkeit des Agenten

  Auf der Grundlage der Bewertung die Rollenspielfähigkeit des Agenten Es gibt zwei Arten: Methode:

  • Verbesserung der Rollenspielfähigkeiten durch Eingabeaufforderungen: Der Kern dieser Methode besteht darin, die Fähigkeiten des ursprünglichen großen Sprachmodells durch die Gestaltung von Eingabeaufforderungen zu stimulieren
  Verbesserung der Rollenspielfähigkeiten durch Feinabstimmung: Diese Methode basiert normalerweise auf der Verwendung externer Daten, um das große Sprachmodell erneut zu verfeinern, um die Rollenspielfähigkeiten zu verbessern.
  2. Wie man den Agent-Speichermechanismus entwirft

  Der größte Unterschied zwischen Agent und großem Sprachmodell besteht darin, dass sich der Agent in der Umgebung kontinuierlich weiterentwickeln und selbst lernen kann sehr wichtiger Rollencharakter von. Analysieren Sie den Speichermechanismus des Agenten aus drei Dimensionen:

  (1) Design des Agentenspeichermechanismus

  Es gibt zwei gängige Speichermechanismen:

  Speichermechanismus basierend auf Vektorabruf
  Speichermechanismus basierend auf der LLM-Zusammenfassung
  • Bewertungsszenario
  (3) Entwicklung des Agentenspeichermechanismus
  Abschließend muss die Entwicklung des Agentenspeichermechanismus analysiert werden, einschließlich:
  • „Entwicklung des Speichermechanismus“
    • Definition und Zerlegung von Unteraufgaben
    • Optimale Reihenfolge der Aufgabenausführung

    (2) Integration von Agentenbegründung und externem Feedback

    Entwerfen Sie den Integrationsmechanismus von externem Feedback in Der Argumentationsprozess: Lassen Sie den Agenten und die Umgebung ein interaktives Ganzes bilden Andererseits muss der Agent in der Lage sein, Fragen zu stellen und nach Lösungen für die externe Umgebung zu suchen. 4. So entwerfen Sie einen effizienten Mechanismus für die Zusammenarbeit mit mehreren Agenten
    • (2) Multi-Agenten-Debattiermechanismus
    • Agenten debattieren über Mechanismusdesign
    Agenten debattieren über die Bestimmung der Konvergenzbedingung
    • 3 Basierend auf großen Sprachmodellen Verhaltenssimulationsagent

    Hier sind einige tatsächliche Fälle von Agent. Der erste ist ein Agent zur Simulation des Benutzerverhaltens, der auf einem großen Sprachmodell basiert. Dieser Agent ist auch eine frühe Arbeit bei der Kombination großer Sprachmodellagenten mit der Analyse des Benutzerverhaltens. In dieser Arbeit ist jeder Agent in drei Module unterteilt:

    1. Das Porträtmodul
    • spezifiziert verschiedene Attribute für verschiedene Agenten, wie z. B. ID, Name, Beruf, Alter, Interessen, Eigenschaften usw. 2. Gedächtnismodul beobachtet Rohbeobachtungen Nach der Verarbeitung werden Beobachtungen mit höherem Informationsgehalt generiert und im Kurzzeitgedächtnis gespeichert.
    • Die Speicherzeit des Kurzzeitgedächtnisinhalts ist relativ kurz. (3) Langfristig Gedächtnis

    Nach wiederholter Auslösung und Aktivierung werden die Inhalte des Kurzzeitgedächtnisses automatisch in das Langzeitgedächtnis übertragen. Die Speicherzeit von Langzeitgedächtnisinhalten ist relativ lang Raffinesse.

    • 3. Aktionsmodul
    • Jeder Agent kann drei Aktionen ausführen:

    Das Verhalten des Agenten im Empfehlungssystem, einschließlich Ansehen von Filmen, Finden der nächsten Seite und Verlassen des Empfehlungssystems usw ;

    Konversationsverhalten zwischen Agenten

    

    Posting-Verhalten des Agenten in sozialen Medien.

    Während des gesamten Simulationsprozesses kann ein Agent in jeder Aktionsrunde ohne äußere Einmischung drei Aktionen frei wählen. Wir können sehen, dass verschiedene Agenten miteinander sprechen und auch verschiedene Verhaltensweisen in sozialen Medien autonom generieren oder Empfehlungssysteme; nach mehreren Simulationsrunden lassen sich einige interessante soziale Phänomene sowie die Regeln des Nutzerverhaltens im Internet beobachten.

    Weitere Informationen finden Sie in den folgenden Dokumenten:

    Lei Wang, Jingsen Zhang, Hao Yang, Zhiyuan Chen, Jiakai Tang, Zeyu Zhang, Xu Chen, Yankai Lin, Ruihua Song, Wayne Xin Zhao, Jun Xu, Zhicheng Dou, Jun Wang, Ji-Rong Wen: Wenn große Sprache Modellbasierter Agent trifft auf Benutzerverhaltensanalyse: Ein neuartiges Benutzersimulationsparadigma Mehrere Agenten führen die Softwareentwicklung durch. Diese Arbeit ist auch eine frühe Arbeit der Zusammenarbeit mit mehreren Agenten und ihr Hauptzweck besteht darin, verschiedene Agenten zu verwenden, um eine vollständige Software zu entwickeln. Daher kann es als Softwareunternehmen betrachtet werden, und verschiedene Agenten spielen unterschiedliche Rollen: Einige Agenten sind für das Design verantwortlich, darunter CEO, CTO, CPO und andere Rollen, und einige Agenten sind hauptsächlich für die Codierung verantwortlich Darüber hinaus wird es einige Agenten geben, die für das Verfassen von Dokumenten verantwortlich sind. Auf diese Weise sind verschiedene Agenten für unterschiedliche Aufgaben verantwortlich. Schließlich wird der Kooperationsmechanismus zwischen Agenten durch Kommunikation koordiniert und aktualisiert, und schließlich wird ein vollständiger Softwareentwicklungsprozess abgeschlossen. 5. Zukünftige Richtungen von LLM-basierten Agenten MetaGPT, ChatDev, Ghost, DESP usw.

    Diese Art von Agent sollte letztendlich ein „Superman“ sein, der auf die richtigen menschlichen Werte ausgerichtet ist, mit zwei „Qualifizierern“:

    Ausgerichtet auf die richtigen menschlichen Werte

    Über gewöhnliche menschliche Fähigkeiten hinaus.

    Simulieren Sie die reale Welt, z. B. Generative Agent, Social Simulation, RecAgent usw.

    Die für diesen Agententyp erforderlichen Fähigkeiten sind völlig entgegengesetzt zum ersten Typ.

    Erlauben Sie Agenten, unterschiedliche Werte zu vertreten.

    Ich hoffe, dass Agenten ihr Bestes geben sollten, um sich an gewöhnliche Menschen anzupassen, anstatt über gewöhnliche Menschen hinauszugehen.

    Darüber hinaus weist das aktuelle große Sprachmodell Agent die folgenden zwei Schwachstellen auf:
    • 
      IllusionsproblemDa der Agent kontinuierlich mit der Umgebung interagieren muss, wird die Illusion jedes Schritts angesammelt Das heißt, es wird einen kumulativen Effekt geben, der das Problem noch ernster macht. Daher muss hier der Illusion großer Modelle mehr Aufmerksamkeit geschenkt werden. Die Lösungen umfassen:
      Entwerfen eines effizienten Mensch-Maschine-Kollaborationsrahmens;
      Entwerfen
    • eines effizienten menschlichen Interventionsmechanismus.
      EffizienzproblemeWährend des Simulationsprozesses ist die Effizienz ein sehr wichtiges Thema. Die folgende Tabelle fasst den Zeitaufwand verschiedener Agenten mit unterschiedlichen API-Nummern zusammen.
      
      Das Obige ist der Inhalt, der dieses Mal geteilt wurde. Vielen Dank an alle.