Al Agent--大模型時代重要落地方向

WBOY
發布: 2024-04-15 09:10:01
轉載
937 人瀏覽過

一、LLM-based Agent 整體架構

Al Agent--大模型时代重要落地方向

#大語言模型Agent 的組成,主要分為以下4個模組:

1. 畫像模組:主要描述Agent 的背景資訊

下面介紹畫像模組的主要內容和產生策略。

畫像內容,主要基於 3 種資訊:人口統計資訊、個人資訊和社交資訊。

產生策略:主要採用3 種策略來產生畫像內容:

  • 手動設計方法:自行透過指定的方式,將使用者畫像的內容寫入大模型的 prompt 中;適用於 Agent 數量比較少的情況;
  • #大模型產生方法:首先指定少量畫像,並將其作為示例,進而使用大語言模型產生更多的畫像;適用於大量 Agent 的情況;
  • 資料對齊方法:需要根據事先指定的資料集中人物的背景資訊作為大語言模型的 prompt,進而做對應的預測。

2. 記憶模組:主要目的是記錄Agent 行為,並提供未來Agent 決策支援

記憶結構:

  • 統一記憶:只考慮短期記憶,不考慮長期記憶。
  • 混合記憶:長期記憶和短期記憶結合。

記憶形式:主要基於以下 4 種形式。

  • 語言
  • #資料庫
  • 向量表示
  • 列表

記憶內容:常見以下3 操作:

  • #記憶讀取
  • 記憶寫入

  • #記憶反思
#3. 規劃模組

  • 無需回饋的規劃:大語言模型在做推理的過程中無需外在環境的回饋。這類規劃進一步細分為三種:基於單路的推理,僅使用一次大語言模型就可以完整輸出推理的步驟;基於多路的推理,借鑒眾包的思想,讓大語言模型生成多個推理路徑,進而確定最佳路徑;借用外部的規劃器。
  • 有回饋的規劃:這種規劃方式需要外界環境提供回饋,而大語言模型需要基於環境的回饋進行下一步以及後續的規劃。這類規劃回饋的提供者來自三個面向:環境回饋、人類回饋和模型回饋。
  • 4. 動作模組
  • #動作目標:有些Agent 的目標是完成某個任務,有些是交流,有些是探索。
動作生成:有些 Agent 是依賴記憶回想產生動作,有些則是依照原有計畫執行特定的動作。

動作空間:有些動作空間是工具的集合,有些是基於大語言模型自身知識,從自我認知的角度考慮整個動作空間。

動作影響:包括對環境的影響、對內在狀態的影響,以及對未來新動作的影響。

############以上是Agent 的整體框架,更多內容可參考下述論文:############Lei Wang, Chen Ma, Xueyang Feng, Zeyu Zhang, Hao Yang, Jingsen Zhang, Zhiyuan Chen, Jiakai Tang, Xu Chen, Yankai Lin, Wayne Xin Zhao, Zhewei Wei, Ji-Rong Wen:A Survey on Large Language Model based Autonomous Agents. /2308.11432 (2023)#########################

二、LLM-based Agent 重點&困難問題

Al Agent--大模型时代重要落地方向

#目前大語言模型Agent 的重點和困難問題主要包括:

1. 如何提升Agent 的角色扮演能力

#Agent 最重要的功能是透過扮演某種角色,來完成特定的任務,或完成各種各樣的模擬,因此Agent 的角色扮演能力至關重要。

(1)Agent 角色扮演能力定義

#Agent 角色扮演能力分為兩個維度:

  • 角色與Agent 行為關係
  • #角色在環境中演化機制

(2)Agent 角色扮演能力評估

定義了角色扮演能力之後,接下來要對Agent 角色扮演能力,從以下兩個面向進行評估:

  • 角色扮演評估指標
  • 角色扮演評估場景

(3)Agent 角色扮演能力提升

#在評估的基礎上,需要進一步對Agent 的角色扮演能力進行提升,有以下兩種方法:

  • 透過Prompt 提升角色扮演能力:此方法本質是透過設計prompt 來激發原有大語言模型的能力;
  • 透過微調提升角色扮演能力:此方法通常是基於外部的數據,重新對大語言模型進行finetune,來提升角色扮演能力。

2. 如何設計Agent 記憶機制

Agent 和大語言模型最大的不同在於,Agent 能夠在環境中不斷進行自我演化和自我學習;而這其中,記憶機制扮演了非常重要的角色。從3 個維度分析Agent 的記憶機制:

##(1)Agent 記憶機制設計

常見有以下兩種記憶機制:

  • 基於向量檢索的記憶機制
  • #基於LLM 總結的記憶機制

(2)Agent 記憶能力評估

#對Agent 記憶能力的評估,主要需要確定以下兩點:

  • 評估指標
  • #評估場景

(3)Agent 記憶機制演化

最後需要對Agent 記憶機制演化進行分析,包括:#

  • 記憶機制的演化
  • #記憶機制的自主更新

3. 如何提升Agent 推理/規劃能力

(1)Agent 任務分解能力

  • 子任務定義與拆解
  • 任務執行最優順序

# (2)Agent 推理與外界回饋融合

  • 設計推理過程中外界回饋的融入機制:讓Agent 和環境形成互相互動的整體;
  • 提升Agent 對外界回饋的回應能力:一方面需要Agent 真實應對外界環​​境,另一方面需要Agent 能夠對外界環境提出問題並尋求解答。

4. 如何設計多Agent 高效率協同機制

(1)多Agents 合作機制

  • #Agents 不同角色定義
  • #Agents 合作機制設計

#(2)多Agents 辯論機制

Al Agent--大模型时代重要落地方向

#Agents 辯論機制設計

Agents 辯論收斂條件決定

  • 三、基於大語言模型的使用者行為模擬智能體

下面會舉出幾個Agent 的實際案例。首先是基於大語言模型的使用者行為模擬智能體。該智能體也是大語言模型智能體與使用者行為分析結合的早期工作。在該工作中,每個Agent 分為三個模組:

  • 1. 畫像模組
  • 對不同的Agent 指定不同的屬性,例如ID、姓名、職業、年齡、興趣以及特徵等。
  • 2. 記憶模組
  • #記憶模組包含三個子模組
  • (1)感受記憶

(2)短期記憶

    #將客觀觀測到的raw observation 處理後,產生資訊量更高的觀測,將其存放到短期記憶中;
  • #短期記憶內容的儲存時間比較短
  • (3)長期記憶
  • 短期記憶的內容經過反覆的觸發和激活後,會自動傳入到長期記憶中

長期記憶內容的儲存時間比較長

#########長期記憶的內容會根據現有的記憶進行自主的反思以及昇華提煉。 ##################3. 動作模組#############每個Agent 可以執行三個動作:####### ###########Agent 在推薦系統中的行為,包括觀看影片、尋找下一頁、離開推薦系統等;################# #Agent 之間的對話行為;##################Agent 在社群媒體上發佈的行為。 ##################在整個模擬過程中,一個Agent 在每一輪動作中均可自由地、不受外界幹預地選擇三種動作;我們可以看到不同Agent 之間會相互對話,也會在社群媒體或推薦系統中自主地產生各種各樣的行為;透過多輪模擬之後,可以觀察到一些有趣的社會現象,以及使用者在網路上行為的規律。 ############更多內容可參考下述論文:######

Lei Wang, Jingsen Zhang, Hao Yang, Zhiyuan Chen, Jiakai Tang, Zeyu Zhang, Xu Chen, Yankai Lin, Ruihua Song, Wayne Xin Zhao, Jun Xu, Zhicheng Dou, Jun Wang, Ji-Rong Wen :When Large Language Model based Agent Meets User Behavior Analysis: A Novel User Simulation Paradigm

四、基於大語言模型的多智能體軟體開發

Al Agent--大模型时代重要落地方向

下一個Agent 的例子是使用多Agent 進行軟體開發。這篇工作也是早期多Agent 合作的工作,最主要的目的是利用不同 Agent 開發一款完整的軟體。因此可將其視為一個軟體公司,不同的Agent 會扮演不同的角色:一部分Agent 負責設計,包括CEO、CTO、CPO 等角色;一部分Agent 負責編碼,還有一部分Agent 主要負責測試;此外,還會有一部分Agent 負責撰寫文件。這樣,不同 Agent 負責不同的工作;最後再將 Agent 之間的合作機制,透過交流的方式進行協同和更新,最終完成一個軟體完整的開發過程。

Al Agent--大模型时代重要落地方向




  • 大語言模型的Agent 目前可以分為兩大方向:#解決特定任務,如MetaGPT、ChatDev、Ghost、DESP 等

  • 這類Agent 最終應是一個和人類正確價值觀對齊的“超人”,其中有兩個“限定詞”:
    對齊正確的人類價值;
    超越常人能力。 模擬現實世界,如Generative Agent、Social Simulation、RecAgent等

這類Agent 所需要的能力,和第一類是完全相反的。

  • 讓 Agent 呈現多元的價值觀;
    #希望 Agent 盡量符合一般人,而不是超越常人。

    此外,大語言模型Agent 目前存在以下兩個痛點:幻覺問題

  • 由於Agent 需要跟環境進行不斷交互,因此每個步驟的幻覺都會被累加,即會產生累積效應,讓問題變得更加嚴重;因此大模型的幻覺問題在這裡需要得到進一步的重視。其解決方法包括:
  • 設計高效率的人機協作框架;

Al Agent--大模型时代重要落地方向

##計高效的人類幹預機制。 ###效率問題#########在模擬過程中,效率是個非常重要的問題;下表總結了不同 Agent 在不同API 數量下的耗時。 ##############################以上就是這次分享的內容,謝謝大家。 ################

以上是Al Agent--大模型時代重要落地方向的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板