완전한 자율성에 한발 더 다가가는 Tsinghua University와 HKU의 새로운 교차 작업 자체 진화 전략을 통해 상담원은 '경험을 통해 학습'하는 방법을 배울 수 있습니다.

"역사를 통해 배우는 것은 기복을 이해하는 데 도움이 될 수 있습니다." 인류 진보의 역사는 끊임없이 과거 경험을 바탕으로 역량의 한계를 넓혀가는 자기 진화 과정입니다. 우리는 과거의 실패로부터 배우고 실수를 바로잡으며, 성공적인 경험을 통해 효율성과 효율성을 향상시킵니다. 이러한 자기 진화는 삶의 모든 측면을 통해 진행됩니다. 경험을 요약하여 업무 문제를 해결하고, 패턴을 사용하여 날씨를 예측하며, 우리는 과거로부터 계속 배우고 진화합니다.

과거 경험에서 지식을 성공적으로 추출하고 이를 미래의 과제에 적용하는 것은 인류 진화의 길에서 중요한 이정표입니다. 그렇다면 인공지능 시대에 AI 에이전트도 같은 일을 할 수 있을까?

최근 몇 년 동안 GPT 및 LLaMA와 같은 언어 모델은 복잡한 작업을 해결하는 데 놀라운 능력을 보여주었습니다. 그러나 특정 작업을 해결하기 위해 도구를 사용할 수는 있지만 본질적으로 과거의 성공과 실패로부터 얻은 통찰력과 교훈이 부족합니다. 이는 특정 작업만 수행할 수 있는 로봇과 같습니다. 현재 작업에서는 잘 수행되지만 새로운 도전에 직면했을 때 과거의 경험을 활용하여 도움을 줄 수는 없습니다. 따라서 이러한 모델이 지식과 ​​경험을 축적하고 새로운 상황에 적용할 수 있도록 더욱 발전시켜야 합니다. 기억과 학습 메커니즘을 도입함으로써 우리는 이러한 모델을 지능 측면에서 더욱 포괄적으로 만들고 다양한 작업과 상황에 유연하게 대응할 수 있으며 과거 경험에서 영감을 얻을 수 있습니다. 이는 언어 모델을 더욱 강력하고 안정적으로 만들고 인공 지능 개발을 발전시키는 데 도움이 될 것입니다.

이 문제에 대응하여 Tsinghua University, Hong Kong University, Renmin University 및 Wall-Facing Intelligence의 공동 팀은 최근 새로운 지능형 에이전트 자체 진화 전략: 조사-통합-공격, ICE)를 제안했습니다. 업무 전반에 걸쳐 자기진화를 통해 AI 에이전트의 적응성과 유연성을 향상시키는 것을 목표로 한다. 새로운 작업을 처리하는 데 있어 에이전트의 효율성과 효율성을 향상시킬 수 있을 뿐만 아니라 에이전트 기본 모델의 기능에 대한 요구도 크게 줄일 수 있습니다.

이 전략의 출현은 실제로 지능형 에이전트의 자체 진화에 새로운 장을 열었으며 완전히 자율적인 에이전트를 달성하기 위한 또 다른 단계를 의미합니다.

• 논문 제목: Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
• 논문 링크: https://arxiv.org/abs/2401.13996

자기 진화를 달성하기 위한 에이전트 작업 간의 경험 전달 개요

에이전트 자기 진화의 두 가지 측면: 계획 및 실행

현재 복잡한 에이전트는 주로 작업으로 나눌 수 있습니다. 및 작업 실행 측면. 작업 계획 측면에서는 에이전트가 사용자의 요구를 분해하고 논리적 추론을 통해 세부적인 목표 전략을 개발합니다. 작업 실행 측면에서 에이전트는 다양한 도구를 사용하여 환경과 상호 작용하여 해당 하위 목표를 완료합니다.

과거 경험의 재사용을 더 잘 촉진하기 위해 저자는 먼저 이 논문에서 진화 전략을 두 가지 측면으로 분리합니다. 구체적으로 저자는 XAgent 에이전트 아키텍처에서의 트리 작업 계획 구조와 ReACT 체인 도구 실행을 예로 들어 ICE 전략의 구현 방법을 자세히 소개합니다.

에이전트 임무 계획을 위한 ICE 자기 진화 전략

임무 계획에서 자기 진화는 ICE에 따라 다음 세 단계로 구분됩니다.

• 탐색 단계에서는 에이전트가 전체 트리형 작업 계획 구조를 기록하고 동시에 각 하위 목표의 실행 상태를 동적으로 감지합니다.
• 고화 단계에서는 에이전트가 먼저 실패한 모든 항목을 제거합니다. 그런 다음 성공적으로 완료된 각 목표에 대해 에이전트는 계획 체인(워크플로) 을 형성하기 위해 목표가 있는 하위 트리의 모든 리프 노드를 배열합니다.
• ; 이러한 계획 체인은 과거의 성공적인 경험을 활용하기 위해 새로운 임무 목표를 분해하고 개선하기 위한 참조 기반으로 사용될 것입니다.

에이전트 작업 실행을 위한 ICE 자기 진화 전략

작업 실행을 위한 자기 진화 전략은 여전히 ​​ICE의 세 단계로 나누어져 있으며, 그 중

• 탐색 단계에서는 에이전트는 대상 실행의 도구 호출 체인을 동적으로 기록하고 도구 호출에서 발생할 수 있는 문제를 간단하게 감지 및 분류합니다.
• 응고 단계에서 도구 호출 체인은 자동화와 같은 으로 변환됩니다. 파이프라인 구조 , 도구 호출 순서 및 호출 간 전송 관계가 수정되고, 반복 호출이 제거되고, 분기 논리가 추가되어 자동화된 자동화 실행 프로세스가 더욱 강력해집니다. 활용 단계에서는 유사한 목표에 대해 에이전트가 파이프라인 실행을 직접 자동화하여 작업 완료 효율성을 향상시킵니다.
XAgent 프레임워크에서의 자기 진화 실험

저자는 The Number of Model Calls에서 제안된 ICE 자기 진화 전략을 테스트하여 효율성을 높이고 오버헤드를 줄였습니다.

ICE 전략에 따라 저장된 경험은 재사용률이 높아 ICE의 효율성이 입증됩니다.

• ICE 전략은 계획된 수리 횟수를 줄이면서 하위 작업 완료율을 향상시킬 수 있습니다.
• 과거 경험의 지원으로 작업 실행을 위한 모델 기능에 대한 요구 사항이 크게 감소되었습니다. 구체적으로 GPT-3.5를 이전 작업 계획 및 실행 경험과 결합하면 그 효과는 GPT-4와 직접적으로 비교할 수 있습니다.
경험 저장을 탐색하고 구체화한 후 다양한 에이전트 ICE 전략에 따른 테스트 세트 작업의 성능
동시에 저자는 추가 절제 실험도 수행했습니다. 저장 경험이 점차 증가하면 , 상담원의 성과가 점점 좋아지고 있나요? 대답은 '예'입니다. 경험치 0, 경험치 절반, 경험치 100%까지 기본 모델에 대한 호출 횟수가 점차 감소하는 동시에 하위 작업 완료도 점차 증가하며 재사용률도 높아집니다. 이는 과거 경험이 많을수록 에이전트 실행을 더 촉진하고 규모 효과를 얻을 수 있음을 보여줍니다.

다양한 경험 저장량에 따른 테스트 세트 작업 성능의 절제 실험 결과 통계

결론

모든 사람이 에이전트를 배포할 수 있는 세상에서 성공적인 경험의 수는 개인으로서 다음과 같습니다. 에이전트의 작업이 계속 누적되므로 사용자는 이러한 경험을 클라우드와 커뮤니티에서 공유할 수도 있습니다. 이러한 경험은 지능형 에이전트가 지속적으로 기능을 획득하고 스스로 진화하며 점진적으로 완전한 자율성을 달성하도록 유도합니다. 우리는 그러한 시대에 한발 더 다가섰습니다.