블록처럼 다중 에이전트 개발을 구현하는 Alibaba Tongyi Lab의 오픈 소스 다중 에이전트 프로그래밍 프레임워크 및 개발 플랫폼 AgentScope.
이 플랫폼은 다중 에이전트 애플리케이션 개발자를 위해 특별히 제작되었으며, 매우 사용하기 쉬운 프로그래밍 경험, 안정적이고 신뢰할 수 있는 런타임 보장을 제공하고 개발자에게 분산 및 다중 모드 기술 지원을 제공하는 것을 목표로 합니다.
OpenAI, DashScope, Gemini, Ollama 등 다양한 플랫폼에 대한 모델 API가 내장되어 있으며 현재 대형 모델 오픈 소스 생태계와 긴밀하게 호환됩니다.
AgentScope는 기본으로 제공되는 다양한 기능을 제공하며 간단히 드래그 앤 드롭만으로 다중 에이전트 애플리케이션을 구축할 수 있습니다.
분산 개발 경험이 없는 개발자라도 AgentScope 플랫폼에서 수만 단계의 다중 에이전트 동시성을 쉽게 달성할 수 있습니다.
더 많은 사용자가 자신만의 다중 에이전트 애플리케이션을 빠르고 쉽게 개발할 수 있도록 하기 위함입니다. AgentScope는 다음 기능을 제공합니다.
AgentScope Workstation은 편리한 "드래그 앤 드롭" 다중 에이전트 제공 오케스트레이션 패러다임 적용 .
여기서 프로그래밍 경험은 더 이상 상상력을 제한하는 요소가 아닙니다. 각 개발자는 코딩 없이 풍부한 도구 모음에서 자신이 선호하는 대형 모델, 에이전트 및 파이프라인을 선택하고 끌어서 빌딩 블록처럼 자유롭게 결합하여 독특하고 혁신적인 다중 에이전트 애플리케이션을 만들 수 있습니다.
드래그 앤 드롭을 통해 구축된 이러한 다중 에이전트 애플리케이션이 실제로 사용 가능한지 확인하기 위해 AgentScope Workstation은 애플리케이션의 정확성을 보장하기 위한 정적 규칙 검사를 도입합니다. 이는 애플리케이션의 올바른 특성화를 보장합니다.
추가 사용자 정의 및 심층적인 개발을 원하는 고급 개발자를 위해 AgentScope Workstation은 강력한 지원도 제공합니다.
개발자는 애플리케이션을 구성 정보로 내보내고 AgentScope Workstation 엔진의 도움으로 실행하거나 AgentScope Workstation 컴파일러를 사용하여 한 번의 클릭으로 구성 정보를 Python 코드로 변환할 수 있습니다. 이러한 방식으로 개발자는 코드를 추가로 편집하고 최적화하여 더욱 세련되고 개인화된 애플리케이션 조정을 달성할 수 있습니다.
AgentScope Copilot은 개발자가 다중 에이전트 애플리케이션의 개발 프로세스에서 직면하는 문제를 해결하는 데 도움을 주기 위해 설계되었습니다. 다중 에이전트 그룹 채팅 (Multi-agent Conversation) , 데이터 검색 생성 (Retrieval-Augmented Generation, RAG) , 에이전트 호출 (Mention) 및 기타 다양한 기능을 제공합니다.
AgentScope Copilot과 상호 작용하면서 개발자는 Guiding Assistant (Guide Assistant) 와 상호 작용하여 직접 도움을 받을 수 있습니다. 또한 Q&A Assistant (Tutoring Assistant) 또는 코드 Coding Assistant와 같은 전담 에이전트 보조자에게 전화할 수도 있습니다. Coding Assistant) 좀 더 전문적이고 구체적인 답변을 받아보세요. 보다 구체적으로, 코드 프로그래밍 도우미는 개발자가 프레임워크에서 각 모듈의 정의와 사용법을 신속하게 명확하게 하고 더 나은 프로그래밍 제안을 제공하는 데 도움이 될 수 있습니다.
AgentScope Copilot 자체가 AgentScope 프레임워크의 RAG 모듈을 기반으로 구축되었다는 점은 언급할 가치가 있습니다. 이는 LlamaIndex와 같은 널리 사용되는 데이터 검색 프레임워크는 물론 다양한 벡터 데이터베이스 유형을 지원합니다. 언어 모델. 개발자는 신속하게 2차 개발을 수행하고 자신의 프로젝트를 위한 Copilot 도우미를 쉽게 구축할 수 있습니다.
친절한 애플리케이션 개발 프로세스는 개발자에게 제어 가능하고 투명해야 합니다.
그러나 다중 에이전트 시나리오에는 다양한 유형의 모델 API와 다양한 호출 인터페이스가 있습니다. 모델 API의 사용 비용을 효과적으로 관리 및 모니터링하고 리소스 낭비와 예상치 못한 비용을 방지하는 방법은 리소스 모니터링 기능에 더 큰 문제를 야기합니다.
예를 들어, 검색 엔진을 사용할 때 복잡한 웹 페이지를 대규모 모델에 대한 입력으로 사용하면 오버헤드가 높아지고 개발자 인식이 뒤처지는 경우가 많습니다. 이 문제를 해결하기 위해 AgentScope는 다음을 구현하도록 모니터 모듈을 설계했습니다.
자동 API 비용 통계: 다양한 모델 API의 토큰 사용량을 정확하게 기록하고 현재 비용을 자동으로 계산하여 개발자가 모델의 모든 지출을 설명할 수 있도록 합니다. API 비용은 모두 알고 있습니다.
예산 설정 및 초과 알람: 개발자가 각 모델 API의 예산 상한선을 설정할 수 있도록 지원합니다. 총 지출이 예산을 초과하면 시스템은 자동으로 경보를 울리고 초과 지출을 피하기 위해 검사 및 조정을 수행하도록 개발자에게 즉시 알립니다.
사용자 지정 모니터링 표시기 지원: 미리 설정된 모델 API 관련 표시기 외에도 Monitor를 사용하면 개발자는 검색 도구 오버헤드, 데이터 스토리지 서비스 오버헤드, 네트워크 트래픽 등과 같은 다른 모니터링 표시기를 사용자 지정할 수 있습니다. 애플리케이션 상태에 대한 포괄적이고 자동화된 모니터링을 수행합니다.
Δ모니터 모듈
AgentScope에는 풍부한 도구 기능, 에이전트 및 애플리케이션 예제가 내장되어 있으며 개발자는 가벼운 수정을 통해 쉽게 개발할 수 있습니다. 자신만의 멀티 에이전트 애플리케이션 .
도구 기능: AgentScope는 네트워크 검색, 데이터베이스 쿼리, 파일 작업, 텍스트 처리 등을 포함한 다양한 유형의 도구 기능을 지원합니다. 각 범주에는 서로 다른 구현 형식이 포함되어 있습니다. 예를 들어 네트워크 검색 수준에서 AgentScope는 이미 Bing, arXiv 및 DBLP와 같은 여러 검색 엔진을 지원합니다.
Agent: AgentScope에는 기본 대화, 형식화된 대화, 추론, RAG, 분산 및 기타 다양한 유형의 에이전트를 포함하여 다양한 기능을 갖춘 에이전트가 내장되어 있습니다. 개발자는 에이전트를 필요한 에이전트 인스턴스로 전문화하기 위해 다양한 매개변수를 사용하여 에이전트 인스턴스를 초기화하기만 하면 됩니다.
애플리케이션 예제: AgentScope는 대화 (대화) , 게임 (게임) 및 배포 (배포) 을 포함한 다양한 유형의 애플리케이션으로 사전 설정되어 있습니다. 이러한 샘플은 개발자가 개발 비용을 줄이는 데 도움이 되는 동시에 애플리케이션 개발을 위한 템플릿과 참조도 제공합니다.
개발자가 AgentScope에 내장된 리소스를 더 빠르고 잘 이해할 수 있도록 AgentScope는 튜토리얼 (튜토리얼) , 인터페이스 문서 (API 문서) 및 디자인 문서를 포함하여 풍부하고 자세한 문서를 제공하여 개발자가 더 나은 결과를 얻을 수 있도록 돕습니다. AgentScope를 이해하고 사용합니다.
대형 모델을 기반으로 하는 다중 에이전트 애플리케이션은 모델 환상 및 모델 지침을 따르는 능력 부족과 같은 많은 새로운 문제에 직면하게 됩니다. 다중 에이전트 애플리케이션이 안정적이고 안정적으로 실행될 수 있도록 AgentScope는 먼저 애플리케이션에서 발생하는 오류를 분류한 다음 그에 따라 완전한 내결함성 메커니즘 및 사용자 정의 내결함성 처리 세트를 제공합니다.
임의성 지향 내결함성: 무작위 오류는 불안정한 네트워크 상태 또는 모델에서 생성된 콘텐츠의 불확실성으로 인해 발생하는 경우가 많습니다. 이는 대규모 모델을 기반으로 애플리케이션을 구축할 때 가장 일반적인 유형의 오류입니다. 이러한 오류는 매우 사소하고 해결하기 어려운 경우가 많습니다. 따라서 AgentScope는 내장된 재시도 메커니즘을 사용하여 이러한 무작위 오류를 필터링하고 보호하므로 개발자가 애플리케이션 조정에 더 쉽게 에너지를 쏟을 수 있습니다.
규칙 기반 내결함성: 애플리케이션에서 발생한 일부 오류는 규칙을 통해 수정할 수 있습니다. 예를 들어, 지정된 형식의 응답을 생성하기 위해 대형 모델이 필요한 경우 대형 모델은 때때로 추가 콘텐츠를 생성하며, 이는 애플리케이션의 정상적인 작동을 보장하기 위해 미리 설정된 규칙에 따라 잘릴 수 있습니다.
모델 기반 내결함성: 대형 모델 자체 기능을 사용하여 오류를 수정하는 것은 다중 에이전트 애플리케이션의 특징 중 하나입니다. AgentScope는 대형 모델에 입력 및 오류 정보를 제공하고 대형 모델의 이해 능력을 사용하려고 합니다. 그리고 실수를 바로잡는 지식.
에이전트/개발자를 위한 내결함성: 미리 설정된 규칙과 대규모 모델이 오류를 해결할 수 없는 경우 문제를 해결하려면 개발자나 에이전트의 개입이 필요한 경우가 많습니다. 따라서 AgentScope에서는 다음으로 오류 형식 지정 오류가 발생합니다. 오류 정보, 입력 및 출력 정보는 발생한 문제를 해결하는 데 도움이 되도록 개발자나 에이전트에 완전히 제출됩니다.
다중 에이전트 애플리케이션 성능 향상은 대형 모델의 프롬프트(프롬프트) 품질에 크게 좌우됩니다. 좋은 프롬프트는 성공적인 애플리케이션 작동 확률을 크게 높일 수 있습니다. AgentScope 프로그래밍 프레임워크는 개발자가 애플리케이션을 지속적으로 최적화할 수 있도록 즉각적인 조정 모듈을 제공합니다.
프롬프트 자동 생성: 개발자에게 좋은 프롬프트를 생성하는 것은 시간이 많이 걸리고 노동 집약적인 작업인 경우가 많습니다. AgentScope는 내부적으로 상황 내 학습(ICL)을 사용하여 개발자의 애플리케이션 시나리오를 통합하고 개발자가 신속하게 개발을 시작할 수 있도록 필요한 프롬프트를 직접 생성하는 에이전트로 사전 설정되어 있습니다.
샘플 입력 지원: AgentScope에서 개발자는 동시에 여러 샘플을 템플릿으로 입력할 수 있으며 AgentScope는 이러한 샘플을 기반으로 특정 다운스트림 작업에 대한 특정 프롬프트 단어를 생성할 수 있습니다.
동적 프롬프트 튜닝: 애플리케이션 실행 과정에서 오류를 피하기 위해 새로운 규칙을 추가하는 등 대형 모델의 프롬프트 단어를 작동 조건에 따라 추가로 조정해야 합니다. AgentScope는 에이전트가 개발자 및 환경과 상호 작용하는 과정에서 프롬프트 조정의 기초가 됩니다. AgentScope는 당시 장면을 기반으로 에이전트의 시스템 프롬프트 (시스템 프롬프트) 를 수정합니다. 작동 중 에이전트의 성능을 향상시킵니다. 분산 병렬
: AgentScope의 분산 디자인은 Actor 프로그래밍 패러다임을 따릅니다. 이는 애플리케이션 프로세스 오케스트레이션에서 서로 다른 에이전트 간의 잠재적인 병렬 가능성을 자동으로 식별하고 병렬 최적화를 자동으로 수행할 수 있습니다. 운영 효율성을 향상시킵니다. 동시에 각 에이전트는 로컬 또는 원격 시스템에서 독립적으로 실행될 수 있으므로 컴퓨팅 리소스를 최대한 활용하고 대규모 배포를 지원할 수 있습니다.
시작하기 위한 임계값은 매우 낮습니다: AgentScope는 분산 기술의 구현 세부 사항으로부터 개발자를 완벽하게 보호합니다. 개발자는 무료로 분산 다중 에이전트 애플리케이션을 개발하거나 기존 다중 에이전트 애플리케이션을 분산 모델 실행으로 변환할 수 있습니다. 분산 애플리케이션으로 변환하면 AgentScope의 분산 애플리케이션 오케스트레이션은 지역화된 오케스트레이션 방법과 완벽하게 호환됩니다. 분산 배경 지식이 없어도 개발자는 분산 다중 에이전트 애플리케이션을 쉽게 오케스트레이션할 수 있습니다.
대규모 배포 지원: AgentScope는 현재 단일 머신(64코어 8카드 A100)에서 한 번에 16,000개 이상의 에이전트 인스턴스 실행을 지원하며 규모는 머신 수에 따라 선형 확장을 달성할 수 있습니다. 증가 증가합니다. 예를 들어 AgentScope는 4대의 시스템으로 구성된 클러스터에서 30초 안에 64,000개 이상의 에이전트 호출을 완료할 수 있습니다. 이 기능을 사용하면 에이전트의 대규모 병렬화 및 시뮬레이션이 가능해집니다.
Δ
다중 모드 지원
https://github.com/modelscope/agentscope환영합니다:
https://agentscope.aliyun.com
위 내용은 Alibaba의 지능형 '조립 공장'은 오픈 소스입니다! 수만 명의 상담원을 동시에 처리한 경험이 없습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
