오픈 소스 모델(llama)을 사용하여 나만의 사용자 정의 LLM 에이전트 만들기-파이썬 튜토리얼-php.cn

Create your own Custom LLM Agent Using Open Source Models (llama)

이 기사에서는 PC에서 로컬로 실행되는 오픈 소스 LLM(llama3.1)을 사용하는 사용자 지정 에이전트를 만드는 방법을 알아봅니다. 우리는 또한 Ollama와 LangChain을 사용할 것입니다.

개요

올라마 설치
풀 모델
서브 모델
새 폴더를 만들고 코드 편집기로 엽니다
가상 환경 생성 및 활성화
langchain langchain-ollama 설치
Python의 오픈 소스 모델을 사용하여 맞춤형 에이전트 구축
결론

올라마 설치

Ollama를 설치하려면 GitHub README의 OS 유형에 따른 지침을 따르세요.

으아아아

저는 Linux 기반 PC를 사용하고 있으므로 터미널에서 다음 명령을 실행하겠습니다.

으아아아

풀 모델

다음 명령을 통해 사용 가능한 LLM 모델을 가져옵니다.

으아아아

이렇게 하면 모델의 기본 태그 버전이 다운로드됩니다. 일반적으로 기본값은 최신의 가장 작은 크기 매개변수 모델을 가리킵니다. 이 경우에는 llama3.1:8b 모델이 됩니다.

다른 버전의 모델을 다운로드하려면 https://ollama.com/library/llama3.1로 이동하여 설치할 버전을 선택한 다음 해당 모델 및 해당 버전 번호와 함께 ollama pull 명령을 실행하세요. 예: 올라마 풀 라마3.1:70b

Mac에서는 모델이 ~/.ollama/models

에 다운로드됩니다.

Linux(또는 WSL)에서는 모델이 /usr/share/ollama/.ollama/models

에 저장됩니다.

서브 모델

데스크톱 애플리케이션을 실행하지 않고 ollama를 시작하려면 다음 명령을 실행하세요.

으아아아

모든 모델은 localhost:11434

에서 자동으로 제공됩니다.

새 폴더를 만들고 코드 편집기로 엽니다.

컴퓨터에 새 폴더를 만든 다음 VS Code와 같은 코드 편집기로 엽니다.

가상 환경 생성 및 활성화

터미널을 엽니다. 다음 명령을 사용하여 가상 환경 .venv를 생성하고 활성화하세요.

으아아아 으아아아

langchain langchain-ollama 설치

langchain 및 langchain-ollama를 설치하려면 다음 명령을 실행하세요.

으아아아

위 명령은 Python에서 LangChain 및 LangChain-Ollama 패키지를 설치하거나 업그레이드합니다. -U 플래그는 이러한 패키지의 최신 버전이 설치되어 이미 존재할 수 있는 이전 버전을 대체하도록 보장합니다.

Python에서 오픈 소스 모델을 사용하여 사용자 정의 에이전트 구축

파이썬 파일(예: main.py)을 만들고 다음 코드를 추가하세요.

으아아아

위의 코드 조각은 사용자 입력을 처리하고 단어 길이를 계산하는 사용자 정의 도구를 활용하기 위해 ChatOllama 모델(llama3.1)을 사용하여 LangChain 에이전트를 설정합니다. 에이전트에 대한 프롬프트 템플릿을 정의하고 도구를 언어 모델에 바인딩하며 입력을 처리하고 중간 단계의 형식을 지정하는 에이전트를 구성합니다. 마지막으로 특정 입력으로 에이전트를 호출하는 AgentExecutor를 생성합니다. "educa라는 단어에 몇 글자가 포함되어 있나요?"라는 간단한 질문을 통과시킨 다음 출력을 인쇄하거나 결과가 없는지 표시합니다.

실행하면 다음과 같은 결과를 얻습니다.

으아아아

에이전트가 모델(llama3.1)을 사용하여 도구를 올바르게 호출하여 단어의 문자 수를 가져오는 것을 볼 수 있습니다.