DSPy: 언어 모델 프로그래밍에 대한 새로운 접근 방식-파이썬 튜토리얼-php.cn

DSPy: 언어 모델 프로그래밍에 대한 새로운 접근 방식

DDD

풀어 주다： 2024-11-30 18:33:11

원래의

987명이 탐색했습니다.

DSPy: A New Approach to Language Model Programming

과제: 전통적인 프롬프트를 넘어서기

언어 모델(LLM)을 사용하여 작업할 때 개발자는 공통적인 문제에 직면합니다. 우리는 완벽한 프롬프트를 만드는 데 셀 수 없이 많은 시간을 쏟았지만, 모델을 바꾸거나 입력이 약간 변경되면 신중하게 설계된 솔루션이 중단된다는 사실을 알게 되었습니다. 신속한 엔지니어링의 기존 접근 방식은 수동적이고 시간 소모적이며 예측할 수 없는 경우가 많습니다.

솔루션: Stanford의 DSPy 프레임워크

DSPy(Declarative Self-Improving Python)는 이러한 과제에 대한 Stanford NLP의 답변으로 등장합니다. 해당 웹사이트(dspy.ai)에 설명된 대로 이는 "언어 모델을 프롬프트하는 것이 아니라 프로그래밍을 위한 오픈 소스 프레임워크"입니다. 간단한 분류기, 정교한 RAG 파이프라인, 에이전트 루프 등 무엇을 구축하든 모듈식 AI 시스템 구축 시 빠른 반복을 가능하게 하고 프롬프트와 가중치를 최적화하기 위한 알고리즘을 제공합니다.

작동 방식: 핵심 구성요소

1. 시작하기

먼저 프레임워크를 설치합니다.

pip install -U dspy

import dspy
lm = dspy.LM('openai/gpt-4-mini', api_key='YOUR_OPENAI_API_KEY')
dspy.configure(lm=lm)

로그인 후 복사

2. 서명 이해

서명은 DSPy의 선언적 접근 방식의 기초입니다. 이는 간단한 형식으로 입력 및 출력에 대한 의미론적 역할을 정의합니다.

# Simple question answering
"question -> answer"

# Retrieval-based QA
"context: list[str], question: str -> answer: str"

# Multiple-choice with reasoning
"question, choices: list[str] -> reasoning: str, selection: int"

로그인 후 복사

3. 모듈 작업

DSPy는 다양한 사용 사례에 맞는 여러 핵심 모듈을 제공합니다.

예측: LLM 직접 응답
ChainOfThought: 단계별 추론
ProgramOfThought: 코드 기반 솔루션
ReAct: 에이전트 기반 상호작용
MultiChainComparison: 여러 추론 경로 비교

4. 실제 응용

수학 문제 해결

math = dspy.ChainOfThought("question -> answer: float")
math(question="Two dice are tossed. What is the probability that the sum equals two?")

로그인 후 복사

검색 증강 생성(RAG)

def search_wikipedia(query: str) -> list[str]:
    results = dspy.ColBERTv2(url='http://20.102.90.50:2017/wiki17_abstracts')(query, k=3)
    return [x['text'] for x in results]

rag = dspy.ChainOfThought('context, question -> response')

로그인 후 복사