OpenAI와 LangChain을 사용하여 강력한 챗봇 구축-JS 튜토리얼-php.cn

소개

챗봇은 사용자와 자동화된 상호작용을 제공하는 다양한 산업 분야에서 필수적인 도구입니다. 요즘 세상에 Chat GPT(또는 다른 AI 기반 챗봇)를 한 번 이상 시도하지 않은 사람은 없습니다. OpenAI의 GPT 모델과 LangChain 라이브러리를 사용하여 스트리밍 응답 시스템을 통해 세션을 처리하고 사용자 메시지를 처리하는 챗봇을 구축할 수 있습니다. 이후 게시물에서는 API와 통신하고 특정 작업에 특화된 에이전트를 만들 것입니다.

우리가 다룰 내용은 다음과 같습니다.

미들웨어로 Express 서버를 설정합니다.
챗봇 에이전트를 처리하기 위한 `AgentManager`를 생성합니다.
챗봇 에이전트를 처리하기 위한 ChatAgent를 생성합니다.
챗봇 응답을 실시간으로 사용자에게 스트리밍합니다.

환경 설정

먼저 몇 가지 주요 종속성이 필요합니다.

API 요청 처리를 위한 Express.
LangChain은 GPT 모델과 도구를 관리합니다.
GPT 모델 상호작용을 위한 OpenAI. 스폰 세션을 사용하고 챗봇과 상호 작용하려면 Open AI에서 토큰을 얻어야 합니다

종속성 설치

가장 먼저 할 일은 새 프로젝트를 초기화하고 사용할 필수 모듈을 설치하는 것입니다.

npm init -Y
npm install express langchain openai uuid class-validator class-transformer mutex

로그인 후 복사

급행 경로 설정

시작하려면 두 가지 주요 경로를 정의하겠습니다.

첫 번째 경로는 새 채팅 세션을 생성하고, 두 번째 경로는 기존 세션에 메시지를 보냅니다.

router.post('/session', APIKeyMiddleware, createSession);
router.post('/session/:id/message', APIKeyMiddleware, postMessage);

로그인 후 복사

APIKeyMiddleware는 인증된 요청만 이러한 경로에 액세스하도록 보장합니다. 귀하의 필요에 맞는 미들웨어를 구현할 수 있습니다.

에이전트 관리자 생성

채팅 상담원을 처리하기 위해 AgentManager 클래스를 생성하겠습니다. 이 클래스는 새 에이전트를 생성하고 활성 세션을 관리하는 역할을 담당하므로 이 클래스가 채팅을 담당할 에이전트를 포함하므로 API의 주요 진입점이라고 상상해 보세요. 첫 번째 사용자는 세션을 생성해야 하며 나중에 해당 세션이 채팅에 사용됩니다.

export class AgentManager {
    private __lock = new Mutex();
    private __agents: Map<string, AgentInstance> = new Map();

    async createAgent(authorization: string): Promise<string> {
        const uuid = uuidv4();
        const release = await this.__lock.acquire();
        try {
            this.__deleteExpiredAgentsLockless();
            let agent: ChatAgent | null = agent = new GeneralChatAgent(authorization);
            this.__agents.set(uuid, { agent, createdAt: Date.now() });
            return uuid;
        } finally {
            release();
        }
    }

    async getAgent(uuid: string): Promise<ChatAgent | null> {
        const release = await this.__lock.acquire();
        try {
            this.__deleteExpiredAgentsLockless();
            const agentInstance = this.__agents.get(uuid);
            return agentInstance ? agentInstance.agent : null;
        } finally {
            release();
        }
    }

    private __deleteExpiredAgentsLockless(): void {}
}

로그인 후 복사

일반 에이전트 생성

이제 일반 채팅 에이전트를 만들어야 합니다. 이 에이전트는 인증이나 기타 필요한 매개변수를 가져오고 API와 통신할 수 있지만 지금은 기존 ChatAgent를 확장하겠습니다. 이 단계에서는 더 이상 아무것도 없습니다.

export class GeneralChatAgent extends ChatAgent {
    constructor() {
        super();
    }
}

로그인 후 복사

createAgent 메소드는 에이전트를 초기화하고 프로세스를 잠근 후 고유한 세션 ID에 할당합니다. 에이전트는 지정된 세션 기간이 지나면 만료됩니다. 이는 __deleteExpiredAgentsLockless 메소드로 처리되지만 다음 반복에서는 이를 구현하므로 지금은 이를 방지할 수 있습니다.

세션 및 메시지 처리

다음으로 세션 생성 및 메시지 처리 경로를 정의해 보겠습니다.

export const createSession = async (req: Request, res: Response): Promise<void> => {
    const authorization = req.headers['authorization'] as string;
    try {
        const sessionId = await agentManager.createAgent(authorization, AgentType.WEB);
        res.json({ sessionId });
    } catch (err) {
        if (err instanceof Error) {
            res.status(400).json({ error: err.message });
        } else {
            res.status(500).json({ error: 'An unknown error occurred' });
        }
    }
}

export const postMessage = async (req: Request, res: Response): Promise<void> => {
    const { id } = req.params;
    const { message } = req.body;

    if (!id || !message) {
        return res.status(400).json({ error: 'Bad request. Missing session ID or message' });
    }

    try {
        const agent = await agentManager.getAgent(id);
        if (!agent) {
            return res.status(400).json({ error: `No agent found with id ${id}` });
        }

        const iterable = await agent.invoke(message);
        await streamResponse(res, iterable);
    } catch (err) {
        res.status(500).json({ error: err instanceof Error ? err.message : 'An unknown error occurred' });
    }
}

로그인 후 복사

여기서 createSession은 새 세션을 설정하고 postMessage는 사용자의 메시지를 에이전트에 보냅니다. 세션이나 메시지가 제공되지 않으면 400 Bad Request 오류가 반환됩니다.
스트리밍 응답

이제 채팅 봇의 반응성과 대화형 느낌을 만드는 핵심은 응답 스트리밍입니다.

async invoke(input: string): Promise<AsyncIterable<Chunk>> {
    const release = await this.__lock.acquire();
    try {
        const tool = this.determineTool(input);
        if (tool) {
            const toolOutput = await tool.call(input);
            this.callbackQueue.enqueue({ type: ChunkType.TOKEN, value: toolOutput });
            this.callbackQueue.enqueue({ type: ChunkType.FINISH, value: '' });
        } else {
            await this.chat.invoke([new HumanMessage(input)], {
                callbacks: [
                    {
                        handleLLMNewToken: (token: string) => {
                            this.callbackQueue.enqueue({ type: ChunkType.TOKEN, value: token });
                        },
                        handleLLMEnd: () => {
                            this.callbackQueue.enqueue({ type: ChunkType.FINISH, value: '' });
                        },
                        handleLLMError: (error: Error) => {
                            this.callbackQueue.enqueue({ type: ChunkType.ERROR, value: error.message });
                        }
                    }
                ]
            });
        }
        return this.createAsyncIterable(this.callbackQueue);
    } finally {
        release();
    }
}

private createAsyncIterable(callbackQueue: AgentCallbackQueue): AsyncIterable<Chunk> {
    return {
        [Symbol.asyncIterator]: async function* () {
            let finished = false;
            while (!finished) {
                const chunk = await callbackQueue.dequeue();
                if (chunk) {
                    yield chunk;
                    if (chunk.type === ChunkType.FINISH || chunk.type === ChunkType.ERROR) {
                        finished = true;
                    }
                } else {
                    await new Promise(resolve => setTimeout(resolve, 100));
                }
            }
        }
    };
}

로그인 후 복사

invoke 메서드에서 에이전트는 사용자의 입력을 처리하고 응답을 청크로 다시 스트리밍합니다. 각 청크는 모델의 토큰이거나 스트림의 끝을 나타내는 메시지입니다.

createAsyncIterable 메소드를 사용하면 이러한 청크를 하나씩 생성하고 클라이언트로 다시 스트리밍할 수 있습니다.

스트리밍 응답

결국 우리는 응답을 수신하면서 클라이언트에 스트리밍하고 싶습니다. 완료될 때까지 잠시 기다리지 않고 전체 응답을 반환하고 싶지 않습니다. 더 나은 해결책은 응답을 청크로 스트리밍하는 것입니다.

const delay = (ms: number): Promise<void> => new Promise(resolve => setTimeout(resolve, ms));

export async function streamResponse(res: Response, iterable: AsyncIterable<Chunk>) {
    res.setHeader('Content-Type', 'application/x-ndjson');
    res.setHeader('Transfer-Encoding', 'chunked');

    try {
        let buffer = '';
        for await (const chunk of iterable) {
            switch (chunk.type) {
                case ChunkType.TOKEN:
                    buffer += chunk.value; 
                    res.write(buffer);
                    if (res.flush) res.flush();
                    buffer = '';
                    break;

                case ChunkType.ERROR:
                    console.error('Error chunk:', chunk.value);
                    if (!res.headersSent) {
                        res.status(500).json({ error: 'Streaming failed.' });
                    }
                    return;

                case ChunkType.FINISH:
                    if (buffer.trim()) {
                        res.write(`${buffer.trim()}\n`);
                    }
                    return;
            }
        }
    } catch (err) {
        console.error('Error during streaming:', err);
        if (!res.headersSent) {
            res.status(500).json({ error: 'Streaming failed.' });
        }
    } finally {
        res.end();
    }
}

로그인 후 복사

결론

축하합니다! 이제 채팅 세션을 처리하고 클라이언트에게 응답을 스트리밍하는 기본 챗봇이 생겼습니다. 이 아키텍처는 추가 도구, 더 정교한 로직 또는 다양한 GPT 모델을 사용하여 쉽게 확장할 수 있지만 현재로서는 더 복잡한 챗봇을 위한 뼈대만 있습니다.

OpenAI의 강력한 언어 모델과 LangChain의 도구 관리를 사용하면 다양한 도메인에 대한 더욱 발전된 대화형 챗봇을 만들 수 있습니다. 챗봇 기능을 확장하고 원하는 방식으로 만들 수 있지만, 반면에 그럴 필요는 없습니다. Langchain을 사용하면 OpenAI를 사용하여 원하는 경우 훨씬 더 간단한 채팅 봇을 만들 수 있습니다.

더 많은 내용을 기대해 주세요. 다음 게시물에서는 우리가 만든 채팅 에이전트용 도구 구축에 대해 이야기하겠습니다.
즐거운 코딩하세요!

원본을 확인해주세요