대규모 모델 개발 도구 세트가 생성되었습니다!

다시 작성해야 하는 콘텐츠는 다음과 같습니다. 작성자 Richard MacManus

Planning | Yan Zheng

Web3는 Web2를 전복하는 데 실패했지만 신흥 대규모 모델 개발 스택을 통해 개발자는 "클라우드 네이티브" 시대에서 새로운 AI로 이동할 수 있습니다. 기술 스택.

빠른 엔지니어는 대형 모델로 돌진하는 개발자의 신경을 건드리지 못할 수도 있지만 제품 관리자 또는 리더의 문장은 다음과 같습니다. "에이전트"를 개발할 수 있는지, "체인"을 구현할 수 있는지, "어떤 벡터가 데이터베이스를 사용하시겠습니까?"가 되었습니다. 현재 주요 주류 대형 모델 응용 회사는 기술 학생들이 AI 개발의 어려움을 극복하도록 유도했습니다.

신흥 기술 스택의 계층은 무엇입니까? 가장 어려운 부분은 어디인가요? 이 기사를 통해 알아낼 수 있습니다

1. 개발자는 AI 엔지니어의 시대를 열고 있습니다

지난 해에는 LangChain 및 LlamaIndex와 같은 일부 도구가 등장했습니다. AI 애플리케이션 개발자의 생태계가 성숙해지기 시작했습니다. 이제는 인공지능 개발에 집중하는 이들을 지칭하는 용어, 즉 'AI 엔지니어'도 등장한다. Shawn @swyx Wang에 따르면 이는 "신속한 엔지니어"를 위한 다음 단계입니다. 또한 그는 더 넓은 인공지능 생태계에서 AI 엔지니어의 위치를 ​​시각적으로 보여주는 좌표 다이어그램을 만들었습니다

출처: swyx

대형 언어 모델(LLM)은 AI 엔지니어의 핵심 기술입니다. LangChain과 LlamaIndex가 모두 LLM을 확장하고 보완하는 도구라는 것은 우연이 아닙니다. 하지만 이 새로운 유형의 개발자가 사용할 수 있는 다른 도구는 무엇입니까?

지금까지 제가 본 LLM 스택 중 최고의 다이어그램은 벤처 캐피탈 회사인 Andreessen Horowitz(a16z)에서 나온 것입니다. 다음은 "LLM 앱 스택"에 대한 보기입니다.

이미지 출처: a16z

2 예, 최상위 레이어는 데이터입니다

LLM 기술 스택에서 데이터는 가장 중요한 구성 요소입니다. 이것은 매우 분명합니다. a16z의 차트에 따르면 데이터가 맨 위에 있습니다. LLM에서 "임베디드 모델"은 매우 중요한 영역입니다. OpenAI, Cohere, Hugging Face 또는 점점 인기를 얻고 있는 오픈 소스 LLM을 포함하여 수십 가지 다른 LLM 옵션 중에서 선택할 수 있습니다.

LLM을 사용하기 전에 "데이터 파이프라인"도 필요합니다 설립될 예정이다. 예를 들어 Databricks와 Airflow를 두 가지 예로 고려하거나 데이터가 "구조화되지 않은" 처리될 수 있습니다. 이는 데이터의 주기에도 적용되며 기업이 맞춤형 LLM에 데이터를 입력하기 전에 데이터를 "정리"하거나 간단히 구성하는 데 도움이 될 수 있습니다. Alation과 같은 "데이터 인텔리전스" 회사는 이러한 유형의 서비스를 제공합니다. 이는 IT 기술 스택에서 더 잘 알려진 "비즈니스 인텔리전스"와 같은 도구와 약간 비슷해 보입니다.

데이터 레이어의 마지막 부분은 벡터 데이터베이스입니다. LLM 데이터를 저장하고 처리하기 위해 최근에 매우 인기가 있습니다. Microsoft의 정의에 따르면 이는 데이터를 기능이나 속성의 수학적 표현인 고차원 벡터로 저장하는 데이터베이스입니다. 데이터는 임베딩 기술을 사용하여 벡터로 저장됩니다.

미디어 채팅에서 선도적인 벡터 데이터베이스 공급업체인 Pinecone은 자사 도구가 Databricks와 같은 데이터 파이프라인 도구와 함께 사용되는 경우가 많다고 언급했습니다. 이 경우 데이터는 일반적으로 다른 곳에(예: 데이터 레이크) 저장된 다음 기계 학습 모델을 통해 내장된 데이터로 변환됩니다. 처리 및 청킹 후 결과 벡터는 Pinecone로 전송됩니다

3. 힌트 및 쿼리

다음 두 레벨은 힌트 및 쿼리로 요약될 수 있습니다. 이는 LLM 및 (선택 사항) 다른 상호 작용 지점을 사용한 AI 응용 프로그램입니다. 데이터 도구 인터페이스. A16z는 LangChain 및 LlamaIndex를 "오케스트레이션 프레임워크"로 지정합니다. 즉, 개발자가 어떤 LLM을 사용하고 있는지 이해하면 이러한 도구를 활용할 수 있습니다.

a16z에 따르면 LangChain 및 LlamaIndex와 같은 오케스트레이션 프레임워크는 "추상화되어 있습니다. 세부 사항에 대한 많은 힌트가 있습니다. "연결"이란 응용 프로그램과 LLM 간의 데이터를 쿼리하고 관리하는 것을 의미합니다. 이 오케스트레이션 프로세스에는 외부 API 인터페이스와의 상호 작용, 벡터 데이터베이스에서 컨텍스트 데이터 검색, 여러 LLM 호출에 걸쳐 메모리 유지 관리가 포함됩니다. a16z의 다이어그램에서 가장 흥미로운 상자는 OpenAI, nat.dev 및 Humanloop를 포함하는 "Playground"입니다.

A16z는 블로그 게시물에 정확하게 정의되어 있지 않지만 "Playground" 도구는 개발자가 A16z를 캐스팅하는 데 도움이 될 수 있다고 추론할 수 있습니다. 큐 주짓수". 이러한 장소에서 개발자는 다양한 프롬프트 기술을 실험할 수 있습니다.

휴먼루프는 영국 회사로 플랫폼의 특징은 "Collaborative Prompt Workspace"입니다. 또한 "프로덕션 LLM 기능을 위한 완전한 개발 툴킷"이라고 설명합니다. 따라서 기본적으로 LLM을 사용해 본 다음 작동하면 애플리케이션에 배포할 수 있습니다

4. 조립 라인 운영: LLMOps

현재 대규모 생산 라인의 레이아웃이 점차 명확해지고 있습니다. 오케스트레이션 상자 오른쪽에는 LLM 캐싱 및 검증을 포함한 많은 작업 상자가 있습니다. 또한 Hugging Face와 같은 개방형 API 저장소와 OpenAI와 같은 독점 API 제공자를 포함하여 다양한 LLM 관련 클라우드 서비스 및 API 서비스가 있습니다.

이것은 우리가 "클라우드 네이티브"에서 익숙한 개발일 수 있습니다. 시대 사람 기술 스택에서 가장 유사한 점은 많은 DevOps 회사가 제품 목록에 인공 지능을 추가했다는 것입니다. 이는 우연이 아닙니다. 지난 5월에는 Harness CEO Jyoti Bansal과 이야기를 나눴습니다. Harness는 CI/CD 프로세스의 "CD" 부분에 초점을 맞춘 "소프트웨어 제공 플랫폼"을 운영합니다.

Bansai는 AI가 기존 기능을 기반으로 사양 생성부터 코드 작성까지 소프트웨어 제공 수명 주기와 관련된 지루하고 반복적인 작업을 완화할 수 있다고 말했습니다. 또한 그는 AI가 코드 검토, 취약성 테스트, 버그 수정을 자동화하고 빌드 및 배포를 위한 CI/CD 파이프라인을 생성할 수도 있다고 말했습니다. 지난 5월에 나눈 또 다른 대화에 따르면 AI는 개발자 생산성도 변화시키고 있습니다. 빌드 자동화 도구 Gradle의 Trisha Gee는 AI가 상용구 코드 작성과 같은 반복 작업에 소요되는 시간을 줄이고 개발자가 코드가 비즈니스 요구 사항을 충족하는지 확인하는 등 큰 그림에 집중할 수 있도록 하여 개발 속도를 높일 수 있다고 말했습니다.

5. Web3가 출시되고 대규모 모델 개발 스택이 등장합니다

새로운 LLM 개발 기술 스택에서는 오케스트레이션 프레임워크(예: LangChain 및 LlamaIndex), 벡터 데이터베이스 및 Humanloop와 같은 일련의 새로운 제품 유형을 관찰할 수 있습니다. "놀이터" 플랫폼을 기다리고 있습니다. 이러한 모든 제품은 현 시대의 핵심 기술인 대규모 언어 모델을 확장 및/또는 보완하고 있습니다.

지난 몇 년간 Spring Cloud 및 Kubernetes와 같은 클라우드 기반 시대 도구의 등장과 같습니다. 그러나 이제 클라우드 네이티브 시대의 거의 모든 대기업, 중소기업 및 최상위 기업은 도구를 AI 엔지니어링에 적용하기 위해 최선을 다하고 있으며 이는 LLM 기술 스택의 향후 개발에 매우 ​​도움이 될 것입니다.

네, 이번에 큰 모델은 "거인의 어깨 위에 서 있는 것"과 같습니다. 컴퓨터 기술의 최고의 혁신은 항상 이전 기반 위에 구축됩니다. 아마도 이것이 "Web3" 혁명이 실패한 이유일 것입니다. 이전 세대를 기반으로 구축한 것이 아니라 이를 찬탈하려고 시도한 것입니다.

LLM 기술 스택이 해낸 것 같습니다. 클라우드 개발 시대에서 새로운 인공 지능 기반 개발자 생태계로의 다리가 되었습니다

참조 링크: //m.sbmmt.com/link/ c589c3a8f99401b24b9380e86d939842

위 내용은 대규모 모델 개발 도구 세트가 생성되었습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!