ChatGPT가 100,000개 이상의 오픈 소스 AI 모델을 호출하게 하세요! HuggingFace의 새로운 기능이 호황을 누리고 있습니다. 대형 모델을 다중 모드 AI 도구로 사용할 수 있습니다.

ChatGPT와 채팅하면 100,000명 이상의 HuggingFace 모델에 전화할 수 있습니다!

HuggingFace가 출시한 최신 기능인 HuggingFace Transformers Agents입니다. 출시 이후 큰 주목을 받았습니다.

이 기능은 ChatGPT와 같은 대형 모델에 "멀티 모달" 기능을 탑재하는 것과 같습니다.— —

텍스트에만 국한되지 않고 이미지, 음성, 문서 등 다중 모드 작업도 해결 가능합니다.

예를 들어 ChatGPT에 "이 이미지 캡션"을 요청하고 비버 사진을 제공할 수 있습니다. ChatGPT를 사용하면 이미지 해석기를 호출하고 "A beaver is Swimming"을 출력할 수 있습니다.

그런 다음 ChatGPT가 텍스트 음성 변환을 호출하면 다음 문장을 몇 분 안에 읽을 수 있습니다.

A beaver is swim in the water Audio: 00:0000:01

ChatGPT와 같은 OpenAI의 대규모 모델을 지원할 뿐만 아니라 OpenAssistant와 같은 다른 무료 대규모 모델도 지원합니다.

Transformer Agent는 Hugging Face에서 AI 모델을 직접 호출하고 처리된 결과를 출력하도록 이러한 대형 모델을 "교육"하는 역할을 담당합니다.

그럼 새로 출시된 이 기능의 원리는 무엇일까요?

대형 모델이 다양한 AI를 "명령"하도록 하는 방법은 무엇입니까?

간단히 말하면 Transformers Agents는 대형 모델 전용 "얼굴을 껴안는 AI 도구 통합 패키지"입니다.

HuggingFace의 다양한 크고 작은 AI 모델이 이 패키지에 포함되어 있으며 "이미지 생성기", "이미지 해석기", "텍스트 음성 변환 도구"로 분류됩니다...

동시에 각 도구는 대형 모델이 어떤 모델을 호출해야 하는지 쉽게 이해할 수 있도록 해당 텍스트 설명이 있습니다.

이렇게 간단한 코드 + 프롬프트 단어만 있으면 빅모델이 직접 AI 모델을 실행하고 출력 결과를 실시간으로 돌려줄 수 있도록 하는 과정이 나누어져 있습니다.

먼저 사용하려는 대형 모델을 설정합니다. 여기에서 OpenAI의 대형 모델을 사용할 수 있습니다(물론 API는 유료입니다).

<code>from transformers import OpenAiAgentagent = OpenAiAgent(model="text-davinci-003", api_key="<your_api_key>")</your_api_key></code>

BigCode 또는 OpenAssistant와 같은 무료 대형 모델을 사용할 수도 있습니다. :

<code>from huggingface_hub import loginlogin("<your_token>")</your_token></code>

그런 다음 허깅 트랜스포머 에이전트를 설정하세요. 여기서는 기본 에이전트를 예로 들어 보겠습니다.

<code>from transformers import HfAgent# Starcoderagent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder")# StarcoderBase# agent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoderbase")# OpenAssistant# agent = HfAgent(url_endpoint="https://api-inference.huggingface.co/models/OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5")</code>

그런 다음 run() 또는 chat() 명령을 사용하여 Transformers 에이전트를 실행할 수 있습니다.

run()은 여러 AI 모델을 동시에 호출하여 더 복잡하고 전문적인 작업을 수행하는 데 적합합니다.

단일 AI 도구를 호출할 수 있습니다.

예를 들어, agent.run("강과 호수 그림을 그려주세요.")을 실행하면 AI Wensheng 다이어그램 도구를 호출하여 이미지 생성을 도와줍니다.

당신 동시에 여러 AI를 호출할 수도 있습니다.

예를 들어, Agent.run("바다 그림을 그린 다음 그림을 변환하여 섬을 추가하세요")을 실행하면 "Venture Picture" 및 "Tu Shengtu" 도구를 호출하여 해당 이미지:

chat()은 채팅을 통해 "지속적으로 작업을 완료"하는 데 적합합니다.

예를 들어 먼저 Agent Chat AI 도구를 호출하여 강과 호수 그림을 생성합니다: agent.chat ("강과 호수 그림 생성")

그런 다음 "차트 그리기" 기반을 만듭니다. 이 그림에 그림" 수정: Agent.chat ("그림에 바위가 들어가도록 변형하세요")

호출할 AI 모델은 직접 설정하거나 직접 사용할 수 있습니다. Huohuan 얼굴 설정과 함께 제공되는 기본값 세트가 완료되었습니다.

기본 AI 모델 세트가 설정되었습니다

현재 Transformers Agents는 Transformer 라이브러리에서 다음 AI 모델을 호출하여 완성되는 기본 AI 모델 세트를 통합했습니다.

1 시각적 문서 이해 모델 도넛. 이미지 형식(PDF에서 변환된 이미지 포함)의 파일을 제공하는 한, 해당 파일을 사용하여 파일에 대한 질문에 답변할 수 있습니다.

예를 들어 "TRRF 과학 자문위원회 회의는 어디서 열리나요?"라고 물으면 도넛은 다음과 같이 대답합니다.

2. 텍스트 질문 및 답변 모델 Flan-T5. 긴 글과 질문이 주어지면 다양한 텍스트 질문에 답하고 독해에 도움이 될 수 있습니다.

3. 제로샷 시각언어모델 BLIP. 이미지의 내용을 직접 이해하고 이미지에 대한 텍스트 설명을 제공할 수 있습니다.

4. 다중 모드 모델 ViLT. 주어진 이미지의 질문을 이해하고 답변할 수 있습니다.

5 다중 모드 이미지 분할 모델 CLIPseg. 모델과 프롬프트 단어만 제공하면 시스템이 프롬프트 단어를 기반으로 이미지에 지정된 콘텐츠(마스크)를 분할할 수 있습니다.

6. 자동 음성 인식 모델 Whisper. 녹음 내용의 텍스트를 자동으로 인식하고 전사를 완료할 수 있습니다.

7. 음성합성 모델 SpeechT5. 텍스트 음성 변환을 위해.

8. 자체 인코딩 언어 모델 BART. 텍스트 내용을 자동으로 분류하는 것 외에도 텍스트 요약을 만들 수도 있습니다.

9. 200개 언어 번역 모델 NLLB. 일반적인 언어 외에도 라오스어, 캄바어 등 덜 일반적인 언어도 번역할 수 있습니다.

위 AI 모델을 호출하면 이미지 질의응답, 문서 이해, 이미지 분할, 텍스트로 녹음, 번역, 캡션 추가, 텍스트 음성화, 텍스트 분류 등의 작업을 완료할 수 있습니다.

또한 Huo Hua Lian에는 웹에서 텍스트, Vincent 사진, 사진 및 Vincent 비디오 다운로드를 포함하여 Transformer 라이브러리 외부의 일부 모델을 포함한 "개인 상품"도 포함되어 있습니다.

이 모델은 다음을 수행할 수 있습니다. 개별적으로 호출할 수 있을 뿐만 아니라 함께 혼합할 수도 있습니다. 예를 들어 대형 모델에게 "비버의 멋진 사진을 생성하고 설명"하도록 요청하면 "Vincent Picture" 및 "Picture Understanding"을 호출합니다. 각각 AI 모델.

물론 이러한 기본 AI 모델을 사용하지 않고 보다 유용한 “도구 통합 패키지”를 설정하고 싶다면 단계에 따라 직접 설정할 수도 있습니다.

트랜스포머 에이전트의 경우 일부 네티즌들은 랭체인 에이전트의 '대체'와 비슷하다고 지적하기도 했습니다.

이 두 가지 도구를 사용해 보셨나요? 어느 것이 더 유용하다고 생각하시나요?

참조 링크: [1]https://twitter.com/huggingface/status/1656334778407297027[2]https://huggingface.co/docs/transformers/transformers_agents

위 내용은 ChatGPT가 100,000개 이상의 오픈 소스 AI 모델을 호출하게 하세요! HuggingFace의 새로운 기능이 호황을 누리고 있습니다. 대형 모델을 다중 모드 AI 도구로 사용할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!