획기적인 발전을 이룬 Google은 어젯밤에 수많은 대형 모델 제품을 업데이트했습니다.

이번 화요일, 구글은 구글 클라우드 넥스트 2024에서 최초로 로컬 음성(음성) 이해 기능을 제공하는 Gemini 1.5 Pro, 최초의 새로운 코드 생성 모델인 CodeGemma 등 AI 관련 모델 업데이트 및 제품 시리즈를 공개했습니다. 자체 개발한 Arm 프로세서 Axion 등

Gemini 1.5 Pro

Google의 가장 강력한 생성 AI 모델인 Gemini 1.5 Pro가 이제 Google의 기업 중심 AI 개발 플랫폼인 Vertex AI에서 공개 미리보기로 제공됩니다. Google의 기업용 AI 개발 플랫폼입니다. 처리할 수 있는 컨텍스트가 128,000개 토큰에서 100만 개 토큰으로 증가합니다. 100만 개의 토큰은 약 700,000단어 또는 약 30,000줄의 코드에 해당합니다. 이는 Anthropic의 주력 모델인 Claude 3가 입력으로 처리할 수 있는 데이터 양의 약 4배이고, OpenAI GPT-4 Turbo의 최대 컨텍스트 양의 약 8배입니다.

공식 원문 링크: https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html

이것 버전 최초로 로컬 오디오(음성) 이해 기능과 새로운 파일 API가 제공되어 파일 처리가 더 쉬워졌습니다. Gemini 1.5 Pro의 입력 모드는 Gemini API 및 Google AI Studio의 오디오(음성) 이해를 포함하도록 확장되고 있습니다. 또한 Gemini 1.5 Pro는 이제 Google AI Studio에 업로드된 동영상의 이미지(프레임) 및 오디오(음성)에 대해 추론을 수행할 수 있습니다.

Jeff Dean의 117,000개 이상의 토큰이 포함된 이 강의와 같은 강의 녹화본을 업로드할 수 있으며 Gemini 1.5 Pro에서는 이를 답변이 있는 테스트로 변환할 수 있습니다. (데모가 가속화되었습니다.)

Google은 Gemini API에서도 주로 다음 세 가지 내용을 포함하여 개선했습니다.

현재 Google AI Studio 및 Gemini API에서 시스템 명령을 사용하여 응답을 안내할 수 있습니다. 모델. 특정 사용 사례에 대한 모델 동작을 안내하는 역할, 형식, 목표 및 규칙을 정의합니다.

Google AI Studio에서 시스템 명령을 쉽게 설정하세요

2. JSON 모드: 모델에 JSON 개체만 출력하도록 지시합니다. 이 패턴을 사용하면 텍스트나 이미지에서 구조화된 데이터를 추출할 수 있습니다. 이제 cURL을 사용할 수 있으며 Python SDK도 곧 지원될 예정입니다.

3. 함수 호출 개선: 이제 모드를 선택하여 모델 출력을 제한하고 신뢰성을 향상시킬 수 있습니다. 텍스트, 함수 호출 또는 함수 자체를 선택하세요.

또한 Google은 유사한 모델보다 성능이 뛰어난 차세대 텍스트 임베딩 모델을 출시할 예정입니다. 오늘부터 개발자는 Gemini API를 통해 차세대 텍스트 임베딩 모델에 액세스할 수 있습니다. 이 새로운 모델인 text-embedding-004(Vertex AI의 text-embedding-preview-0409)는 MTEB 벤치마크에서 더 강력한 검색 성능을 달성하고 비슷한 크기의 기존 모델보다 성능이 뛰어납니다.

MTEB 벤치마크에서 256개의 희미한 출력을 사용하는 Text-embedding-004(일명 Gecko)는 모든 대형 768개의 희미한 출력 모델보다 성능이 뛰어났습니다

그러나 Gemini 1.5 Pro는 사용할 수 없다는 점에 유의해야 합니다. Vertex AI 및 AI Studio에 액세스할 수 없는 경우. 현재 대부분의 사람들은 Gemini 챗봇을 통해 Gemini 언어 모델에 참여합니다. Gemini Ultra는 Gemini Advanced 챗봇을 지원하며 강력하고 긴 명령을 이해할 수 있지만 Gemini 1.5 Pro만큼 빠르지는 않습니다.

세 가지 주요 오픈소스 도구

2024년 Google Cloud Next 컨퍼런스에서 회사는 주로 생성 AI 프로젝트 및 인프라를 지원하기 위해 여러 오픈소스 도구를 출시했습니다. 하나는 XLA(Accelerated Linear Algebra) 장치에서 실행되는 다양한 확산 모델의 참조 구현 모음인 Max Diffusion입니다.

GitHub 주소: https://github.com/google/maxdiffusion

두 번째는 생성 AI 모델을 실행하기 위한 새로운 엔진인 Jetstream입니다. 현재 JetStream은 TPU만 지원하지만 향후에는 GPU와도 호환될 수 있습니다. Google은 JetStream이 Google의 Gemma 7B 및 Meta의 Llama 2와 같은 모델에 비해 최대 3배의 가격/성능을 ​​제공할 수 있다고 주장합니다.

GitHub 주소: https://github.com/google/JetStream

세 번째는 클라우드 컬렉션의 TPU 및 Nvidia GPU용 텍스트 생성 AI 모델인 MaxTest입니다. . MaxText에는 이제 Gemma 7B, OpenAI의 GPT-3, Llama 2 및 AI 스타트업 Mistral의 모델이 포함되어 있으며 Google은 이 모든 것이 개발자의 요구에 맞게 맞춤화되고 미세 조정될 수 있다고 말합니다.

GitHub 주소: https://github.com/google/maxtext

최초의 자체 개발 Arm 프로세서 Axion

Google Cloud가 자사 최초의 자체 개발 프로세서 출시를 발표했습니다. Arm 프로세서 Axion이라는 Arm 프로세서를 개발했습니다. Arm의 Neoverse 2를 기반으로 하며 데이터 센터용으로 설계되었습니다. Google은 자사의 Axion 인스턴스가 AWS 및 Microsoft와 같은 경쟁업체의 다른 Arm 기반 인스턴스보다 성능이 30% 더 뛰어나고 해당 X86 기반 인스턴스보다 성능이 최대 50% 더 좋고 에너지 효율성이 60% 더 높다고 밝혔습니다.

Google은 화요일 출시 이벤트에서 Axion이 개방형 기반을 기반으로 구축되었기 때문에 Google Cloud 고객이 기존 Arm 워크로드를 수정 없이 Google Cloud로 가져올 수 있다고 강조했습니다.

그러나 구글은 아직 이에 대한 자세한 소개를 공개하지 않았습니다.

코드 완성 및 생성 도구 - CodeGemma

CodeGemma는 Gemma 모델을 기반으로 하며 강력하고 가벼운 코딩 기능을 커뮤니티에 제공합니다. 모델은 코드 완성 및 코드 생성 작업을 특별히 처리하는 7B 사전 훈련된 변형, 코드 채팅 및 명령 따르기를 위한 7B 명령 조정 변형, 로컬에서 빠른 코드 완성을 실행하는 2B 사전 훈련된 변형으로 나눌 수 있습니다. 컴퓨터.

CodeGemma에는 다음과 같은 장점이 있습니다.

• 스마트 코드 완성 및 생성: 로컬에서든 클라우드에서든 라인과 기능을 완성하고 전체 코드 블록을 생성할 수도 있습니다. 더 높은 정확도: CodeGemma는 주로 온라인 문서, 수학 및 교육용 코드에서 나온 5천억 개의 영어 데이터를 사용합니다. 생성된 코드는 문법적으로 더 정확할 뿐만 아니라 의미적으로도 더 의미가 있어 오류와 디버깅 시간을 줄이는 데 도움이 됩니다.
다국어 기능: Python, JavaScript, Java 및 기타 널리 사용되는 프로그래밍 언어 지원
간소화된 작업 흐름: CodeGemma를 개발 환경에 통합하여 상용구 코드 작성을 줄이고 작업 속도를 높입니다. 중요하고 흥미롭고 차별화된 코드를 작성하세요. .
• CodeGemma와 기타 주류 코드 대형 모델 간의 일부 비교 결과는 아래 그림에 나와 있습니다.

GSM8K, MATH 및 기타 데이터 세트에 대한 CodeGemma 7B 모델과 Gemma 7B 모델 간의 비교 결과입니다.

자세한 기술적 내용과 실험 결과는 Google에서 동시에 발표한 논문을 참조하세요.

문서 주소: https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf

개방형 언어 모델 - RecurrentGemma

Google DeepMind는 또한 일련의 개방형 언어 모델인 RecurrentGemma를 출시했습니다. RecurrentGemma는 Griffin 아키텍처를 기반으로 하며, 이는 긴 시퀀스를 생성할 때 글로벌 어텐션을 로컬 어텐션과 선형 반복의 혼합으로 대체하여 빠른 추론을 가능하게 합니다.

기술 보고서: https://storage.googleapis.com/deepmind-media/gemma/recurrentgemma-report.pdf

RecurrentGemma-2B는 다운스트림 작업에서 뛰어난 성능을 달성하며 Gemma와 비교할 수 있습니다. -2B(변압기 아키텍처)는 비슷합니다.

동시에 RecurrentGemma-2B는 추론 중에, 특히 긴 시퀀스에서 더 높은 처리량을 달성합니다.

동영상 편집 도구 - Google Vids

Google Vids는 AI 동영상 제작 도구이자 Google Workspace에 추가된 새로운 기능입니다.

Google에서는 Google Vids를 사용하면 사용자가 Docs 및 Sheets와 같은 다른 Workspace 도구와 함께 동영상을 만들고 동료와 실시간으로 공동작업할 수 있다고 말합니다.

기업용 코드 도우미 - Gemini Code Assist

Gemini Code Assist는 GitHub Copilot Enterprise에 대해 벤치마킹된 기업용 AI 코드 완성 및 지원 도구입니다. Code Assist는 VS Code 및 JetBrains와 같은 널리 사용되는 편집기용 플러그인으로 제공됩니다.

이미지 출처: https://techcrunch.com/2024/04/09/google-launches-code-assist-its-latest-challenger-to-githubs-copilot/

코드 지원 Gemini 1.5 Pro로 구동됩니다. Gemini 1.5 Pro에는 백만 개의 토큰 컨텍스트 창이 있어 Google 도구가 경쟁사보다 더 많은 컨텍스트를 도입할 수 있습니다. Google은 이것이 Code Assist가 더 정확한 코드 제안을 제공하고 대량의 코드를 추론하고 변경할 수 있음을 의미한다고 말합니다.

Google은 "Code Assist를 사용하면 고객이 전체 코드 기반을 대규모로 변경할 수 있어 이전에는 불가능했던 AI 지원 코드 변환이 가능해집니다."라고 말했습니다.

Agent Builder - Vertex AI

AI 지능은 올해 뜨거운 산업 발전 방향입니다. Google은 이제 기업이 AI 에이전트를 구축하는 데 도움이 되는 새로운 도구인 Vertex AI Agent Builder를 발표했습니다.

Google Cloud의 CEO인 Thomas Kurian은 다음과 같이 말했습니다. “Vertex AI Agent Builder를 사용하면 프로덕션 환경에서 바로 사용할 수 있는 AI 기반 생성 대화 에이전트를 매우 쉽고 빠르게 구축하고 배포할 수 있습니다. 모델 생성 결과의 품질과 정확성을 향상시키는 방법입니다."