Android에서 Llama 실행: Ollama 사용 단계별 가이드

Llama 3.2는 최근 Meta의 개발자 컨퍼런스에서 소개되어 인상적인 멀티모달 기능과 Qualcomm 및 MediaTek 하드웨어를 사용하는 모바일 장치에 최적화된 버전을 선보였습니다. 이 혁신을 통해 개발자는 Llama 3.2와 같은 강력한 AI 모델을 모바일 장치에서 실행할 수 있어 보다 효율적이고 비공개이며 반응성이 뛰어난 AI 애플리케이션을 위한 기반을 마련했습니다.

Meta는 Llama 3.2의 네 가지 변종을 출시했습니다.

• 다중 모드 모델 110억(11B) 및 900억(90B) 매개변수
• 텍스트 전용 모델 10억(1B) 및 30억(3B) 매개변수

대형 모델, 특히 11B 및 90B 변형은 이미지 이해 및 차트 추론과 같은 작업에 탁월하며 종종 Claude 3 Haiku와 같은 다른 모델보다 성능이 뛰어나며 어떤 경우에는 GPT-4o-mini와 경쟁하기도 합니다. 반면 경량 1B 및 3B 모델은 텍스트 생성 및 다국어 기능을 위해 설계되었으므로 개인 정보 보호와 효율성이 중요한 온디바이스 애플리케이션에 이상적입니다.

이 가이드에서는 Termux와 Ollama를 사용하여 Android 기기에서 Llama 3.2를 실행하는 방법을 보여 드리겠습니다. Termux는 Android에서 Linux 환경을 제공하고 Ollama는 대규모 모델을 로컬에서 관리하고 실행하는 데 도움을 줍니다.

Llama 3.2를 로컬에서 실행하는 이유는 무엇입니까?

AI 모델을 로컬에서 실행하면 두 가지 주요 이점이 있습니다.

1. 즉각적인 처리 모든 것이 기기에서 처리되기 때문입니다.
2. 개인 정보 보호 강화 처리를 위해 데이터를 클라우드로 보낼 필요가 없습니다.

아직 모바일 기기에서 Llama 3.2와 같은 모델을 원활하게 실행할 수 있는 제품은 많지 않지만 Android의 Linux 환경을 사용하여 탐색할 수 있습니다.

Android에서 Llama 3.2를 실행하는 단계

1. 안드로이드에 Termux 설치

Termux는 Android 기기가 루트 액세스 없이도 Linux 환경을 실행할 수 있게 해주는 터미널 에뮬레이터입니다. 무료로 제공되며 Termux GitHub 페이지에서 다운로드할 수 있습니다.

이 가이드를 보려면 termux-app_v0.119.0-beta.1 apt-android-7-github-debug_arm64-v8a.apk를 다운로드하여 Android 기기에 설치하세요.

2. Termux 설정

Termux를 시작한 후 다음 단계에 따라 환경을 설정하세요.

1. 저장소 액세스 권한 부여:

   termux-setup-storage

이 명령을 사용하면 Termux가 Android 기기의 저장소에 액세스하여 파일을 더 쉽게 관리할 수 있습니다.

1. 업데이트 패키지:

   pkg upgrade

Termux 및 설치된 모든 패키지를 업데이트하라는 메시지가 나타나면 Y를 입력합니다.

1. 필수 도구 설치:

   pkg install git cmake golang

이러한 패키지에는 버전 제어를 위한 Git, 소프트웨어 구축을 위한 CMake, Ollama가 작성된 프로그래밍 언어인 Go가 포함됩니다.

3. Ollama 설치 및 컴파일

Ollama는 대형 모델을 로컬에서 운영하기 위한 플랫폼입니다. 설치 및 설정 방법은 다음과 같습니다.

1. 복제 Ollama의 GitHub 저장소:

   git clone --depth 1 https://github.com/ollama/ollama.git

1. 올라마 디렉터리로 이동하세요:

   cd ollama

1. Go 코드 생성:

   go generate ./...

1. 올라마 구축:

   go build .

1. Ollama 서버 시작:

   ./ollama serve &

이제 Ollama 서버가 백그라운드에서 실행되어 모델과 상호 작용할 수 있습니다.

4. Llama 3.2 모델 실행

Android 기기에서 Llama 3.2 모델을 실행하려면 다음 단계를 따르세요.

1. 모델 선택:

   • llama3.2:3b(30억 개의 매개변수)와 같은 모델을 테스트할 수 있습니다. 이러한 모델은 효율성을 위해 양자화되었습니다. 올라마 홈페이지에서 이용 가능한 모델 목록을 확인하실 수 있습니다.

2. Llama 3.2 모델 다운로드 및 실행:
   

   ./ollama run llama3.2:3b --verbose

--verbose 플래그는 선택 사항이며 자세한 로그를 제공합니다. 다운로드가 완료되면 모델과 상호 작용을 시작할 수 있습니다.

5. 성과관리

삼성 S21 Ultra와 같은 기기에서 Llama 3.2를 테스트하는 동안 1B 모델의 성능은 원활했고 3B 모델의 경우 관리가 가능했지만 이전 하드웨어에서는 지연이 나타날 수 있습니다. 성능이 너무 느린 경우 더 작은 1B 모델로 전환하면 응답성이 크게 향상될 수 있습니다.

선택적 정리

Ollama를 사용한 후 시스템을 정리할 수 있습니다.

1. Remove Unnecessary Files:

   chmod -R 700 ~/go
   rm -r ~/go

1. Move the Ollama Binary to a Global Path:

   cp ollama/ollama /data/data/com.termux/files/usr/bin/

Now, you can run ollama directly from the terminal.

Conclusion

Llama 3.2 represents a major leap forward in AI technology, bringing powerful, multimodal models to mobile devices. By running these models locally using Termux and Ollama, developers can explore the potential of privacy-first, on-device AI applications that don’t rely on cloud infrastructure. With models like Llama 3.2, the future of mobile AI looks bright, allowing faster, more secure AI solutions across various industries.

위 내용은 Android에서 Llama 실행: Ollama 사용 단계별 가이드의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!