在 Android 上運行 Llama：使用 Ollama 的逐步指南

Llama 3.2 baru-baru ini diperkenalkan di Persidangan Pembangun Meta, mempamerkan keupayaan multimodal yang mengagumkan dan versi yang dioptimumkan untuk peranti mudah alih menggunakan perkakasan Qualcomm dan MediaTek. Kejayaan ini membolehkan pembangun menjalankan model AI yang berkuasa seperti Llama 3.2 pada peranti mudah alih, membuka jalan untuk aplikasi AI yang lebih cekap, peribadi dan responsif.

Meta mengeluarkan empat varian Llama 3.2:

• Model berbilang mod dengan 11 bilion (11B) dan 90 bilion (90B) parameter.
• Model teks sahaja dengan 1 bilion (1B) dan 3 bilion (3B) parameter.

Model yang lebih besar, terutamanya varian 11B dan 90B, cemerlang dalam tugas seperti pemahaman imej dan penaakulan carta, selalunya mengatasi model lain seperti Claude 3 Haiku dan malah bersaing dengan GPT-4o-mini dalam kes tertentu. Sebaliknya, model 1B dan 3B yang ringan direka untuk penjanaan teks dan keupayaan berbilang bahasa, menjadikannya sesuai untuk aplikasi pada peranti yang privasi dan kecekapan adalah kunci.

Dalam panduan ini, kami akan menunjukkan kepada anda cara menjalankan Llama 3.2 pada peranti Android menggunakan Termux dan Ollama. Termux menyediakan persekitaran Linux pada Android dan Ollama membantu dalam mengurus dan menjalankan model besar secara tempatan.

Mengapa Jalankan Llama 3.2 Secara Tempatan?

Model AI yang dijalankan secara tempatan menawarkan dua faedah utama:

1. Pemprosesan segera kerana semuanya dikendalikan pada peranti.
2. Privasi dipertingkat kerana tidak perlu menghantar data ke awan untuk diproses.

Walaupun tidak banyak produk yang membenarkan peranti mudah alih menjalankan model seperti Llama 3.2 dengan lancar, kami masih boleh menerokainya menggunakan persekitaran Linux pada Android.

Langkah-langkah untuk Menjalankan Llama 3.2 pada Android

1. Pasang Termux pada Android

Termux ialah emulator terminal yang membenarkan peranti Android menjalankan persekitaran Linux tanpa memerlukan akses root. Ia tersedia secara percuma dan boleh dimuat turun dari halaman Termux GitHub.

Untuk panduan ini, muat turun termux-app_v0.119.0-beta.1 apt-android-7-github-debug_arm64-v8a.apk dan pasang pada peranti Android anda.

2. Sediakan Termux

Selepas melancarkan Termux, ikut langkah ini untuk menyediakan persekitaran:

1. Berikan Akses Storan:

   termux-setup-storage

Arahan ini membolehkan Termux mengakses storan peranti Android anda, membolehkan pengurusan fail lebih mudah.

1. Kemas kini Pakej:

   pkg upgrade

Masukkan Y apabila digesa untuk mengemas kini Termux dan semua pakej yang dipasang.

1. Pasang Alat Penting:

   pkg install git cmake golang

Pakej ini termasuk Git untuk kawalan versi, CMake untuk membina perisian dan Go, bahasa pengaturcaraan di mana Ollama ditulis.

3. Pasang dan Susun Ollama

Ollama ialah platform untuk menjalankan model besar secara tempatan. Begini cara memasang dan menyediakannya:

1. Klon Repositori GitHub Ollama:

   git clone --depth 1 https://github.com/ollama/ollama.git

1. Navigasi ke Direktori Ollama:

   cd ollama

1. Jana Kod Go:

   go generate ./...

1. Bina Ollama:

   go build .

1. Mulakan Pelayan Ollama:

   ./ollama serve &

Kini pelayan Ollama akan berjalan di latar belakang, membolehkan anda berinteraksi dengan model.

4. Menjalankan Model Llama 3.2

Untuk menjalankan model Llama 3.2 pada peranti Android anda, ikut langkah ini:

1. Pilih Model:

   • Model seperti llama3.2:3b (3 bilion parameter) tersedia untuk ujian. Model-model ini diukur untuk kecekapan. Anda boleh mendapatkan senarai model yang tersedia di tapak web Ollama.

2. Muat turun dan Jalankan Model Llama 3.2:
   

   ./ollama run llama3.2:3b --verbose

Bendera --verbose adalah pilihan dan menyediakan log terperinci. Selepas muat turun selesai, anda boleh mula berinteraksi dengan model.

5. Menguruskan Prestasi

Semasa menguji Llama 3.2 pada peranti seperti Samsung S21 Ultra, prestasi lancar untuk model 1B dan boleh diurus untuk model 3B, walaupun anda mungkin melihat ketinggalan pada perkakasan lama. Jika prestasi terlalu perlahan, beralih kepada model 1B yang lebih kecil boleh meningkatkan responsif dengan ketara.

Pembersihan Pilihan

Selepas menggunakan Ollama, anda mungkin mahu membersihkan sistem:

1. Remove Unnecessary Files:

   chmod -R 700 ~/go
   rm -r ~/go

1. Move the Ollama Binary to a Global Path:

   cp ollama/ollama /data/data/com.termux/files/usr/bin/

Now, you can run ollama directly from the terminal.

Conclusion

Llama 3.2 represents a major leap forward in AI technology, bringing powerful, multimodal models to mobile devices. By running these models locally using Termux and Ollama, developers can explore the potential of privacy-first, on-device AI applications that don’t rely on cloud infrastructure. With models like Llama 3.2, the future of mobile AI looks bright, allowing faster, more secure AI solutions across various industries.

以上是在 Android 上運行 Llama：使用 Ollama 的逐步指南的詳細內容。更多資訊請關注PHP中文網其他相關文章！