AI Runner ialah program yang saya tulis yang membolehkan anda menjalankan LLM dan model seni Stable Diffusion secara tempatan, di luar talian pada perkakasan anda sendiri. Saya telah mengoptimumkan ini untuk kad grafik kelas bawah (diuji pada 2080s RTX dan 3060 RTX). Ia telah dibangunkan selama kira-kira dua tahun, adalah percuma, ular sawa tulen dan dikeluarkan di bawah GPL3.
Versi terkini, 3.0, telah dibangunkan selama beberapa bulan. Ia merupakan refactor lengkap aplikasi dan hampir siap dan akan menjadi keluaran bukan alfa pertama.
AI Runner telah dicipta dengan perpustakaan Pyside6 dan Huggingface. Untuk menyediakan keselamatan dan privasi yang lebih baik, saya mengeluarkan beberapa perpustakaan yang mana cakera kotak pasir, rangkaian dan operasi pengelogan, setiap satunya tidak mempunyai kebergantungan pihak ketiga.
Versi sebelumnya telah dikarang menggunakan pyinstaller dan dikeluarkan di itch.io tetapi bergerak ke hadapan saya akan menyasarkan Flatpak atau Snap pada Linux (saya telah menggugurkan sokongan Windows buat masa ini).
Jika anda menyukai kerja saya, anda boleh menyokong saya di Patreon - Saya melakukan ini secara percuma dan sebarang sokongan amat dihargai.
Atas ialah kandungan terperinci AI Runner v.ev18. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!