Untuk melindungi privasi pelanggan, jalankan model AI sumber terbuka secara tempatan menggunakan Ruby

OpenAI atau model proprietari lain. Oleh itu, kami memuat turun dan menjalankan model AI sumber terbuka dalam mesin maya AWS, memastikannya berada di bawah kawalan kami sepenuhnya. Pada masa yang sama, aplikasi

Rails boleh membuat

API panggilan ke AI dalam persekitaran yang selamat. Sudah tentu, jika isu keselamatan tidak perlu dipertimbangkan, kami lebih suka untuk bekerjasama secara langsung dengan OpenAI. Di bawah, saya akan berkongsi dengan anda cara memuat turun model AI sumber terbuka secara tempatan, biarkan ia berjalan, dan cara menjalankan skrip Ruby terhadapnya.

Motivasi untuk projek ini adalah mudah: keselamatan data. Apabila mengendalikan maklumat pelanggan yang sensitif, pendekatan yang paling boleh dipercayai biasanya melakukannya dalam syarikat. Oleh itu, kami memerlukan model AI tersuai untuk memainkan peranan dalam menyediakan tahap kawalan keselamatan dan perlindungan privasi yang lebih tinggi. Model sumber terbuka

Pada masa lalu

6 bulan telah ada produk baru di pasaran seperti:

dan Lamadsb. Sebilangan besar model AI sumber terbuka. Walaupun mereka tidak sekuat GPT-4, prestasi kebanyakan mereka telah melebihi GPT-3.5, dan mereka akan menjadi lebih dan lebih berkuasa seiring dengan berlalunya masa. Sudah tentu, model yang anda pilih bergantung sepenuhnya pada keupayaan pemprosesan anda dan perkara yang perlu anda capai. Memandangkan kami akan menjalankan model AI secara tempatan, kami memilih Mistral iaitu lebih kurang 4GB. Ia mengatasi prestasi GPT-3.5

pada kebanyakan metrik. Walaupun Mixtral berprestasi lebih baik daripada Mistral, ia adalah model besar yang memerlukan sekurang-kurangnya 48GB memori untuk dijalankan. ParameterApabila bercakap tentang model bahasa besar (LLM), kita cenderung untuk memikirkan tentang menyebut saiz parameternya. Di sini, model

Mistral yang akan kami jalankan secara tempatan ialah model parameter 7 bilion (sudah tentu,

Mixtral mempunyai 700 bilion parameter, dan GP-T, dan lebih kurang GP-T 1750 bilion parameter). Lazimnya, model bahasa besar menggunakan teknik berasaskan rangkaian saraf. Rangkaian saraf terdiri daripada neuron, dan setiap neuron disambungkan kepada semua neuron lain dalam lapisan seterusnya.

7 bilion, terdapat kira-kira

100

Jalankan model secara setempat

Untuk menjalankan model sumber terbuka secara setempat, anda mesti memuat turun aplikasi yang berkaitan terlebih dahulu. Walaupun terdapat banyak pilihan di pasaran, yang saya dapati paling mudah dan paling mudah untuk dijalankan pada Intel Mac ialah Ollama.

Walaupun

Ollama pada masa ini hanya berjalan pada Mac dan Linux pada masa hadapan, ia akan dijalankan pada masa hadapan Sudah tentu, anda boleh menggunakan WSL

(Windows Subsystem for Linux) pada Windows untuk menjalankan Linux shell.

Ollama bukan sahaja membenarkan anda memuat turun dan menjalankan pelbagai model sumber terbuka, tetapi juga membuka model pada port tempatan, membolehkan anda membuat API panggilan melalui Rubykod. Ini memudahkan Ruby pembangun menulis Ruby aplikasi yang boleh disepadukan dengan model tempatan. . sistem. Anda hanya perlu memuat turun Ollama melalui pautan

, luangkan masa 5, dan kemudian jalankan perisian itu. . Ini bermakna ia berjalan di latar belakang dan boleh menjalankan model anda. Untuk memuat turun model, anda boleh membuka terminal dan menjalankan arahan berikut:

ollama run mistral

mistral melalui Ollama, anda boleh menjalankan model yang sepadan secara terus. . Di sini kita hanya boleh membuat model tersuai. Untuk kes yang lebih terperinci, sila rujuk dokumentasi dalam talian Ollama.

Pertama, anda boleh mencipta Modelfile (fail model) dan menambah teks berikut di dalamnya:

FROM mistral# Set the temperature set the randomness or creativity of the responsePARAMETER temperature 0.3# Set the system messageSYSTEM ”””You are an excerpt Ruby developer. You will be asked questions about the Ruby Programminglanguage. You will provide an explanation along with code examples.”””

Mesej sistem AI yang muncul di atas adalah asas untuk respons khusus bagi model. Seterusnya, anda boleh menjalankan arahan berikut pada terminal untuk mencipta model baharu:

ollama create <model-name> -f './Modelfile</model-name>

ollama create ruby -f './Modelfile'

Pada masa yang sama, anda boleh menggunakan arahan berikut untuk menyenaraikan dan memaparkan model sedia ada anda:

ollama list

anda boleh jalankan arahan berikut model tersuai:

Ollama run ruby

Integrated dengan Ruby

sementara Ollama tidak mempunyai gem yang berdedikasi lagi, ruby pemaju boleh menggunakan kaedah http http http http http http http untuk berinteraksi dengan model. Ollama berjalan di latar belakang boleh membuka model melalui port 11434

//m.sbmmt.com/link/dcd3f83c96576c0fd437286a1ff6f1f0". Selain itu, dokumentasi untuk OllamaAPI juga menyediakan titik akhir yang berbeza untuk arahan asas seperti perbualan sembang dan mencipta benaman. Dalam kes projek ini, kami mahu menggunakan titik akhir

/api/chat

Ruby asas untuk berinteraksi dengan model:

1. Kefungsian di atas Rubykod termasuk: snippet: snippet net /http", "uri" dan "json" tiga perpustakaan masing-masing melaksanakan HTTP permintaan, menghuraikan
json
2. " masing-masing melaksanakan permintaan HTTP, menghuraikan URI
URI
3. data masing-masing. . ) objek URI. Gunakan kaedah Net::HTTP::Post.new dengan URI
sebagai parameter untuk membuat permintaan
4. HTTP POST baharu

Isi permintaan ditetapkan kepada rentetan
1. JSON yang mewakili nilai cincang. Cincang mengandungi tiga kunci: "model", "mesej" dan "strim". Antaranya, kunci model
ditetapkan kepada "
2. ruby", yang merupakan model kami; mewakili mesej pengguna. Nilai cincang;
3. Sistem ini membimbing model tentang cara bertindak balas terhadap maklumat. Kami telah menetapkannya dalam Modelfile.
Maklumat pengguna ialah gesaan standard kami.
Model akan bertindak balas dengan maklumat tambahan.
6. Pencincangan mesej mengikut corak yang bersilang dengan model AI. Ia datang dengan watak dan kandungan. Peranan di sini boleh menjadi Sistem, Pengguna dan Pembantu. Antaranya, permintaan

HTTP
5. dihantar menggunakan kaedah Net::HTTP.start
. Kaedah ini membuka sambungan rangkaian ke nama hos dan port yang ditentukan dan kemudian menghantar permintaan. Tamat masa bacaan sambungan ditetapkan kepada
6. 120 saat, lagipun saya sedang menjalankan 2019 IntelMac, jadi respons mungkin agak perlahan. Ini tidak akan menjadi masalah apabila berjalan pada pelayan AWS yang sepadan. Respons pelayan disimpan dalam pembolehubah "respons".
7. Ringkasan Kes

CRM). Daripada ini, pengguna boleh bertanya apa-apa soalan yang mereka ada tentang pelanggan mereka tanpa perlu menyaring ratusan rekod.

Pengenalan penterjemah

Julian Chen, editor komuniti 51CTO, mempunyai lebih sepuluh tahun pengalaman pelaksanaan projek IT, pandai mengawal sumber komunikasi dalaman dan luaran serta risiko dan pengetahuan dan pengalaman keselamatan maklumat. .