Penggunaan model AI sumber terbuka dalam pembangunan

Sepanjang tahun lepas, sejumlah besar alatan dengan kecerdasan buatan telah muncul untuk memudahkan kehidupan pengguna, sama ada penjanaan imej atau chatbot, malah menskalakan kepada alatan yang melaksanakan gergasi dan profesional proses.

Saya telah menyelidik, mempelajari dan menguji banyak alat ini daripada chatgpt, gemini hingga dall-e atau midjourney, semuanya berfungsi dengan baik tetapi apabila saya ingin menskalakan aplikasi saya dengan alatan ini, saya mendapati ia tidak mempunyai sumber alternatif percuma atau terbuka.

Ini telah membuatkan saya mengambil langkah lebih jauh dan saya telah menemui ui resapan stabil (Penjanaan imej, https://github.com/AUTOMATIC1111/stable-diffusion-webui) dan dengan * ollama *(Chatbot, https://ollama.com/), kedua-duanya adalah alatan sumber terbuka yang membolehkan anda menjalankan perkhidmatan sebagai API untuk menggunakannya daripada mana-mana aplikasi kami, dengan ini saya telah tiba pada saya pergi lebih jauh dengan alternatif sumber terbuka, tetapi untuk ini berfungsi, saya mesti memastikan alatan ini berjalan untuk digunakan oleh aplikasi kami.

Untuk memahami cara untuk membawa ini ke aplikasi kami, adalah penting untuk memahami cara alat ini berfungsi dan pada asasnya perkara yang mereka lakukan ialah menggunakan fail dengan sambungan "safetensors" yang merupakan model LLM atau bahasa besar, model ini dilatih untuk melaksanakan fungsi yang berbeza mengikut keperluan orang yang melatihnya (Contoh: Penjanaan imej, terjemahan, pembangunan kod, chatbot, antara lain).

Dengan memahami sedikit tentang model LLM dan fail "safetensors", kami mendapat soalan berikut: cara menggunakan fail ini dalam aplikasi saya, dan di sinilah HugginFace masuk, tapak web/pangkalan data kecerdasan buatan sumber terbuka model, dan mereka telah mencipta perpustakaan mereka sendiri untuk python dengan 2 komponen yang sangat berguna untuk apa yang kita mahukan "Transformers" dan "Diffusers".

*Transformers *(https://huggingface.co/docs/transformers/index) ialah komponen yang membolehkan kami menggunakan mana-mana model teks khusus, contohnya menukar audio kepada teks atau sebaliknya, kotak sembang sebagai nyalaan Meta, antara lain.

pengubah import

import torch

model_id = "meta-llama/Llama-3.1-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)

pipeline("Hey how are you doing today?")

Penyerap (https://huggingface.co/docs/diffusers/index) ialah komponen yang membolehkan kami menggunakan mana-mana model khusus dalam penjanaan imej, seperti resapan stabil.

from diffusers import AutoPipelineForText2Image
import torch

pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe."

image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]

Proses ini dikenali sebagai LLM Model Inference, dan dari sini berdasarkan maklumat ini anda boleh mula menggunakan kecerdasan buatan dalam aplikasi anda yang berbeza dengan Python.

Perlu diingatkan bahawa saya juga telah cuba menggunakan inferens model dengan bahasa lain seperti nodejs dan sebenarnya ia tidak berfungsi sebaik dengan python, tetapi penting untuk menyebut bahawa perkakasan berkuasa diperlukan untuk LLM inferens model supaya perkara yang anda boleh simpan dengan menggunakan API ChatGPT atau Gemini yang anda boleh belanjakan untuk membeli perkakasan yang sesuai.

Ini adalah artikel pertama saya, saya harap laluan saya untuk menggunakan model LLM dalam pembangunan perisian membantu anda melangkau langkah pada laluan ini.

Atas ialah kandungan terperinci Penggunaan model AI sumber terbuka dalam pembangunan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!