Set alat pembangunan model yang besar telah dicipta!

Kandungan yang perlu ditulis semula ialah: Pengarang Richard MacManus

Perancangan | Yan Zheng

Web3 gagal menumbangkan Web2, tetapi timbunan pembangunan model besar yang muncul adalah membenarkan Pembangun beralih daripada era "asli awan" kepada timbunan teknologi AI baharu.

Jurutera yang pantas mungkin tidak dapat menyentuh saraf pembangun untuk tergesa-gesa ke model besar, tetapi perkataan dari pengurus produk atau pemimpin: Bolehkah "ejen" dibangunkan, bolehkah "rantai" menjadi dilaksanakan, "Vektor mana yang hendak digunakan" "Pangkalan Data" telah menjadi titik sukar untuk memacu pelajar teknologi dalam syarikat aplikasi model besar arus perdana untuk mengatasi pembangunan AI generatif.

Apakah lapisan tindanan teknologi yang muncul? Di manakah bahagian yang paling sukar? Artikel ini akan membawa anda untuk mengetahui

1 Timbunan teknologi perlu dikemas kini. telah muncul, seperti LangChain dan LlamaIndex, yang menjadikan ekosistem pembangun aplikasi AI mula matang. Malah kini terdapat istilah yang digunakan untuk menggambarkan mereka yang menumpukan kepada pembangunan kecerdasan buatan, iaitu "jurutera AI". Menurut Shawn @swyx Wang, ini adalah langkah seterusnya untuk "jurutera segera". Dia juga mencipta carta koordinat yang menggambarkan tempat jurutera AI sesuai dengan ekosistem kecerdasan buatan yang lebih luas Sumber: swyx

Rajah timbunan LLM terbaik yang saya lihat setakat ini adalah daripada firma modal teroka Andreessen Horowitz (a16z). Inilah pendapatnya tentang "Timbunan apl LLM":

Sumber imej: a16z

Dalam tindanan teknologi LLM, data ialah komponen yang paling penting, ini sangat jelas. Menurut carta a16z, data berada di bahagian atas. Dalam LLM, "model terbenam" ialah kawasan yang sangat kritikal, dan anda boleh memilih daripada OpenAI, Cohere, Hugging Face atau berpuluh-puluh pilihan LLM lain, termasuk sumber terbuka yang semakin popular LLM#🎜 🎜#Sebelum menggunakan LLM , anda juga perlu mewujudkan "talian paip data". Sebagai contoh, pertimbangkan Databricks dan Airflow sebagai dua contoh, atau data boleh diproses "tidak berstruktur". Ini juga terpakai pada keberkalaan data dan boleh membantu syarikat "membersihkan" atau hanya menyusun data sebelum memasukkannya ke dalam LLM tersuai. Syarikat "Kecerdasan Data" seperti Alation menawarkan perkhidmatan jenis ini, yang kelihatan seperti alat seperti "Kecerdasan Perniagaan" yang lebih dikenali dalam timbunan teknologi IT

Bahagian terakhir lapisan data ialah Pangkalan data vektor popular terkini untuk menyimpan dan memproses data LLM. Menurut definisi Microsoft, ini ialah pangkalan data yang menyimpan data sebagai vektor dimensi tinggi, yang merupakan perwakilan matematik bagi ciri atau atribut. Data disimpan sebagai vektor menggunakan teknologi benam Dalam sembang media, vendor pangkalan data vektor terkemuka Pinecone menyatakan bahawa alatan mereka sering digunakan dengan alatan saluran paip data seperti Databricks. Dalam kes ini, data biasanya disimpan di tempat lain (seperti tasik data) dan kemudian diubah menjadi data terbenam melalui model pembelajaran mesin. Selepas memproses dan menggunting, vektor yang terhasil dihantar ke Pinecone

3, gesaan dan pertanyaan

Dua peringkat seterusnya boleh diringkaskan sebagai gesaan dan pertanyaan - ini Adalah titik interaksi untuk aplikasi AI antara muka dengan LLM dan (pilihan) alatan data lain. A16z meletakkan LangChain dan LlamaIndex sebagai "rangka kerja orkestra", bermakna apabila pembangun memahami LLM yang mereka gunakan, mereka boleh memanfaatkan alatan ini

Menurut a16z, alatan seperti LangChain dan LlamaIndex Rangka kerja orkestra "menjauhkan diri banyak butiran pautan segera," yang bermaksud menanya dan mengurus data antara aplikasi dan LLM. Proses orkestrasi ini termasuk berinteraksi dengan antara muka API luaran, mendapatkan semula data konteks daripada pangkalan data vektor dan mengekalkan memori merentas berbilang panggilan LLM. Kotak yang paling menarik dalam rajah a16z ialah "Taman Permainan", yang merangkumi OpenAI, nat.dev dan Humanloop Ia membantu pembangun melaksanakan apa yang A16z panggil "cue jiu-jitsu." Di tempat ini, pembangun boleh bereksperimen dengan pelbagai teknik dorongan.

Humanloop ialah sebuah syarikat British dan ciri platformnya ialah "ruang kerja segera kolaboratif". Ia seterusnya menggambarkan dirinya sebagai "kit alat pembangunan lengkap untuk fungsi LLM pengeluaran." Jadi pada asasnya ia membolehkan anda mencuba barangan LLM dan kemudian gunakannya ke dalam aplikasi anda jika ia berfungsi

4. Operasi talian pemasangan: LLMOps

Pada masa ini, susun atur barisan pengeluaran berskala besar semakin jelas. Di sebelah kanan kotak orkestra, terdapat banyak kotak operasi, termasuk caching dan pengesahan LLM. Di samping itu, terdapat pelbagai perkhidmatan awan dan perkhidmatan API yang berkaitan dengan LLM, termasuk repositori API terbuka seperti Hugging Face, dan penyedia API proprietari seperti OpenAI

Ini mungkin perkembangan yang biasa kita lakukan dalam "cloud native" era Perkara yang paling serupa dalam timbunan teknologi manusia ialah banyak syarikat DevOps telah menambahkan kecerdasan buatan pada senarai produk mereka, yang bukan kebetulan. Pada bulan Mei, saya bercakap dengan Ketua Pegawai Eksekutif Harness, Jyoti Bansal. Harness menjalankan "platform penghantaran perisian" yang memfokuskan pada bahagian "CD" proses CI/CD.

Bansai memberitahu saya bahawa AI boleh mengurangkan tugas yang membosankan dan berulang yang terlibat dalam kitaran hayat penghantaran perisian, daripada menjana spesifikasi berdasarkan fungsi sedia ada kepada menulis kod. Selain itu, beliau berkata AI boleh mengautomasikan semakan kod, ujian kerentanan, pembetulan pepijat, dan juga mencipta saluran paip CI/CD untuk binaan dan penggunaan. Menurut perbualan lain yang saya ada pada bulan Mei, AI juga mengubah produktiviti pembangun. Trisha Gee daripada alat automasi binaan Gradle memberitahu saya bahawa AI boleh mempercepatkan pembangunan dengan mengurangkan masa pada tugasan berulang, seperti menulis kod boilerplate dan membenarkan pembangun menumpukan pada gambaran besar, seperti memastikan kod memenuhi keperluan perniagaan.

5. Web3 sudah keluar, timbunan pembangunan model besar ada di sini

Dalam timbunan teknologi pembangunan LLM yang baru muncul, kita boleh melihat satu siri jenis produk baharu, seperti rangka kerja orkestrasi (seperti LangChain dan LlamaIndex), pangkalan data vektor dan Humanloop Menunggu platform "taman permainan". Semua produk ini memanjangkan dan/atau menambah teknologi teras era semasa: model bahasa besar

Sama seperti kebangkitan alatan era asli awan seperti Spring Cloud dan Kubernetes pada tahun-tahun sebelumnya. Walau bagaimanapun, pada masa ini, hampir semua perusahaan besar, kecil dan terkemuka dalam era asal awan cuba yang terbaik untuk menyesuaikan alat mereka kepada kejuruteraan AI, yang akan sangat bermanfaat kepada pembangunan tindanan teknologi LLM pada masa hadapan.

Ya, model besar kali ini seperti "berdiri di atas bahu gergasi". Mungkin itulah sebabnya revolusi "Web3" gagal - ia tidak begitu banyak membina generasi sebelumnya seperti cuba merampasnya.

Timbunan teknologi LLM nampaknya telah melakukannya, ia telah menjadi jambatan daripada era pembangunan awan kepada ekosistem pembangun berasaskan kecerdasan buatan yang lebih baharu

Pautan rujukan: //m.sbmmt.com/link/ c589c3a8f99401b24b9380e86d939842

Atas ialah kandungan terperinci Set alat pembangunan model yang besar telah dicipta!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!