Ujian dalaman Kimi Chat bermula, Volcano Engine menyediakan penyelesaian pecutan, menyokong latihan dan inferens perkhidmatan model besar AI Moonshot

Pada 9 Oktober, Beijing Dark Side of the Moon Technology Co., Ltd. (Moonshot AI) mengumumkan satu kejayaan dalam bidang "teks panjang" dan melancarkan Kimi Chat, produk pembantu pintar pertama yang menyokong input sebanyak 200,000 aksara Cina. Ini ialah panjang input konteks terpanjang yang boleh disokong oleh perkhidmatan model besar yang boleh digunakan secara komersil di pasaran global, menandakan tahap terkemuka dunia Moonshot AI dalam teknologi penting ini.

The Volcano Engine mempunyai kerjasama yang mendalam dengan Moonshot AI untuk menyediakannya secara eksklusif dengan penyelesaian latihan AI dan pecutan inferens yang sangat stabil dan kos efektif Kedua-dua pihak bersama-sama menjalankan penyelidikan dan pembangunan teknologi untuk bersama-sama mempromosikan aplikasi model bahasa besar dalam menegak bidang dan senario umum. Pada masa yang sama, Kimi Chat tidak lama lagi akan menyertai platform perkhidmatan model besar Volcano Engine - Volcano Ark. Kedua-dua pihak akan terus menyediakan perusahaan dan pengguna dengan aplikasi AI yang lebih kaya dalam bidang ekologi model besar.

Berbanding dengan perkhidmatan model besar semasa di pasaran yang dilatih berdasarkan bahasa Inggeris, Kimi Chat mempunyai keupayaan berbilang bahasa yang kukuh Contohnya, Kimi Chat mempunyai kelebihan yang ketara dalam bahasa Cina, dan kesan penggunaan sebenar boleh menyokong konteks kira-kira 200,000. Aksara Cina. 2.5 kali ganda daripada Anthropic's Claude-100k (sebenarnya diukur kira-kira 80,000 perkataan), dan 8 kali ganda daripada OpenAI's GPT-4-32k (sebenarnya diukur kira-kira 25,000 perkataan). Pada masa yang sama, Kimi Chat boleh mencapai mekanisme perhatian jarak jauh tanpa kerugian di bawah ratusan bilion parameter melalui struktur rangkaian yang inovatif dan pengoptimuman kejuruteraan, dan tidak bergantung pada penyelesaian "pintasan" seperti tingkap gelongsor, pensampelan bawah dan model kecil yang boleh merosakkan prestasi.

Dalam temu bual sebelum ini, Yang Zhilin, pengasas Moonshot AI, pernah berkata bahawa pemampatan tanpa kehilangan data besar-besaran boleh mencapai tahap kecerdasan yang tinggi, sama ada teks, suara atau video. Had atas keupayaan model yang besar (iaitu, nisbah mampatan tanpa kehilangan) ditentukan oleh kedua-dua keupayaan satu langkah dan bilangan langkah yang dilaksanakan Yang pertama adalah berkaitan dengan bilangan parameter, dan yang terakhir merujuk kepada panjang konteks

Menghadapi cabaran untuk melaksanakan model bahasa yang besar dan mempromosikan pelaksanaan aplikasi industri

Moonshot AI percaya bahawa meningkatkan panjang konteks boleh membawa peluang pembangunan baharu kepada aplikasi model berskala besar, membolehkannya memasuki era LLM Panjang (LLLM) dari era LLM, dan mencapai penyesuaian yang tepat kepada pelbagai industri. Apabila meneroka kaedah yang berkesan untuk memproses adegan teks panjang, aplikasi model berskala besar perlu terus meneroka cara baharu untuk menyelesaikan masalah ilusi model dan meningkatkan kebolehkawalan kandungan yang dijana, sambil mencari laluan baharu untuk pembangunan keupayaan model skala besar yang diperibadikan. . Dalam proses pembangunan model bahasa berskala besar, adalah perlu untuk mengatasi pelbagai ambang seperti pengembangan keperluan sumber pengkomputeran, ketidakstabilan kejuruteraan tugas, kos projek yang tinggi, keselamatan dan kepercayaan, dll., untuk meningkatkan kecekapan latihan model

Untuk menyelesaikan masalah di atas, Moonshot AI telah bergabung dengan Volcano Engine untuk menginovasi teknologi AI dan menjalankan amalan AGI pada platform pembelajaran mesin Volcano Engine veMLP. Moonshot AI menggunakan sepenuhnya kumpulan sumber GPU dan berdasarkan model pra-latihan berskala besar untuk mencapai latihan biasa dan stabil pada skala ribuan kalori setiap hari, dalam tempoh enam bulan, ia melatih model bahasa besar Kimi Chat skala ratusan bilion parameter, membuka kunci penulisan adegan profesional dan teks ultra-panjang Ia boleh memahami senario yang kompleks seperti analisis, dialog diperibadikan dengan memori ultra-panjang, dan Soal Jawab pengetahuan berdasarkan sejumlah besar dokumen, dan telah berjaya. digunakan dalam banyak syarikat terkenal.

Pengasas bersama Moonshot AI Zhou Xinyu berkata: "Moonshot AI menumpukan pada penerokaan sempadan kecerdasan buatan umum dan komited untuk mengubah kuasa pengkomputeran kepada penyelesaian optimum pintar. Volcano Engine mempunyai keupayaan infrastruktur terkemuka domestik dan rizab kuasa pengkomputeran. Pada masa hadapan, kedua-dua pihak Kami akan terus bekerjasama dalam bidang seperti infrastruktur pengkomputeran AI dan pengembangan senario aplikasi untuk bersama-sama mempromosikan pembangunan teknologi kecerdasan buatan dan menyediakan pengguna pengalaman perkhidmatan yang stabil, cekap dan pintar.”

Dengan menggunakan platform pembelajaran mesin Volcano Engine, latihan model besar boleh menjadi lebih stabil dan lebih pantas

Enjin Volcano menyediakan penyelesaian latihan AI dan pecutan inferens yang sangat stabil dan kos efektif untuk pembinaan dan latihan model besar veMLP platform pembelajaran mesinnya telah digilap untuk masa yang lama oleh perniagaan pengguna besar-besaran seperti Douyin, dan telah membentuk satu. pengoptimuman kejuruteraan pembangunan AI timbunan penuh dan amalan terbaik seperti penyelesaian, pemulihan kesalahan tugas dan kebolehmerhatian eksperimen menyediakan perkhidmatan pembangunan dan lelaran AI sehenti yang cekap, stabil, selamat dan saling dipercayai, menjadikan latihan model besar lebih pantas. , lebih stabil dan lebih menjimatkan kos. Moonshot AI adalah berdasarkan penyelesaian latihan AI berskala ultra besar dan pecutan inferens yang disediakan oleh Enjin Gunung Berapi, membantu pasukan mencapai lelaran latihan berterusan, penalaan halus dan inferens model bahasa besar dengan cepat, stabil dan pada kos yang rendah.

1. Penjadualan berskala kuasa pengkomputeran IaaS dan sumber storan

Membina kluster pengkomputeran berprestasi tinggi untuk mencapai latihan model besar tahap 10,000, rangkaian kelewatan tahap mikrosaat dan pengkomputeran anjal boleh menjimatkan 70% kos kuasa pengkomputeran menggunakan penyelesaian pecutan berperingkat panas dan sejuk vePFS untuk memenuhi pemprosesan data latihan yang tinggi sambil memastikan kos penyimpanan keseluruhan dikurangkan sebanyak 65%. Untuk corak membaca dan menulis sistem fail model besar, kami bersama-sama membangunkan sistem caching fail khusus untuk meningkatkan penggunaan kad grafik dengan lebih baik.

2. Memastikan kestabilan kelompok pengkomputeran PaaS

Optimumkan kestabilan kluster latihan yang sangat besar, sediakan pengoptimuman pemulihan kerosakan perkakasan dan keupayaan diagnosis bebas, benarkan tugas pengguna untuk mencuba semula dengan pantas dan menyambung semula latihan, mencapai latihan stabil peringkat bulanan dan mengurangkan RingAllReduce melalui pengoptimuman pertalian komunikasi berbilang mesin tugas latihan Berkomunikasi merentasi suis.

3. Eksperimen dengan kebolehmerhatian yang tinggi

Percubaan pengurusan untuk pelbagai tugas latihan, dan bandingkan hasil latihan melalui visualisasi untuk menentukan model yang akan dilancarkan secara berulang menggunakan log pemantauan yang lengkap untuk membantu perniagaan menala parameter selari 3D dan membantu dalam mengesan kesilapan latihan

Keselamatan dan penyelesaian saling percaya untuk perkhidmatan model besar

Menggabungkan pengkomputeran privasi yang dipercayai dengan aplikasi LLM untuk menyediakan fungsi kotak pasir keselamatan dan meningkatkan kawalan kebenaran pembangun. Enjin Volcano juga berfungsi dengan Moonshot AI untuk mereka bentuk aliran kerja yang sesuai untuk tabiat pembangunan model yang besar, memastikan akses hierarki kepada data dan memastikan keselamatan data sambil memastikan kecekapan kerja.

Wu Di, ketua algoritma pintar Volcano Engine, berkata: "Volcano Engine sentiasa berpegang kepada sikap kerjasama yang memfokuskan pada teknologi, memperkasakan rakan kongsi dan simbiosis nilai. Moonshot AI mempunyai pasukan R&D model besar yang paling maju dalam China dan mempunyai pemahaman yang mendalam dan pengalaman aplikasi teknologi AI , kerjasama antara kedua-dua pihak akan terus menyediakan aplikasi AI yang lebih kaya kepada perusahaan dan pengguna dalam bidang perkhidmatan ekologi berbilang model.”

Pandangan panorama Ark Volcano

Pada masa ini, Volcano Ark telah menarik model besar daripada banyak syarikat teknologi AI dan institut penyelidikan seperti Zhipu AI, Minimax dan ByteDance Skylark. Perkhidmatan model besar Moonshot AI Kimi Chat juga akan datang ke Volcano Ark. Volcano Engine akan bekerjasama dengan pembekal perkhidmatan model besar domestik yang cemerlang untuk menyediakan rangkaian penuh fungsi dan perkhidmatan seperti latihan model, inferens, penilaian dan penalaan halus untuk membantu semua lapisan masyarakat mempercepatkan pembangunan AI. Semua syarikat dialu-alukan untuk mengalami model besar di Volcano Ark. Volcano Ark bersedia untuk berkembang bersama-sama dengan semua orang!

Atas ialah kandungan terperinci Ujian dalaman Kimi Chat bermula, Volcano Engine menyediakan penyelesaian pecutan, menyokong latihan dan inferens perkhidmatan model besar AI Moonshot. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!