ZTE melancarkan 'Model Besar R&D Nebula”: Pembantu pengaturcaraan AI, 100 bilion token membuat penampilan sulung yang mengejutkan

IT House melaporkan bahawa semasa Persidangan Rakan Kongsi Global Mudah Alih China dari 11 hingga 13 Oktober 2023, ZTE menunjukkan "Model Besar R&D Nebula", yang direka untuk membantu pembangun menjalankan analisis permintaan , reka bentuk produk, pengaturcaraan, ujian dan penggunaan versi, dsb.

Menurut laporan, "Model Besar R&D Nebula" menyokong mekanisme senarai putih, yang boleh mengawal skop penggunaan dengan berkesan. Pada masa yang sama, ia juga boleh mengenal pasti serpihan kod sensitif secara berkesan melalui pengecaman nilai ciri kod, dan memantau serta memintas kandungan sensitif dalam masa nyata melalui mekanisme pengecaman perkataan sensitif. Selain itu, model ini juga mempunyai mekanisme audit latar belakang yang dapat mengesan sepenuhnya peristiwa keselamatan

ZTE menyatakan bahawa pada April 2023, "Model Besar R&D Nebula" telah dilancarkan Setakat ini, bilangan pengguna aktif harian telah mencapai 12,000, kadar penggunaan kod telah mencapai 40%~45%, kecekapan pengekodan. telah meningkat sebanyak 30%, dan keseluruhan R&D Meningkatkan kecekapan sebanyak 10%.

Menurut pengumuman rasmi, IT Home mengetahui bahawa ZTE akan menyuntik data domain, pengumpulan pengetahuan, sejumlah besar dokumen teknikal dalam bidang komunikasi dan 100 bilion korpus rangkaian tanpa wayar/teras/kod awan ke dalam model berskala besar untuk pertumbuhan Jumlah pra-latihan dan menggunakan rangka kerja latihan selari

ZTE mendakwa: “Penyelesaian penggunaan yang dibangunkan sendiri kami menggunakan strategi pemprosesan kelompok dinamik dan teknologi PagedAttention, digabungkan dengan kuantifikasi model tanpa kerugian, yang meningkatkan daya pemprosesan satu GPU (A800) yang mencapai 1500 token/ Saat, menggunakan hanya 4 kad GPU (A800) boleh memenuhi keperluan lebih daripada seribu orang Berbanding dengan penyelesaian penggunaan konvensional industri, daya pemprosesan satu GPU masing-masing meningkat lebih daripada 10 kali dan lebih daripada 20 kali digabungkan dengan kuantiti int4 . teknologi, saiz model dan penggunaan memori dikurangkan separuh tanpa mengurangkan ketepatan model.”

Atas ialah kandungan terperinci ZTE melancarkan 'Model Besar R&D Nebula”: Pembantu pengaturcaraan AI, 100 bilion token membuat penampilan sulung yang mengejutkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!