Peningkatan model AI yang besar menguji kuasa pengkomputeran GPU domestik

Sejak populariti ChatGPT, penyelidikan dan pembangunan model AI besar telah muncul satu demi satu, dan pelbagai jenis model AI besar telah dilancarkan satu demi satu. Terdapat perang fanatik terhadap ratusan model di China.

Sebagai model data revolusioner, ChatGPT membawa kejutan bukan sahaja dalam kaedah pengeluaran kandungan, tetapi juga membolehkan industri melihat harapan kecerdasan buatan am, mempromosikan kemunculan berterusan model AI besar dan aplikasi baharu. Menurut pakar, tumpuan penyelidikan kecerdasan buatan masa depan sebahagian besarnya akan beralih kepada model besar, dan kami sedang memasuki era model besar.

Aplikasi luas kecerdasan buatan tradisional terdiri daripada tiga elemen: kuasa pengkomputeran, data dan algoritma. Walau bagaimanapun, dengan kemunculan era kecerdasan buatan am (AGI), data besar memerlukan banyak latihan dan pengoptimuman untuk mencapai ketepatan ramalan dan keupayaan generalisasi yang lebih tinggi, dan permintaan untuk kuasa pengkomputeran tidak lagi sama.

Sementara model berskala besar sedang giat dijalankan, "jurang" yang besar antara bekalan dan permintaan untuk kuasa pengkomputeran masih melebar Bagaimana untuk menyelesaikan "kebimbangan" kuasa pengkomputeran telah menjadi matlamat baharu untuk industri.

Terdapat jurang yang besar dalam kuasa pengkomputeran

Untuk terus mengoptimumkan model besar berdasarkan struktur Transformer, bilangan parameter yang semakin besar diperlukan untuk "diberi makan". kluster kuasa pengkomputeran semakin besar dan lebih besar.

Ambil ChatGPT sebagai contoh Dari segi kuasa pengkomputeran sahaja, OpenAI membina kluster kuasa pengkomputeran yang besar yang terdiri daripada hampir 30,000 kad grafik NVIDIA V100 untuk melatih ChatGPT. Dikira dengan separuh ketepatan FP16, ini ialah kluster kuasa pengkomputeran hampir 4000P.

Menurut laporan, skala parameter GPT-4 telah mencapai tahap 1 trilion, dan keperluan kuasa pengkomputeran yang sepadan juga meningkat dengan ketara. Data menunjukkan bahawa bilangan parameter model besar meningkat secara berkadaran dengan kuasa dua kuasa pengkomputeran.

Dengan pertumbuhan syarikat yang menumpukan kepada model AI yang besar, ditambah pula dengan ekosistem kecerdasan buatan yang mengelilingi model besar dan permintaan yang terhasil untuk kuasa pengkomputeran untuk inferens, jurang kuasa pengkomputeran pada masa hadapan akan menjadi lebih membimbangkan.

Jelas sekali, sama ada kuasa pengkomputeran mencukupi akan menentukan kejayaan atau kegagalan produk model besar setiap syarikat. Zou Yi, presiden Tianshu Zhixin Product Line, percaya bahawa untuk syarikat terkemuka, model besar GPT awal memerlukan kira-kira 10,000 GPU NVIDIA, tetapi model besar berulang mungkin memerlukan sekurang-kurangnya beribu-ribu GPU terkini untuk disiapkan. Dengan kemunculan ramai pengikut dalam bidang ini, syarikat berikut tidak boleh kalah kepada syarikat terkemuka dari segi kuasa pengkomputeran, malah perlu melabur lebih banyak dalam infrastruktur kuasa pengkomputeran untuk mengejar ketinggalan.

Ding Yunfan, Naib Presiden Seni Bina Sistem Teknologi Biren, menyampaikan ucapan tentang "Mencipta Sistem Latihan Model Besar Domestik Berdasarkan GPU Tujuan Am Berprestasi Tinggi" di Persidangan Zhiyuan Beijing, perhimpunan agung kecerdasan buatan industri. Beliau menegaskan bahawa faktor kejayaan ChatGPT terletak pada kejuruteraan dan algoritma Untuk inovasi kolaboratif, data adalah bahan api dan asas, terutamanya data berkualiti tinggi memainkan peranan enjin, yang melibatkan bukan sahaja; kluster GPU yang besar, tetapi juga kluster storan dan rangkaian.

Disebabkan larangan tersebut, permintaan utama dalam pasaran domestik ialah A800 dan H800 yang dilancarkan oleh NVIDIA untuk pasaran China Memandangkan permintaan terus berkembang, harga NVIDIA A800 telah meningkat dengan membimbangkan, dan kitaran penghantaran juga telah meningkat. dipanjangkan. Beberapa pesanan baharu mungkin tidak akan dihantar sehingga Disember."

Nasib baik, banyak syarikat domestik telah menerajui bidang GPU tujuan umum dan juga memajukan langkah demi langkah dalam bidang pengeluaran besar-besaran cip, pembinaan ekologi dan pengembangan aplikasi Dengan peningkatan pembuatan zaman Industri AIGC, arah aliran baharu turut memasuki ruang pasaran.

Memerlukan kuasa pengkomputeran dan perkakasan dan perisian

Walaupun terdapat peluang perniagaan baharu yang belum pernah berlaku sebelum ini, kita mesti merebut peluang kebangkitan model AI yang besar dan memahami keperluan kuasa pengkomputeran yang benar-benar menyokong model besar dari bawah ke atas.

Dalam hal ini, Zou Yi berkata bahawa bermula dari model, lapisan rangka kerja pengkomputeran dan pecutan operator, kuasa pengkomputeran mesti memenuhi tiga elemen utama Pertama, ia adalah universal dan boleh menyokong ubah bentuk pantas model, sokongan pantas yang baharu pengendali, dan sokongan pantas bagi pengendali baru, kedua, ia mudah digunakan, ia boleh dilaksanakan menggunakan modul algoritma sedia ada, dan pengalaman penalaan boleh digunakan untuk rujukan, ia mudah digunakan, ia boleh membina semula pengkomputeran selari , akses memori pertukaran sepenuhnya, pengkomputeran antara sambungan sepenuhnya, dsb.

Untuk merealisasikan tiga elemen utama ini, sebenarnya ada logik yang lebih penting di sebaliknya. Seperti yang dikatakan oleh Pengarah R&D Teras Kunlun Luo Hang secara terang-terangan, perindustrian kuasa pengkomputeran domestik mesti melalui tiga pintu sempit: Pertama, pengeluaran besar-besaran, yang boleh mencairkan pelaburan besar dalam pita keluar awal, dan mencairkan kos melalui pengeluaran besar-besaran adalah satu-satunya cara untuk mencapai keuntungan. , juga merupakan salah satu petunjuk untuk mengukur kematangan cip yang kedua adalah ekologi, untuk membolehkan pelanggan membangunkan aplikasi dengan lebih baik, kita mesti berusaha untuk membina ekosistem perisian yang munasabah dan sesuai; perisian dan perkakasan menjadi produk, yang mesti digabungkan dengan industri menegak untuk mencapai penyampaian nilai Produk.

Selain itu, untuk terus menyokong pengembangan besar-besaran parameter latihan, bukan sahaja pengeluar GPU mesti mempunyai keupayaan untuk membina ribuan hingga puluhan ribu kluster latihan kad GPU, tetapi juga mesti memastikan bahawa mereka boleh berfungsi secara berterusan tanpa kegagalan semasa proses latihan. Kestabilan dan kebolehpercayaan mewujudkan keperluan yang sangat ketat. Pada masa yang sama, ia juga mesti menyokong keupayaan anjal berskala untuk mencapai kebolehskalaan anjal kuasa pengkomputeran.

Menurut ringkasan Ding Yunfan, apabila melatih model besar yang mengandungi ratusan bilion parameter, pelanggan amat mengambil berat tentang kebolehstoran dan kebolehskalaan. Di samping itu, pelanggan juga memerlukan model yang mudah digunakan, cepat dan kos efektif.

Perlu dinyatakan bahawa untuk menyokong sepenuhnya pembangunan model besar, pengeluar domestik termasuk Cambrian, Kunlun Core, Suiyuan, Biren, Tianshu Zhixin, Muxi, Moore Thread dan pengeluar lain turut menumpukan pada sokongan teknikal asas banyak kerja rumah telah dilakukan untuk meningkatkan prestasi cip dengan memaksimumkan penggunaan semula data, pengiraan matriks besar berskala dan storan dan pengiraan tak segerak, dan pecutan Transformer ketepatan campuran. Pada masa yang sama, kami terus meningkatkan keupayaan kami dalam perisian asas.

"Selain memfokuskan pada kuasa pengkomputeran GPU, kos dan aspek lain, Biren juga menyediakan sokongan kuat dalam aspek berbilang dimensi: pertama, skala kelompok boleh dikembangkan atas permintaan, dan berbilang pesawat data boleh berkomunikasi secara selari untuk mengurangkan konflik; kedua, ia boleh mengakses pelbagai rangka kerja pembelajaran mesin yang melaksanakan penjadualan anjal dalam dimensi selari, menyokong toleransi kesalahan automatik dan pengembangan dan pengecutan, sangat mempercepatkan latihan, meningkatkan kecekapan, dan menyokong pemindahan tugas merentas suis, mengurangkan pemecahan sumber di bawah suis tunggal, meningkatkan penggunaan sumber dan menjamin Kestabilan tugas." Ding Yunfan berkata.

Ekologi adalah kunci kepada masa depan

Melihat pada tahap yang lebih mendalam, latihan model besar domestik tidak dapat dipisahkan daripada sokongan GPU dengan kuasa pengkomputeran yang besar, dan ia juga memerlukan pembinaan ekosistem perindustrian matang yang menyepadukan perisian dan perkakasan dengan liputan tindanan penuh.

Menjalankan latihan model besar AI boleh dianggap sebagai projek sistematik yang menguji peningkatan menyeluruh. Ding Yunfan berkata bahawa projek ini melibatkan kluster pengkomputeran berprestasi tinggi, platform pembelajaran mesin, perpustakaan pecutan, rangka kerja latihan, dan enjin inferens Ia memerlukan perkakasan teragih termasuk CPU, storan dan komunikasi untuk menyokong interkoneksi yang cekap dan berintegrasi dengan rangka kerja latihan proses mencapai kerjasama menyeluruh sambil mencapai pengembangan selari, kestabilan dan kebolehpercayaan.

Tepatnya kerana permintaan inilah GPU domestik mesti menyesuaikan diri dengan sistem latihan model besar dari perspektif yang tidak terhad kepada asas kuasa pengkomputeran Cara menyediakan kuasa pengkomputeran model besar sehenti dan perkhidmatan yang membolehkan untuk rakan kongsi industri adalah ujian muktamad, jadi pembinaan ekologi juga penting.

Mengenai permintaan ini, beberapa pengeluar GPU domestik telah pun menerajui dan komited untuk mencipta penyelesaian model besar susunan penuh yang menyepadukan perisian dan perkakasan, termasuk infrastruktur berprestasi tinggi berdasarkan cip kuasa pengkomputeran yang besar, penjadualan pintar dan pengurusan beribu-ribu platform pembelajaran mesin kad GPU, perpustakaan operator berprestasi tinggi dan perpustakaan komunikasi, serta rangka kerja latihan yang serasi dengan model besar arus perdana, terus berusaha.

Untuk bersama-sama mempromosikan inovasi kolaboratif kuasa pengkomputeran dan aplikasi model besar, ekosistem perindustrian pengeluar GPU dan model besar domestik turut mempercepatkan kadar kerjasama.

Dilaporkan bahawa Teknologi Biren telah berturut-turut menyertai sistem sumber terbuka teknologi model besar FlagOpen (Feizhi) Zhiyuan Research Institute dan projek "Makmal Ekologi Terbuka AI" Institut Penyelidikan Zhiyuan, dan telah menjalankan dalam bidang perisian model besar AI dan pembinaan ekologi perkakasan satu siri kerjasama. Projek utama Inovasi Sains dan Teknologi 2030 Kementerian Sains dan Teknologi "Kecerdasan Buatan Generasi Baharu" - "Platform Sokongan Model Asas Kecerdasan Buatan dan Teknologi Penilaian" di mana kedua-dua pihak mengambil bahagian telah mencapai kemajuan penting.

Selain itu, Biren Technology turut mengambil bahagian dalam pembinaan dan keluaran bersama "Fei Paddle AI Studio Hardware Ecological Zone", dengan harapan dapat bekerjasama rapat dengan ramai rakan ekologi termasuk Baidu Fei Paddle, menggabungkan rangka kerja AI China dan kuasa pengkomputeran AI. kelebihan menyediakan daya penggerak yang kuat untuk pembangunan industri AI China.

Menurut laporan, produk GPU tujuan am Tianshu Zhixin menyokong pelbagai rangka kerja model besar seperti DeepSpeed, Colossal dan BM Train Penyelesaian kluster kuasa pengkomputeran berdasarkannya juga menyokong model AIGC arus perdana seperti LLaMa, GPT-. 2, dan CPM model Pretrain dan Finetune juga disesuaikan dengan projek sumber terbuka berbilang institusi penyelidikan domestik, termasuk Universiti Tsinghua, Universiti Zhiyuan dan Universiti Fudan.

Melihat ke masa hadapan, permintaan untuk model AI yang besar akan terus meningkat Bagaimana pengeluar GPU domestik terus mengulangi produk, meningkatkan penyelesaian kuasa pengkomputeran dan menyesuaikan diri dengan model besar yang menyokong algoritma yang lebih cekap dan kompleks akan kekal sebagai ujian yang berkekalan. .

[Sumber: Jiwei.com]

Atas ialah kandungan terperinci Peningkatan model AI yang besar menguji kuasa pengkomputeran GPU domestik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!