Microsoft mendedahkan bahawa ia membelanjakan ratusan juta dolar untuk memasang superkomputer untuk OpenAI membangunkan ChatGPT, menggunakan puluhan ribu cip Nvidia

Berita pada 14 Mac, waktu tempatan di Amerika Syarikat pada hari Isnin, Microsoft mengeluarkan dokumen mendedahkan bahawa ia membelanjakan ratusan juta dolar untuk membantu OpenAI memasang superkomputer AI untuk membantu membangunkan sembang popular Sembang RobotGPT. Superkomputer ini menggunakan puluhan ribu cip grafik NVIDIA A100, yang membolehkan OpenAI melatih model AI yang semakin berkuasa.

OpenAI cuba melatih model AI yang lebih besar dan lebih besar, yang mengambil lebih banyak data dan mempelajari lebih banyak parameter, yang merupakan pembolehubah yang sistem AI fikirkan melalui latihan dan latihan semula. Ini bermakna OpenAI akan mengambil masa yang lama untuk mendapatkan sokongan perkhidmatan pengkomputeran awan yang kukuh.

Untuk menangani cabaran ini, apabila Microsoft melabur $1 bilion dalam OpenAI pada 2019, syarikat itu bersetuju untuk memasang superkomputer besar yang canggih untuk permulaan penyelidikan AI. Masalahnya ialah Microsoft tidak mempunyai apa-apa keperluan OpenAI, dan tidak pasti sepenuhnya ia boleh membina peranti yang begitu besar tanpa mengganggu perkhidmatan awan Azurenya.

Untuk melakukan ini, Microsoft terpaksa mencari cara untuk menyambungkan puluhan ribu cip grafik A100 Nvidia bersama-sama dan menukar cara pelayan diletakkan pada rak untuk mengelakkan gangguan bekalan elektrik. Cip grafik A100 adalah tenaga kerja untuk melatih model AI. Scott Guthrie, naib presiden eksekutif pengkomputeran awan dan AI Microsoft, tidak mendedahkan kos khusus projek itu, tetapi mencadangkan ia boleh mencecah ratusan juta dolar.

Nidhi Cappell, pengurus besar Microsoft Azure AI Infrastructure, berkata: "Kami telah membina seni bina sistem yang boleh berjalan pada skala yang sangat besar dan sangat boleh dipercayai. Ini adalah kejayaan ChatGPT. Sebab penting. Ini hanyalah satu model yang kami peroleh daripadanya, dan akan ada banyak model lain.”

Berdasarkan teknologi ini, OpenAI mengeluarkan chatbot ChatGPT yang popular. Dalam beberapa hari selepas pelancaran November lalu, ia telah menarik lebih daripada 1 juta pengguna dan kini sedang digabungkan ke dalam model perniagaan syarikat lain. Memandangkan minat perusahaan dan pengguna terhadap alatan kecerdasan buatan generatif (AIGC) seperti ChatGPT berkembang, penyedia perkhidmatan awan seperti Microsoft, Amazon dan Google akan menghadapi tekanan yang lebih besar untuk memastikan pusat data mereka boleh menyediakan semua Memerlukan kuasa pengkomputeran yang besar.

Sementara itu, Microsoft kini juga mula menggunakan infrastruktur yang dibina untuk OpenAI untuk melatih dan menjalankan model AI berskala besarnya sendiri, termasuk bot sembang carian Bing baharu yang dilancarkan bulan lepas. Syarikat juga menjual sistem kepada pelanggan lain. Gergasi perisian itu sudah pun mengusahakan superkomputer AI generasi akan datang sebagai sebahagian daripada perkongsian Microsoft yang diperluas dengan OpenAI, perjanjian di mana Microsoft menambah $10 bilion kepada pelaburannya.

Guthrie berkata dalam temu bual: "Kami tidak menyesuaikan apa-apa untuk OpenAI, walaupun ia pada mulanya disesuaikan, tetapi kami sentiasa membinanya secara umum supaya sesiapa yang mahu Sesiapa yang melatih model bahasa besar boleh memanfaatkan teknologi yang dipertingkatkan yang sama ini benar-benar membantu kami menjadi awan pintar AI yang lebih baik pada skala yang lebih luas.”

Melatih model AI berskala besar memerlukan tertentu Terdapat banyak unit pemprosesan grafik yang saling berkaitan, seperti superkomputer AI yang dipasang oleh Microsoft. Setelah model digunakan, menjawab semua soalan yang dikemukakan oleh pertanyaan pengguna (proses yang dipanggil inferens) memerlukan persediaan yang sedikit berbeza. Untuk tujuan ini, Microsoft juga menggunakan cip grafik untuk inferens, tetapi pemproses ini (beribu-ribu daripadanya) secara geografi tersebar di lebih daripada 60 pusat data syarikat. Microsoft berkata ia kini menambah cip grafik Nvidia H100 terkini untuk beban kerja AI dan versi terkini teknologi rangkaian Infiniband untuk berkongsi data dengan lebih pantas.

Bing baharu masih dalam fasa ujian dan Microsoft secara beransur-ansur menambah lebih ramai pengguna daripada senarai ujian. Pasukan Guthrie mengadakan mesyuarat setiap hari dengan kira-kira 20 pekerja, yang dia panggil "krew pit," yang asalnya merujuk kepada mekanik pasukan penyelenggaraan pasukan dalam perlumbaan. Tugas mereka ini ialah memikirkan cara untuk membawa lebih banyak kuasa pengkomputeran dalam talian dengan cepat dan menyelesaikan masalah yang timbul.

Perkhidmatan awan bergantung pada beribu-ribu komponen berbeza, termasuk pelayan, paip, konkrit bangunan, logam dan mineral yang berbeza, dan kelewatan atau kekurangan dalam mana-mana satu komponen, tidak kira betapa kecilnya, boleh mengganggu keseluruhan Projek yang terganggu. Baru-baru ini, 'krew pit' terpaksa membantu dengan kekurangan dulang kabel, peranti seperti bakul yang menahan kabel kehabisan mesin. Jadi mereka mereka bentuk dulang kabel baharu. Guthrie berkata mereka juga sedang mengusahakan cara untuk memasukkan seberapa banyak pelayan yang mungkin ke pusat data sedia ada di seluruh dunia supaya mereka tidak perlu menunggu bangunan baharu siap.

Apabila OpenAI atau Microsoft mula melatih model AI yang besar, kerja perlu dilakukan sekaligus. Kerja diagihkan kepada semua ​​GPU​​, dan pada satu ketika, GPU ini perlu bercakap antara satu sama lain untuk berkongsi kerja yang mereka lakukan. Untuk superkomputer AI, Microsoft mesti memastikan bahawa peralatan rangkaian yang mengendalikan komunikasi antara semua cip boleh mengendalikan beban ini, dan ia mesti membangunkan perisian yang memaksimumkan penggunaan GPU dan peralatan rangkaian. Syarikat itu kini telah membangunkan perisian yang boleh digunakan untuk melatih model AI dengan berpuluh trilion parameter.

Oleh kerana semua mesin telah dibut pada masa yang sama, Microsoft terpaksa mempertimbangkan di mana untuk meletakkannya dan di mana bekalan kuasa harus diletakkan. Jika tidak, pusat data akhirnya mungkin kehilangan kuasa. Microsoft juga perlu memastikan ia boleh menyejukkan semua mesin dan cip tersebut, kata Alistair Speirs, pengarah infrastruktur global di Azure Syarikat menggunakan penyejatan dalam iklim yang lebih sejuk, menggunakan udara luar, menggunakan teknologi tinggi sejuk paya dalam iklim panas.

Guthrie berkata bahawa Microsoft akan terus mengusahakan reka bentuk pelayan dan cip tersuai, serta cara untuk mengoptimumkan rantaian bekalan untuk memaksimumkan kelajuan, kecekapan dan penjimatan kos. Beliau berkata: "Model AI yang menakjubkan dunia sekarang dibina pada superkomputer yang kami mula bina beberapa tahun lalu, dan model baharu akan menggunakan superkomputer baharu yang kami latih sekarang. Komputer ini jauh lebih besar dan boleh mencapai prestasi yang lebih besar. Teknologi yang kompleks. ”

Microsoft sedang berusaha untuk menjadikan keupayaan AI Azure lebih berkuasa, melancarkan mesin maya baharu yang menggunakan GPU Tensor Core Nvidia H100 dan A100 serta rangkaian InfiniBand Quantum-2. Microsoft berkata ini akan membolehkan OpenAI dan syarikat lain yang bergantung pada Azure untuk melatih model AI yang lebih besar dan lebih kompleks.

Eric Boyd, naib presiden perusahaan Azure AI di Microsoft, berkata dalam satu kenyataan: "Kami mendapati bahawa kami perlu membina kluster khusus yang memberi tumpuan kepada menyokong usaha latihan berskala besar, dan OpenAI adalah salah satu bahagian awal bukti. Kami bekerjasama rapat dengan mereka untuk memahami syarat utama yang mereka perlukan dalam menyediakan persekitaran latihan dan perkara lain yang mereka perlukan." (Xiao Xiao)

Atas ialah kandungan terperinci Microsoft mendedahkan bahawa ia membelanjakan ratusan juta dolar untuk memasang superkomputer untuk OpenAI membangunkan ChatGPT, menggunakan puluhan ribu cip Nvidia. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!