Tencent mendedahkan kaedah latihan model besar terkini yang menjimatkan 50% kos kuasa pengkomputeran

Dalam konteks kekurangan kuasa pengkomputeran, cara meningkatkan kecekapan latihan dan inferens model besar serta mengurangkan kos telah menjadi tumpuan industri.

Pada 23 November, Tencent mendedahkan bahawa Angel, rangka kerja pembelajaran mesin yang dibangunkan sendiri di belakang model besar Hunyuan Tencent, telah dinaik taraf semula, dan model besar kecekapan latihan meningkat kepada 2.6 kali ganda daripada rangka kerja sumber terbuka arus perdana, dan melatih ratusan bilion model besar boleh menjimatkan 50% daripada kos kuasa pengkomputeran. Angel yang dinaik taraf menyokong latihan berskala ultra besar pada tahap 10,000-ka dalam satu tugasan, meningkatkan lagi prestasi dan kecekapan kelompok pengkomputeran khusus model besar Tencent Cloud HCC.

Pada masa yang sama, Angel juga menyediakan platform sehenti daripada pembangunan model kepada pelaksanaan aplikasi, menyokong pengguna untuk menghubungi Universiti Tencent Hunyuan dengan pantas melalui antara muka API atau denda- penalaan. Keupayaan model mempercepatkan pembinaan aplikasi model besar Lebih daripada 300 produk dan senario Tencent, seperti Tencent Conference, Tencent News dan Tencent Video, telah disambungkan kepada Tencent Hybrid Testing.

Pada masa ini, keupayaan yang berkaitan telah dibuka kepada dunia luar melalui Tencent Cloud. Berdasarkan rangka kerja pembelajaran mesin Angel yang dinaik taraf, platform Tencent Cloud TI boleh menyediakan latihan yang lebih baik dan keupayaan pecutan inferens, dan menyokong pelanggan menggunakan data mereka sendiri untuk latihan sehenti dan penalaan halus, dan mencipta aplikasi pintar eksklusif berdasarkan Hunyuan besar Tencent. model.

Rangka kerja pembelajaran mesin yang dibangunkan sendiri dinaik taraf, dan kecekapan latihan dan inferens model besar dipertingkatkan lagi

Dengan model besar Dengan kemunculan zaman, parameter model telah meningkat secara eksponen, mencapai tahap trilion. Model besar berkembang secara beransur-ansur daripada menyokong satu modaliti dan tugasan kepada menyokong pelbagai tugas dalam pelbagai modaliti. Di bawah trend ini, latihan model besar memerlukan kuasa pengkomputeran yang besar, jauh melebihi kelajuan pemprosesan cip tunggal, dan kehilangan komunikasi latihan yang diedarkan berbilang kad adalah besar. Cara meningkatkan kadar penggunaan sumber perkakasan telah menjadi prasyarat penting untuk pembangunan dan kepraktisan teknologi model besar domestik.

Untuk melatih model besar, Tencent telah membangunkan rangka kerja latihan pembelajaran mesin yang dipanggil AngelPTM, yang menyasarkan keseluruhan proses pra-latihan, penalaan halus model dan pengukuhan pembelajaran dipercepatkan dan dioptimumkan. AngelPTM menggunakan teknologi latihan ketepatan campuran FP8 terkini, menggabungkan selari 4D yang dioptimumkan secara mendalam dan mekanisme ZeROCache untuk mengoptimumkan storan Ia boleh serasi dengan pelbagai perkakasan domestik dan boleh berlatih dengan lebih sedikit sumber dan model yang lebih besar#. 🎜🎜#

Pada April 2023, Tencent Cloud mengeluarkan generasi baharu kumpulan pengkomputeran berprestasi tinggi HCC untuk model besar, dengan prestasi meningkat sebanyak 3 kali ganda berbanding generasi sebelumnya. Sebagai tambahan kepada peningkatan perkakasan, HCC juga telah melakukan pengoptimuman peringkat sistem pada protokol rangkaian, strategi komunikasi, rangka kerja AI dan penyusunan model, dengan banyak mengurangkan kos latihan, penalaan dan kuasa pengkomputeran. AngelPTM sebelum ini telah menyediakan perkhidmatan melalui HCC Peningkatan rangka kerja pembelajaran mesin Angel ini akan meningkatkan lagi prestasi kluster pengkomputeran khusus HCC untuk model besar dan membantu perusahaan mempercepatkan aplikasi praktikal model besar #🎜🎜. #

Untuk menyelesaikan cabaran latihan dan peningkatan kos inferens yang disebabkan oleh peningkatan dalam parameter model, rangka kerja inferens model besar Tencent yang dibangunkan sendiri, AngelHCF telah dipertingkatkan dengan mengembangkan keupayaan selari dan mengguna pakai pelbagai strategi pengoptimuman Perhatian. Pada masa yang sama, rangka kerja ini juga disesuaikan dengan pelbagai algoritma pemampatan untuk meningkatkan daya pemprosesan, dengan itu mencapai prestasi inferens yang lebih pantas dan kos yang lebih rendah, dan menyokong perkhidmatan inferens model besar

#🎜🎜 #Berbanding dengan rangka kerja arus perdana industri, kelajuan inferens AngelHCF meningkat sebanyak 1.3 kali ganda. Dalam aplikasi Tencent model besar Hunyuan Wenshengtu, masa inferens dipendekkan daripada 10 saat asal kepada 3 hingga 4 saat. Selain itu, AngelHCF juga menyokong pelbagai strategi pemampatan dan pengkuantitian model besar yang fleksibel, dan menyokong pemampatan automatik

Pembinaan aplikasi sehenti, membolehkan model besar digunakan " di luar kotak"

Sebagai model besar peringkat praktikal, model besar Hunyuan Tencent telah berorientasikan kepada senario aplikasi sejak permulaan penyelidikan dan pembangunan, dan telah diselesaikan kesukaran dalam melaksanakan model besar dalam amalan. Tencent mempunyai banyak jenis produk dan aplikasi serta jumlah trafik yang besar, menjadikannya sangat mencabar untuk benar-benar "menggunakan" model tersebut. Berdasarkan Angel, Tencent telah membina platform sehenti untuk akses model besar dan pembangunan aplikasi, termasuk perkhidmatan seperti pemprosesan data, penalaan halus, penilaian model, penggunaan satu klik dan pengoptimuman perkataan yang pantas, membolehkan model besar digunakan. "di luar kotak" menjadi mungkin.

Dari segi akses model, Tencent Hunyuan Large Model menyediakan model dengan saiz ratusan bilion, berpuluh bilion dan berbilion, menyesuaikan sepenuhnya dengan keperluan pelbagai aplikasi senario. Dengan penalaan halus yang mudah, anda boleh memenuhi keperluan perniagaan dan mengurangkan kos sumber untuk latihan model dan perkhidmatan inferens. Dalam senario aplikasi biasa seperti Soal Jawab dan klasifikasi kandungan, ia lebih menjimatkan kos Bilangan ujian dalaman model besar Hunyuan telah meningkat dua kali ganda berbanding bulan lepas, meliputi pelbagai medan seperti ringkasan teks, abstrak, penciptaan, terjemahan dan pengekodan .

Pada September 2023, Tencent Hunyuan, model berskala besar praktikal yang dibangunkan secara bebas oleh Tencent, telah diumumkan secara rasmi dan dibuka melalui Tencent Cloud. Tencent Hunyuan mempunyai skala parameter lebih daripada 100 bilion, dan korpus pra-latihan mengandungi lebih daripada 2 trilion token. Ia menyepadukan pengumpulan teknologi bebas Tencent dalam algoritma pra-latihan, platform pembelajaran mesin, dan sumber pengkomputeran asas, dan terus berulang dalam aplikasi untuk terus mengoptimumkan keupayaan model berskala besar. Pada masa ini, pelanggan daripada pelbagai industri seperti runcit, pendidikan, kewangan, penjagaan perubatan, media, pengangkutan, hal ehwal kerajaan, dll. telah mengakses model berskala besar Tencent Hunyuan melalui Tencent Cloud

Atas ialah kandungan terperinci Tencent mendedahkan kaedah latihan model besar terkini yang menjimatkan 50% kos kuasa pengkomputeran. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!