Cara mengurangkan jejak karbon AI yang semakin meningkat

Apabila eksperimen pembelajaran mesin menjadi lebih kompleks, jejak karbonnya semakin membengkak. Kini, penyelidik telah mengira kos karbon untuk melatih satu siri model dalam pusat data pengkomputeran awan di lokasi yang berbeza. Penemuan mereka boleh membantu penyelidik mengurangkan pelepasan daripada kerja yang bergantung pada kecerdasan buatan (AI).

Pasukan penyelidik mendapati perbezaan ketara dalam pelepasan merentas lokasi geografi. Jesse Dodge, penyelidik pembelajaran mesin di Institut Allen untuk AI di Seattle, Washington, dan ketua bersama kajian itu, berkata bahawa dalam eksperimen AI yang sama, "kawasan yang paling cekap menghasilkan pelepasan kira-kira satu pertiga daripada yang paling kurang cekap. wilayah.”

Priya Donti, penyelidik pembelajaran mesin di Carnegie Mellon University di Pittsburgh, Pennsylvania, dan pengasas bersama kumpulan AI Perubahan Iklim, berkata setakat ini, belum ada alat yang baik untuk mengukur awan- pengeluaran AI berasaskan.

"Ini adalah kerja hebat yang membantu memulakan perbualan penting tentang cara mengurus beban kerja pembelajaran mesin untuk mengurangkan pelepasan," katanya.

Penting lokasi

Dodge dan rakan usaha samanya, termasuk penyelidik dari Microsoft, memantau penggunaan kuasa semasa melatih 11 model AI biasa, daripada model bahasa yang menguasakan algoritma Google Translate to Vision untuk melabelkan imej secara automatik. Mereka menggabungkan data ini dengan anggaran bagaimana pelepasan daripada grid yang menjanakan 16 pelayan pengkomputeran awan Microsoft Azure berubah dari semasa ke semasa untuk mengira penggunaan tenaga latihan merentas pelbagai lokasi.

Kemudahan di lokasi yang berbeza mempunyai jejak karbon yang berbeza disebabkan oleh perubahan dalam sumber kuasa global dan turun naik dalam permintaan. Pasukan itu mendapati latihan BERT, model bahasa pembelajaran mesin biasa, di pusat data di Amerika tengah atau Jerman mengeluarkan 22-28 kilogram karbon dioksida, bergantung pada masa dalam setahun. Itu lebih daripada dua kali ganda pelepasan daripada eksperimen yang sama di Norway, yang mendapat sebahagian besar elektriknya daripada kuasa hidroelektrik, manakala Perancis kebanyakannya bergantung kepada kuasa nuklear.

Masa yang anda luangkan untuk melakukan eksperimen setiap hari juga penting. Sebagai contoh, Dodge berkata, melatih AI pada waktu malam di Washington, apabila tenaga elektrik negeri itu berasal daripada kuasa hidro, akan menghasilkan pelepasan yang lebih rendah daripada latihan AI pada siang hari, apabila elektrik pada waktu siang juga datang dari stesen minyak. Beliau membentangkan keputusan bulan lepas di persidangan Persatuan Jentera Pengkomputeran untuk Keadilan, Kebertanggungjawaban dan Ketelusan di Seoul.

Model AI juga berbeza dengan ketara dalam pelepasannya. Pengelas imej DenseNet menghasilkan pelepasan CO2 yang sama seperti mengecas telefon bimbit sambil melatih model bahasa bersaiz sederhana yang dipanggil Transformer (yang jauh lebih kecil daripada model bahasa popular GPT-3, yang dibuat oleh firma penyelidikan OpenAI) di California San Francisco menghasilkan kira-kira jumlah pelepasan yang sama seperti yang dihasilkan oleh isi rumah Amerika biasa dalam setahun. Selain itu, pasukan itu hanya melalui 13 peratus daripada proses latihan Transformer yang sepenuhnya akan menghasilkan pelepasan "berdasarkan magnitud membakar keseluruhan kereta api yang penuh dengan arang batu," kata Dodge.

Beliau menambah bahawa angka pelepasan juga dipandang remeh kerana ia tidak termasuk faktor seperti elektrik yang digunakan untuk overhed pusat data atau pelepasan yang digunakan untuk mencipta perkakasan yang diperlukan. Sebaik-baiknya, angka itu juga harus memasukkan bar ralat untuk mengambil kira potensi ketidakpastian yang ketara dalam pelepasan grid pada masa tertentu, kata Donti.

Pilihan yang lebih hijau

Semua faktor lain adalah sama, Dodge berharap penyelidikan ini dapat membantu saintis memilih pusat data untuk eksperimen yang meminimumkan pelepasan. "Keputusan ini ternyata menjadi salah satu perkara paling berkesan yang boleh dilakukan dalam disiplin," katanya. Hasil daripada kerja ini, Microsoft kini menyediakan maklumat tentang penggunaan kuasa perkakasannya kepada penyelidik menggunakan perkhidmatan Azurenya.

Chris Preist, yang mengkaji kesan teknologi digital terhadap kelestarian alam sekitar di Universiti Bristol di UK, berkata tanggungjawab untuk mengurangkan pelepasan seharusnya terletak pada penyedia awan dan bukannya penyelidik. Pembekal boleh memastikan bahawa pada bila-bila masa, pusat data dengan keamatan karbon terendah digunakan paling banyak, katanya. Donti menambah bahawa mereka juga boleh menggunakan dasar fleksibel yang membolehkan pembelajaran mesin berjalan untuk bermula dan berhenti apabila pelepasan dikurangkan.

Dodge berkata syarikat teknologi yang menjalankan eksperimen terbesar harus memikul tanggungjawab terbesar untuk ketelusan tentang pelepasan dan meminimumkan atau mengimbanginya. Beliau menyatakan bahawa pembelajaran mesin tidak selalunya berbahaya kepada alam sekitar. Ia boleh membantu mereka bentuk bahan yang cekap, mensimulasikan iklim, dan menjejaki penebangan hutan dan spesies terancam. Namun, jejak karbon AI yang semakin meningkat menjadi punca kebimbangan utama bagi sesetengah saintis. Dodge berkata bahawa sementara beberapa kumpulan penyelidikan sedang berusaha untuk mengesan pelepasan karbon, ketelusan "belum berkembang menjadi norma komuniti."

"Inti dari usaha ini adalah untuk cuba membawa ketelusan kepada subjek ini kerana ia sangat kurang sekarang," katanya.

Rujukan:

1. Dodge, J. et al.

Atas ialah kandungan terperinci Cara mengurangkan jejak karbon AI yang semakin meningkat. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!