OpenAI, Microsoft, Zhipu AI dan 16 syarikat lain di seluruh dunia menandatangani Komitmen Keselamatan Kepintaran Buatan Frontier

Isu keselamatan kecerdasan buatan (AI) sedang dibincangkan secara global dengan perhatian yang tidak pernah berlaku sebelum ini.

Sebelum pengasas OpenAI dan ketua saintis Ilya Sutskever dan ketua bersama pasukan OpenAI Super Alignment Jan Leike meninggalkan OpenAI satu demi satu, Leike juga menerbitkan satu siri siaran di X, mengatakan bahawa OpenAI dan kepimpinannya mengabaikan keselamatan dan memihak kepada glamor Produk cemerlang. Ini telah menarik perhatian meluas dalam industri, menonjolkan keseriusan isu keselamatan AI semasa pada tahap tertentu.

Pada 21 Mei, artikel yang diterbitkan dalam majalah Sains menyeru pemimpin dunia untuk mengambil tindakan lebih tegas terhadap risiko kecerdasan buatan (AI). Artikel itu menunjukkan bahawa saintis dan cendekiawan yang berwibawa, termasuk pemenang Anugerah Turing Yoshua Bengio, Geoffrey Hinton dan Yao Qizhi, percaya bahawa kemajuan yang dicapai dalam beberapa bulan kebelakangan ini tidak mencukupi. Pandangan mereka ialah teknologi kecerdasan buatan berkembang pesat, tetapi terdapat banyak potensi risiko dalam pembangunan dan aplikasi AI, termasuk privasi data, penyalahgunaan senjata kecerdasan buatan, dan kesan kecerdasan buatan pada pasaran kerja. Oleh itu, kerajaan mesti mengukuhkan penyeliaan dan perundangan serta menggubal dasar yang sesuai untuk mengurus dan membimbing pembangunan kecerdasan buatan. Selain itu, artikel itu juga

Kami percaya bahawa pembangunan AI yang tidak terkawal mungkin akhirnya membawa kepada kehilangan nyawa dan biosfera berskala besar, serta peminggiran atau kepupusan manusia.

Pada pandangan mereka, isu keselamatan model AI telah meningkat ke tahap yang cukup untuk mengancam kelangsungan masa depan umat manusia.

Begitu juga, isu keselamatan model AI telah menjadi topik yang boleh menjejaskan semua orang dan semua orang perlu mengambil berat tentangnya.

22 Mei ditakdirkan untuk menjadi detik utama dalam sejarah kecerdasan buatan: OpenAI, Google, Microsoft dan Zhipu AI dan syarikat lain dari negara dan wilayah yang berbeza telah menandatangani Komitmen Keselamatan Frontier AI secara rasmi meluluskan Akta Kepintaran Buatan (Akta AI), dan peraturan kawal selia AI komprehensif pertama di dunia akan berkuat kuasa.

Sekali lagi, isu keselamatan AI disebut di peringkat polisi.

Deklarasi Sidang Kemuncak Seoul Kecerdasan Buatan

Di "Sidang Kemuncak AI Seoul" dengan tema "keselamatan, inovasi dan keterangkuman", orang dari Amerika Utara, Asia, Eropah dan Timur Tengah 16 syarikat di rantau ini bersetuju dengan komitmen keselamatan untuk pembangunan AI dan bersama-sama menandatangani Komitmen Keselamatan Kecerdasan Buatan Frontier, termasuk perkara berikut:

• Pastikan struktur tadbir urus yang bertanggungjawab dan ketelusan untuk keselamatan AI yang canggih
• Berdasarkan keselamatan AI Rangka kerja untuk menerangkan secara bertanggungjawab bagaimana risiko model AI yang canggih akan diukur
• Wujudkan proses yang jelas untuk mekanisme pengurangan risiko bagi model keselamatan AI yang canggih.

Pemenang Anugerah Turing Yoshua Bengio percaya bahawa penandatanganan Komitmen Keselamatan Kepintaran Buatan Frontier "menandakan langkah penting dalam mewujudkan sistem tadbir urus antarabangsa untuk mempromosikan keselamatan kecerdasan buatan."

Sebagai sebuah syarikat model besar dari China, Zhipu AI juga telah menandatangani komitmen keselamatan kecerdasan buatan yang canggih ini. Senarai lengkap penandatangan adalah seperti berikut:

dalam hal ini, OpenAI. Naib Presiden Hal Ehwal Global "Komitmen Keselamatan AI Frontier merupakan langkah penting dalam mempromosikan pelaksanaan amalan keselamatan sistem AI yang lebih meluas," kata Presiden Anna Makanju "Komitmen ini akan membantu pemaju untuk Mewujudkan amalan terbaik keselamatan AI termaju yang penting. ” Zhang Peng, Ketua Pegawai Eksekutif Zhipu AI, berkata, “Dengan teknologi canggih datang tanggungjawab penting untuk memastikan keselamatan AI Baru-baru ini, Zhipu AI juga Mereka telah dijemput untuk muncul di ICLR 2024, persidangan AI teratas, dan berkongsi pendekatan khusus mereka untuk.” Keselamatan AI dalam ucaptama bertajuk "The ChatGLM's Road to AGI".

Mereka percaya bahawa teknologi Superalignment akan membantu meningkatkan keselamatan model besar, dan telah melancarkan pelan Superalignment yang serupa dengan OpenAI, dengan harapan untuk membolehkan mesin belajar belajar dan menilai sendiri, supaya dapat mempelajari kandungan yang selamat.

Mereka mendedahkan bahawa GLM-4V mempunyai langkah keselamatan ini terbina dalam untuk mencegah tingkah laku yang berbahaya atau tidak beretika sambil melindungi privasi pengguna dan keselamatan data dan versi GLM-4 yang dinaik taraf seterusnya ialah GLM -4.5 dannya model yang dinaik taraf juga harus berdasarkan teknologi superintelligence dan super-alignment.

Kami juga mendapati bahawa dalam kertas yang diterbitkan baru-baru ini, pasukan Zhipu AI dan Tsinghua memperkenalkan kaedah penjajaran model bahasa besar tanpa maklum balas yang menggunakan sejumlah besar perkataan negatif yang dijana sendiri.

Menurut huraian kertas, dengan hanya sasaran penalaan halus (SFT) yang diselia, Kontras Diri boleh menggunakan LLM sendiri untuk menjana sejumlah besar perkataan calon yang berbeza, dan menggunakan model benam yang telah dilatih untuk menapis berbilang negatif perkataan berdasarkan persamaan teks .

Pautan kertas: https://arxiv.org/abs/2404.00604

Pengoptimuman pilihan langsung (DPO) yang dapat mengekalkan kendiri dan eksperimen SFT-Contrast pada tiga set data Gotrast boleh mengekalkan kestabilan diri. latihan. Selain itu, prestasi Kontras Kendiri terus bertambah baik apabila bilangan sampel negatif yang dijana sendiri meningkat.

Secara keseluruhannya, kajian ini menyediakan kaedah baharu untuk penjajaran (seperti kaedah RLHF) dalam kes kehilangan data keutamaan. Apabila anotasi data keutamaan adalah mahal dan sukar diperoleh, data SFT yang tidak berlabel boleh digunakan untuk membina data keutamaan tatabahasa untuk mengimbangi kehilangan prestasi yang disebabkan oleh sampel positif yang tidak mencukupi dengan menambah bilangan sampel negatif.

Majlis Kesatuan Eropah secara rasmi meluluskan Akta Kepintaran Buatan

Pada hari yang sama, Majlis Kesatuan Eropah juga secara rasmi meluluskan Akta Kepintaran Buatan (AI Act), yang merupakan peraturan komprehensif pertama di dunia mengenai AI. peraturan kecerdasan buatan Mercu tanda, yang akan berkuat kuasa bulan depan dan pada masa ini hanya terpakai untuk kawasan dalam undang-undang EU, boleh menetapkan tanda aras global yang berpotensi untuk teknologi yang digunakan dalam perniagaan dan kehidupan seharian.

"Peraturan penting ini, yang pertama seumpamanya di dunia, menangani cabaran teknologi global sambil turut mewujudkan peluang untuk masyarakat dan ekonomi kita," kata Mathieu Michel, Menteri Pendigitalan Belgium dalam satu kenyataan.

Perundangan AI yang komprehensif ini mengambil pendekatan "berasaskan risiko", bermakna semakin tinggi risiko bahaya kepada masyarakat, peraturan yang lebih ketat. Sebagai contoh, model AI tujuan umum yang tidak menimbulkan risiko sistemik akan tertakluk kepada beberapa keperluan terhad, tetapi model yang melakukannya tertakluk kepada peraturan yang lebih ketat.

Denda untuk pelanggaran Akta Kepintaran Buatan, yang ditetapkan sebagai peratusan pusing ganti tahunan global syarikat yang bersalah pada tahun fiskal sebelumnya atau jumlah yang telah ditetapkan, yang mana lebih tinggi.

Kini, sama ada syarikat teknologi kecil atau agensi kerajaan yang besar, mencegah dan menyelesaikan isu keselamatan AI telah diletakkan dalam agenda. Seperti yang dikatakan oleh Philip Torr, profesor sains kejuruteraan di Universiti Oxford:

"Pada Sidang Kemuncak AI yang lalu, dunia bersetuju bahawa kita perlu mengambil tindakan, tetapi kini tiba masanya untuk beralih daripada cadangan yang tidak jelas kepada komitmen yang konkrit ."