Transkrip ceramah Sam Altman yang dipadamkan: Open AI juga tidak mempunyai GPU, dan pengurangan kos ialah matlamat utama

1.2 bilion dolar AS + hampir semua kuasa pengkomputeran, selepas Microsoft menyerahkan "Half Life" kepada OpenAI.

Pengarang |. Lingzi County

Editor | Jelajah Eropah SamAltman masih dijalankan. Tidak lama dahulu, dia mengadakan pertemuan peribadi dengan CEO syarikat kecerdasan buatan HumanLoop di London. HumanLoop ialah sebuah syarikat yang menyediakan perkhidmatan untuk membina aplikasi pada model bahasa yang besar, dan matlamatnya adalah untuk membantu pembangun mencapai matlamat ini.

Ketua Pegawai Eksekutif HumanLoop Raza Habib merekodkan perkara utama perbualan dan menjadikannya tersedia di laman web rasmi syarikat.

Walau bagaimanapun, minit itu kemudiannya dialih keluar atas permintaan OpenAI.

Ini sebenarnya meningkatkan rasa ingin tahu dunia luar tentang perbualan ini. Sesetengah orang membuat spekulasi bahawa beberapa idea yang terlibat dalam OpenAI telah berubah.

Selepas menyemak imbas minit perbualan yang dipadamkan, Geek Park mendapati ia bukan sahaja melibatkan rancangan jangka pendek Sam untuk OpenAI, tetapi juga tersembunyi

Selepas menerima sokongan kuat daripada sumber pengkomputeran awan Microsoft, tekanan pada OpenAI. Lagipun, Penalaan halus dan inferens model masih menggunakan banyak sumber pengkomputeran. Menurut The Information, model Open AI telah menelan belanja Microsoft Azure $1.2 bilion Memfokuskan sumber pengkomputeran untuk menyokong OpenAI juga mengehadkan pelayan yang tersedia untuk jabatan Microsoft yang lain.

Dalam hal ini, Sam berkata

Mengurangkan kos ialah matlamat utama semasa. Selain itu, Sam turut mendedahkan: Pada masa ini, perkhidmatan seperti membuka tetingkap konteks yang lebih panjang dan menyediakan API penalaan halus

terhad oleh sumber GPU

Dalam perbualan ini, Sam Altman menjawab banyak isu yang membimbangkan dunia luar, seperti persaingan dan pengkomersilan:

Walaupun baru sahaja mengupah pengurus produk bertaraf dunia, Peter Deng, OpenAI tidak mempertimbangkan untuk mengeluarkan sebarang produk lagi

1. Arah aliran aplikasi masa hadapan adalah untuk membenamkan fungsi model besar ke dalam lebih banyak APP, dan bukannya mengembangkan lebih banyak pemalam pada ChatGPT, kerana sebenarnya kebanyakan pemalam tidak menunjukkan PMF (Produk/Pasaran Fit) ;
2. Sejak beberapa tahun kebelakangan ini, OpenAI telah menskalakan modelnya berjuta-juta kali, tetapi kadar ini tidak mampan. Seterusnya, OpenAI akan terus meningkatkan saiz model pada kadar 1 hingga 3 kali ganda untuk meningkatkan prestasi model.

Minit perbualan telah diumumkan pada 29 Mei dan dipadamkan sekitar 3 Jun mengikut rekod netizen.

Inilah perkara yang anda dapat daripada sandaran:

01

OpenAI pada masa ini dipengaruhi oleh

Had GPU yang teruk

Apabila perbualan berkembang,

Sumber pengkomputeran yang diperlukan meningkat secara eksponen

OpenAI pada masa ini mempunyai GPU yang sangat terhad, yang menangguhkan banyak rancangan jangka pendek mereka. Aduan terbesar daripada pelanggan ialah kebolehpercayaan dan kelajuan API. Sam mengakui kebimbangan mereka, menjelaskan bahawa

kebanyakan isu adalah disebabkan oleh kekurangan GPU.

Konteks 32k yang lebih panjang masih belum dapat dilancarkan kepada lebih ramai orang

Surga OpenAI tidak dapat mengatasi penskalaan perhatian O(n^2) dan walaupun nampaknya munasabah mereka akan mempunyai 100k - Tetingkap konteks token 1M tidak lama lagi (tahun ini) apa-apa perkara yang lebih besar akan memerlukan penemuan penyelidikan

Konteks 32K yang lebih panjang belum lagi tersedia kepada lebih ramai orang.

OpenAI belum lagi mengatasi masalah penskalaan O (n ^ 2) bagi mekanisme perhatian, walaupun nampaknya mereka akan mempunyai tetingkap konteks 100k-1M Token tidak lama lagi (tahun ini). Mana-mana tetingkap yang lebih besar memerlukan penemuan penyelidikan. Nota: O (n^2) bermakna apabila panjang jujukan bertambah,

sumber pengkomputeran yang diperlukan untuk melaksanakan pengiraan Perhatian meningkat secara eksponen.

O digunakan untuk menerangkan had atas atau senario terburuk kadar pertumbuhan masa algoritma atau kerumitan ruang (n^2) bermakna kerumitan adalah berkadar dengan kuasa dua saiz input.

API penalaan halus juga kini dihadkan oleh ketersediaan GPU.

Mereka belum lagi menggunakan kaedah penalaan halus yang cekap seperti Penyesuai atau LoRa, jadi menjalankan dan mengurus (model) melalui penalaan halus adalah sangat intensif dari segi pengiraan. Sokongan yang lebih baik untuk penalaan halus akan diberikan pada masa hadapan. Mereka juga mungkin menjadi tuan rumah pasaran berasaskan komuniti untuk sumbangan model. Peruntukan kapasiti khusus tertakluk pada ketersediaan GPU. OpenAI menyediakan kapasiti khusus untuk menyediakan pelanggan dengan salinan peribadi model. Untuk mendapatkan perkhidmatan, pelanggan mesti bersedia untuk melakukan $100,000 terlebih dahulu.

02

Pelan hala jangka terdekat OpenAI

2023, kurangkan kos pintar;

2024, demonstrasi terhad pelbagai mod

Sam turut berkongsi apa yang dilihatnya sebagai pelan hala tuju jangka terdekat sementara untuk API OpenAI.

2023:

• GPT-4 yang lebih murah dan pantas ーーIni adalah keutamaan mereka. Secara keseluruhannya, matlamat OpenAI adalah untuk mengurangkan "kos perisikan" sebanyak mungkin, jadi mereka akan bekerja keras untuk terus mengurangkan kos API dari semasa ke semasa.
• Tetingkap konteks yang lebih panjang ーーDalam masa terdekat, tetingkap konteks mungkin setinggi 1 juta Token.
• API Nudge ーAPI Nudge akan diperluaskan kepada model terkini, tetapi bentuk yang tepat akan bergantung pada pembangun yang menunjukkan perkara yang mereka mahukan.
• API stateful - Apabila memanggil API sembang hari ini, anda perlu melalui sejarah perbualan yang sama berulang kali dan membayar token yang sama berulang kali. Akan ada versi masa hadapan API yang mengingati sejarah sesi.

2024:

Multimodaliti - Ini sedang ditunjukkan sebagai sebahagian daripada keluaran GPT-4, tetapi tidak akan digunakan untuk semua orang sehingga lebih banyak GPU datang dalam talian.

03

Ramalan dan pemikiran pengkomersilan:

Palam masuk "Tiada PMF",

Mungkin tidak akan berada dalam API dalam masa terdekat

Ramai pembangun berminat dengan pemalam ChatGPT dengan akses API, tetapi Sam berkata dia tidak fikir ia akan dikeluarkan dalam masa terdekat. Sebagai tambahan kepada pemalam Brosing, penggunaan pemalam lain menunjukkan bahawa tiada PMF (Product/Market Fit) lagi. Beliau menegaskan bahawa ramai orang berpendapat mereka mahu aplikasi mereka berada dalam ChatGPT, tetapi apa yang mereka mahukan ialah ChatGPT wujud dalam aplikasi.

04

Kecuali ChatGPT,

OpenAI akan mengelak daripada bersaing dengan pelanggannya

Syarikat yang hebat mempunyai kesemuanya

Apl pembunuh

Ramai pembangun mengatakan mereka gementar untuk membangunkan menggunakan API OpenAI kerana OpenAI akhirnya mungkin mengeluarkan produk yang berdaya saing dengan mereka. Sam berkata, OpenAI tidak akan mengeluarkan apa-apa lagi produk di luar ChatGPT. Secara sejarah, beliau berkata, syarikat platform yang hebat mempunyai aplikasi pembunuh. ChatGPT akan membolehkan pembangun meningkatkan API dengan menjadi pelanggan produk mereka sendiri. Visi ChatGPT adalah untuk menjadi pembantu kerja yang sangat pintar, tetapi terdapat banyak kes penggunaan GPT lain yang OpenAI tidak akan meliputi.

05

Memerlukan pengawasan,

Tetapi bukan sekarang

「Berapa ramai orang dan syarikat yang saya suka

Ragu tentang kebolehan memegang model besar”

Walaupun Sam meminta pengawalseliaan model masa hadapan, dia tidak fikir model sedia ada berbahaya dan berpendapat mengawal selia atau mengharamkannya adalah satu kesilapan besar. Beliau sekali lagi menekankan kepentingan sumber terbuka dan berkata OpenAI sedang mempertimbangkan untuk menjadikan GPT-3 sumber terbuka. Mereka belum membuka sumbernya lagi, sebahagiannya kerana dia ragu-ragu tentang bilangan individu dan syarikat yang mampu memegang dan melayani model bahasa besar (LLM).

06

Hukum skala masih terpakai

Berjuta kali ganda kelajuan pengembangan dalam beberapa tahun,

Ia tidak boleh berterusan selamanya

Terdapat banyak artikel baru-baru ini yang mendakwa bahawa "era model AI gergasi telah berakhir." Ini tidak tepat. (Nota: Pada acara di MIT pada bulan April, Sam Altman berkata: Kami kini menghampiri penghujung era model gergasi.)

Data dalaman OpenAI menunjukkan bahawa hukum skala untuk prestasi model masih terpakai dan saiz model yang semakin meningkat akan terus meningkatkan prestasi.

Memandangkan OpenAI telah menskalakan modelnya berjuta-juta kali dalam beberapa tahun sahaja, kadar pengembangan ini tidak dapat dikekalkan. Ini tidak bermakna OpenAI tidak akan terus mencuba untuk menjadikan model lebih besar, tetapi ini bermakna bahawa bukannya meningkat dengan banyak pesanan magnitud, mereka mungkin akan berganda atau tiga kali ganda dalam saiz setiap tahun.

Memiliki undang-undang skala yang berkuat kuasa mempunyai implikasi penting untuk garis masa pembangunan AGI. Undang-undang skala mengandaikan bahawa kita mungkin sudah mempunyai kebanyakan elemen yang diperlukan untuk membina AGI, dan kerja yang selebihnya adalah mengenai penskalaan kaedah sedia ada kepada model yang lebih besar dan set data yang lebih besar. Jika umur skala di belakang kita, maka kita mungkin lebih jauh dari AGI. Hakikat bahawa undang-undang skala terus digunakan amat membayangkan garis masa yang lebih pendek.

Soalan dari seorang geek

Apa pendapat anda tentang OpenAI

Apakah pelan hala tuju teknikal dalam masa terdekat?

Video panas

Versi penuh paparan produk Apple Vison Pro didedahkan! Tiada perkakasan diperlukan, berjumpa antara satu sama lain. Campurkan dunia digital dan sebenar dengan lancar!

Suka dan ikutiAkaun Video Geek Park,

Tonton lebih banyak video menarik

Baca lebih lanjut

Atas ialah kandungan terperinci Transkrip ceramah Sam Altman yang dipadamkan: Open AI juga tidak mempunyai GPU, dan pengurangan kos ialah matlamat utama. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!