Model baharu yang mencabar OpenAI kini tersedia secara percuma, dengan 40% kuasa dan prestasi pengkomputeran menghampiri GPT-4

Pada hari Khamis, syarikat pemula AI Amerika Inflection AI secara rasminya mengeluarkan generasi baharu model bahasa besar Inflection-2.5.

Menurut laporan, Inflection-2.5 akan menggabungkan teknologi LLM yang berkuasa dan ciri unik "penalaan empati" Inflection, menyepadukan ciri kecerdasan emosi yang tinggi dan IQ tinggi. Ia boleh mendapatkan maklumat fakta melalui Internet, dan prestasinya setanding dengan model berskala besar terkemuka seperti GPT-4 dan Gemini.

Inflection-2.5 kini tersedia kepada semua pengguna Pi secara percuma pada Apl PC, iOS dan Android. Selepas ujian mudah oleh Heart of the Machine, kami mendapati bahawa masih terdapat jurang tertentu berbanding dengan GPT-4, tetapi ia masih berbaloi untuk dicuba. Pengguna yang berminat boleh mengalaminya sendiri.

Pautan: https://pi.ai/talk

Perlu diperhatikan bahawa Inflection-2.5 mencapai prestasi hampir dengan GPT-4, manakala proses latihan hanya menggunakan pengkomputeran GPT-4 40% kuasa.

Inflection AI menunjukkan bahawa generasi baharu model berskala besar telah mencapai kemajuan yang ketara dalam bidang seperti pengekodan pintar dan matematik. Kemajuan ini akan diterjemahkan kepada penambahbaikan konkrit kepada penanda aras industri utama, memastikan Pi kekal di barisan hadapan teknologi. Selain itu, Pi juga menyepadukan keupayaan carian web masa nyata bertaraf dunia untuk memastikan pengguna mempunyai akses kepada berita terkini berkualiti tinggi dan maklumat terkini.

Infleksi-2.5 lwn GPT-4

Infleksi-1 FLOP yang digunakan dalam latihan adalah kira-kira 4% daripada GPT-4, dan prestasi puratanya dalam pelbagai tugasan "berorientasikan IQ" adalah kira-kira GPT-4 72 % daripada tahap. Kini, Inflection-2.5 mencapai prestasi purata lebih 94% daripada GPT-4, walaupun hanya menggunakan 40% daripada FLOP GPT-4 untuk latihan. Seperti yang ditunjukkan dalam rajah di bawah, prestasi Inflection-2.5 telah mencapai peningkatan yang ketara secara menyeluruh, dengan peningkatan terbesar dalam pengetahuan domain STEM. Keputusan

Infleksi-2.5 pada dua peperiksaan STEM yang berbeza - Peperiksaan Matematik Hungary dan Peperiksaan Rekod Siswazah Fizik (GRE) - adalah seperti berikut:

yang ditunjukkan dalam jadual di bawah kajian Infleksi-2.5 juga dinilai pada penanda aras MMLU dan penanda aras GPQA Diamond. Penanda aras MMLU merangkumi 57 disiplin dalam STEM, kemanusiaan, sains sosial dan banyak lagi, menguji keupayaan pengetahuan komprehensif LLM secara berkesan, manakala penanda aras GPQA Diamond ialah penanda aras peringkat pakar yang amat sukar.

Pada penanda aras BIG-Bench-Hard, Inflection-2.5 meningkatkan prestasi lebih daripada 10% berbanding Inflection-1 dan setanding dengan GPT-4. Penanda aras BIG-Bench-Hard terutamanya merangkumi masalah yang sukar diselesaikan dengan model bahasa yang besar.

Kajian ini juga dinilai pada penanda aras MT-Bench. Walau bagaimanapun, pasukan penyelidik menyedari bahawa penanda aras mempunyai sebahagian besar (hampir 25%) contoh sampel dalam kategori Penaakulan, Matematik dan Pengekodan dengan penyelesaian rujukan yang salah atau premis yang cacat. Oleh itu, kajian membetulkan contoh-contoh ini dan menjalankan eksperimen penilaian sekali lagi, dan hasilnya ditunjukkan dalam jadual di bawah:

Hasil penilaian pada penanda aras GSM8k dan MATH menunjukkan bahawa Infleksi-2.5 adalah lebih baik daripada Inflection dari segi matematik dan keupayaan pengekodan -1 mempunyai peningkatan yang ketara:

Untuk menguji lagi keupayaan pengekodan Inflection-2.5, kajian itu menjalankan eksperimen penilaian ke atas dua penanda aras pengekodan, MBPP+ dan HumanEval+, dan hasilnya ditunjukkan dalam jadual berikut:

Pasukan penyelidik menilai Inflection-2.5 pada HellaSwag dan ARC-C, serta pelbagai model pada akal sehat dan tanda aras saintifik. Berdasarkan keputusan di bawah, Inflection-2.5 mencapai prestasi yang kukuh pada penanda aras ini.

Selain itu, semua penilaian di atas telah dilakukan menggunakan model yang kini didayakan Pi. Walau bagaimanapun, adalah penting juga untuk ambil perhatian bahawa pengalaman pengguna mungkin berbeza sedikit disebabkan oleh perolehan semula rangkaian (penanda aras di atas tidak menggunakan perolehan rangkaian), struktur gesaan beberapa tangkapan dan aspek pengeluaran lain.

Secara amnya, Inflection-2.5 mengekalkan ciri "berpusatkan hati" Pi dan piawaian keselamatan yang sangat tinggi, menjadi model yang lebih komprehensif dan berguna.

Sejak kebelakangan ini, persaingan teknologi untuk model bahasa besar telah memasuki peringkat yang sengit Di antara banyak syarikat teknologi, Mistral AI (Mistral Large) dan Anthropic (). menyerlah , teknologi baharu yang dicadangkan mencapai keupayaan hampir dengan GPT-4 dan Gemini Ultra. Infleksi-2.5, yang muncul semalam, nampaknya menyertai eselon pertama.

Sebagai permulaan bintang di Silicon Valley, Inflection AI mempunyai sejarah panjang Ia diasaskan pada 2022. Tiga pengasas bersamanya ialah bekas pengasas bersama DeepMind Mustafa Suleyman, pengasas bersama LinkedIn Reid Hoffman dan bekas ketua DeepMind. Saintis eksekutif Karen Simonyan.

Pada bulan Jun tahun lalu, Inflection AI mengumumkan bahawa ia telah menerima pembiayaan AS$1.3 bilion, diketuai oleh Microsoft, Nvidia, Reid Hoffman, Bill Gates dan bekas Ketua Pegawai Eksekutif Google Eric Schmidt. Pada masa ini, Inflection AI telah menjadi pemula AI generatif keempat terbesar di dunia.