Pada tahun 2024, adakah terdapat kejayaan besar dan kemajuan dalam pemanduan autonomi hujung ke hujung di China?

Tidak semua orang dapat memahami bahawa Tesla V12 telah dipromosikan secara meluas di Amerika Utara dan telah mendapat lebih banyak pengiktirafan pengguna kerana prestasi pemanduan autonomi hujung-ke-hujungnya juga telah menjadi hala tuju teknikal yang paling dibimbangkan oleh semua orang industri pemanduan autonomi. Baru-baru ini, saya berpeluang mengadakan pertukaran dengan jurutera kelas pertama, pengurus produk, pelabur dan kakitangan media dalam banyak industri pemahaman asas pemanduan autonomi hujung ke hujung, Masih terdapat salah faham seperti ini. Sebagai seseorang yang cukup bernasib baik untuk mengalami fungsi bandar dengan dan tanpa gambar daripada jenama peringkat pertama domestik, serta dua versi FSD V11 dan V12, di sini saya ingin bercakap tentang beberapa perkembangan semasa berdasarkan saya latar belakang profesional dan menjejaki kemajuan Tesla FSD selama bertahun-tahun Pada peringkat ini, semua orang bercakap tentang salah faham biasa tentang pemanduan autonomi hujung ke hujung dan memberikan tafsiran saya sendiri tentang isu ini.

Ragu 1: Bolehkah persepsi hujung ke hujung dan membuat keputusan dan perancangan hujung ke hujung dikira sebagai pemanduan autonomi hujung ke hujung?

Semua langkah daripada input sensor kepada perancangan dan kemudian keluaran isyarat kawalan boleh diperolehi dari hujung ke hujung, supaya keseluruhan sistem boleh dilatih sebagai model besar, melalui latihan penurunan kecerunan, dan perambatan belakang kecerunan Semasa latihan model, parameter dikemas kini dan dioptimumkan dalam semua aspek model daripada input kepada output, supaya tingkah laku pemanduan keseluruhan sistem boleh dioptimumkan untuk trajektori keputusan pemanduan yang dilihat secara langsung oleh pengguna. Baru-baru ini, beberapa rakan telah mendakwa bahawa mereka adalah penderiaan hujung ke hujung atau membuat keputusan hujung ke hujung apabila mempromosikan pemanduan autonomi hujung ke hujung Malah, saya fikir kedua-dua ini tidak boleh dikira sebagai hujung ke-. menamatkan pemanduan autonomi, tetapi hanya boleh dianggap sebagai pemanduan autonomi hujung ke hujung Ia dipanggil persepsi dipacu data tulen dan perancangan keputusan berasaskan data tulen.

Sesetengahnya mungkin membuat keputusan berdasarkan model tertentu digabungkan dengan strategi hibrid kaedah tradisional untuk pengoptimuman trajektori checksum keselamatan, juga dikenali sebagai perancangan hujung ke hujung. Di samping itu, sesetengah orang percaya bahawa Tesla V12 bukanlah isyarat kawalan keluaran model yang tepat semata-mata, tetapi strategi hibrid yang menggabungkan beberapa kaedah peraturan. Menurut Green yang terkenal di http://X.com, dia menyiarkan tweet beberapa waktu lalu mengatakan bahawa kod peraturan masih boleh didapati dalam timbunan teknologi V12. Pemahaman saya tentang perkara ini ialah kod yang ditemui oleh Green berkemungkinan kod versi V11 yang disimpan oleh tindanan teknologi berkelajuan tinggi V12, kerana kita tahu bahawa pada masa ini V12 sebenarnya hanya menggantikan tindanan teknologi bandar asal dengan hujung ke hujung, dan kelajuan tinggi masih akan menggunakan penyelesaian V11, jadi Mencari beberapa serpihan kod biasa dalam kod terurai tidak bermakna V12 palsu "hujung ke hujung", tetapi berkemungkinan kod yang ditemui adalah berkelajuan tinggi kod. Malah, kita dapat melihat daripada AI+Day pada tahun 2022 bahawa V11 dan versi terdahulu sudah pun merupakan penyelesaian hibrid Oleh itu, jika V12 bukan model lengkap terus dari landasan, maka penyelesaiannya tidak akan jauh berbeza daripada versi sebelumnya. Jika Dengan cara ini, tiada penjelasan munasabah untuk lonjakan prestasi V12. Untuk rancangan Tesla sebelum ini, sila rujuk tafsiran saya tentang EatElephant pada AI+Day: Tesla AI Day 2022 -- Interpretation of World Words: Dia menggelar Festival Musim Bunga yang memandu sendiri Gala, sebuah pasukan R&D terpencar, dan tidak sabar-sabar untuk berubah menjadi syarikat teknologi AI. . kod diperkenalkan dan terdapat cabang if else, penghantaran stabil keseluruhan sistem akan dipotong, yang juga akan kehilangan kelebihan terbesar sistem hujung ke hujung untuk mendapatkan pengoptimuman global melalui latihan.

Ragu 2: Adakah hujung ke hujung ciptaan semula teknologi terdahulu?

Salah faham biasa yang lain adalah bahawa hujung ke hujung adalah untuk menumbangkan teknologi yang terkumpul sebelum ini dan melaksanakan inovasi teknologi baharu yang menyeluruh, dan ramai orang berfikir bahawa memandangkan Tesla baru sahaja mencapai dorongan pengguna sistem pemanduan autonomi hujung ke hujung , pengilang lain tidak akan dapat melaksanakannya sama sekali Tidak perlu mengulangi timbunan teknologi modular asal bagi persepsi, ramalan, dan perancangan Kita boleh terus masuk ke sistem hujung ke hujung daripada kelebihan yang datang lewat untuk mengejar atau mengatasi Tesla dengan cepat. Memang benar bahawa menggunakan model besar untuk melengkapkan pemetaan daripada input penderia kepada isyarat kawalan perancangan adalah pendekatan hujung-ke-hujung yang paling teliti Syarikat juga telah mencuba kaedah yang sama Contohnya, DAVE-2 dan Wayve Nvidia telah menggunakan kaedah yang serupa. Teknologi hujung ke hujung yang menyeluruh ini sememangnya lebih dekat dengan kotak hitam dan sukar untuk dinyahpepijat dan dioptimumkan secara berulang Pada masa yang sama, kerana isyarat input sensor seperti imej dan awan titik adalah ruang input berdimensi tinggi, isyarat kawalan keluaran. seperti sudut stereng dan kawalan pendikit Pedal bergerak ialah ruang keluaran berdimensi rendah, menjadikannya tidak boleh digunakan sepenuhnya untuk ujian kenderaan sebenar.

Sistem hujung ke hujung yang menyeluruh juga akan menggunakan beberapa tugas bantu biasa seperti segmentasi semantik, anggaran kedalaman dan tugas tambahan lain untuk membantu penumpuan model dan penyahpepijatan

Jadi FSD V12 yang sebenarnya kami lihat mengekalkan hampir semua kandungan visualisasi sebelumnya, yang menunjukkan bahawa FSD V12 dilatih dari hujung ke hujung pada asas persepsi yang kukuh yang asal, dan lelaran FSD bermula pada Oktober 2020 tidak ditinggalkan , Sebaliknya , ia telah menjadi asas teknikal yang kukuh untuk V12. Andrej Karparthy telah menjawab soalan yang sama sebelum ini Walaupun dia tidak terlibat dalam pembangunan V12, dia percaya bahawa semua pengumpulan teknologi sebelum ini tidak ditinggalkan, tetapi baru sahaja dialihkan dari hadapan ke belakang. Oleh itu, navigasi hujung ke hujung direalisasikan secara beransur-ansur berdasarkan teknologi asal dengan mengalih keluar sebahagian kod peraturan langkah demi langkah.

V12 mengekalkan hampir semua persepsi FSD, dan hanya membatalkan kandungan visual terhad seperti tong kon

Ragu 3: Bolehkah hujung ke hujung dalam Kertas akademik dipindahkan ke produk sebenar?

UniAD menjadi Kertas Terbaik CVPR 2023 sudah pasti mewakili jangkaan tinggi komuniti akademik untuk sistem pemanduan autonomi hujung ke hujung. Sejak Tesla memperkenalkan inovasi teknologi persepsi BEV visualnya pada 2021, komuniti akademik domestik telah melaburkan banyak keghairahan dalam persepsi BEV pemanduan autonomi, dan satu siri kajian telah dilahirkan, mempromosikan pengoptimuman prestasi dan penggunaan pelaksanaan kaedah BEV, kemudian Bolehkah hujung-ke-hujung mengikuti laluan yang sama, diketuai oleh ahli akademik dan diikuti oleh industri untuk menggalakkan pelaksanaan lelaran pesat teknologi hujung-ke-hujung dalam produk? Saya fikir ia agak sukar. Pertama sekali, penderiaan BEV masih merupakan teknologi yang agak modular, lebih pada tahap algoritma, dan prestasi peringkat permulaan tidak memerlukan volum data yang begitu tinggi Pelancaran set data sumber terbuka akademik berkualiti tinggi Nuscenes menyediakan pendahulu yang mudah untuk banyak keadaan penyelidikan BEV, walaupun penyelesaian penderiaan BEV yang diulang pada Nuscenes tidak dapat memenuhi keperluan prestasi peringkat produk, ia mempunyai nilai rujukan yang hebat sebagai bukti pemilihan konsep dan model. Walau bagaimanapun, ahli akademik kekurangan data yang tersedia hujung ke hujung berskala besar. Set data Nuplan terbesar pada masa ini mengandungi 1,200 jam data pengumpulan kenderaan sebenar di 4 bandar Walau bagaimanapun, pada mesyuarat laporan kewangan pada 2023, Musk berkata bahawa untuk pemanduan autonomi hujung ke hujung, "1 juta kes video telah dilatih, dan. ia hampir tidak boleh berfungsi." ; 2 juta, ia lebih baik sedikit; 3 juta, anda akan rasa Wow; apabila ia mencapai 10 juta, prestasinya menjadi luar biasa." Data pengembalian Autopilot Tesla secara amnya dianggap sebagai segmen 1 minit, jadi kes video 1 juta peringkat kemasukan adalah kira-kira 16,000 jam, iaitu sekurang-kurangnya urutan magnitud lebih daripada set data akademik terbesar. Ia harus diperhatikan di sini bahawa nuplan mengumpul data secara berterusan, jadi dalam data Terdapat kelemahan yang membawa maut dalam pengedaran dan kepelbagaian Kebanyakan data adalah adegan yang mudah, yang bermaksud bahawa menggunakan set data akademik seperti nuplan tidak boleh mendapatkan versi yang hampir tidak boleh masuk ke dalam kereta api.

Set data Nuplan sudah pun menjadi set data akademik berskala besar, tetapi penerokaan sebagai penyelesaian hujung ke hujung mungkin tidak mencukupi

Jadi kami melihat sebahagian besar autonomi hujung ke hujung memandu termasuk UniAD Tiada penyelesaian boleh dijalankan pada kenderaan sebenar, dan kami hanya boleh menggunakan penilaian gelung terbuka sebagai pilihan terbaik seterusnya. Kebolehpercayaan penunjuk penilaian gelung terbuka adalah sangat rendah, kerana penilaian gelung terbuka tidak dapat mengenal pasti masalah kekeliruan model dan sebab akibat, jadi walaupun model hanya belajar menggunakan ekstrapolasi laluan sejarah, ia boleh memperoleh gelung terbuka yang sangat baik. penunjuk, tetapi model sedemikian adalah Ia tidak tersedia sepenuhnya Pada tahun 2023, Baidu pernah menerbitkan Kertas yang dipanggil AD-MLP (https://arxiv.org/pdf/2305.10430) untuk membincangkan kelemahan penunjuk penilaian perancangan gelung terbuka Kertas hanya menggunakan maklumat sejarah , tanpa memperkenalkan apa-apa persepsi, ia telah memperoleh petunjuk penilaian gelung terbuka yang sangat baik, walaupun hampir dengan beberapa kerja SOTA semasa Walau bagaimanapun, jelas bahawa tiada siapa yang boleh memandu kereta dengan mata tertutup.

AD MLP mencapai penunjuk gelung terbuka yang baik dengan tidak bergantung pada input deria, yang menunjukkan bahawa menggunakan penunjuk gelung terbuka sebagai rujukan adalah sedikit kepentingan praktikal

Jadi, pengesahan dasar gelung tertutup boleh menyelesaikan masalah pembelajaran tiruan gelung terbuka? Sekurang-kurangnya buat masa ini, komuniti akademik secara amnya bergantung pada sistem simulasi gelung tertutup CARLA untuk penyelidikan dan pembangunan hujung ke hujung, tetapi model yang diperoleh CARLA berdasarkan enjin permainan juga sukar untuk dipindahkan ke dunia nyata.

Ragu 4: Adakah pemanduan autonomi hujung ke hujung hanyalah inovasi algoritma?

Akhirnya, hujung ke hujung bukan sekadar algoritma baharu. Model modul berbeza sistem pemanduan autonomi modular boleh dilatih secara berulang secara berasingan menggunakan data tugas masing-masing Walau bagaimanapun, setiap fungsi sistem hujung ke hujung dilatih pada masa yang sama, yang memerlukan data latihan sangat konsisten, dan setiap bahagian data mestilah tepat Semua label subtugas dilabelkan Setelah pelabelan tugasan gagal, ia akan menjadi sukar untuk menggunakan data ini dalam tugasan latihan hujung ke hujung kadar dan prestasi Talian Paip pelabelan automatik. Kedua, sistem hujung ke hujung memerlukan semua modul mencapai tahap prestasi tinggi untuk mencapai keputusan yang lebih baik dalam tugas output perancangan keputusan akhir-ke-hujung Oleh itu, secara amnya dipercayai bahawa ambang data akhir-. sistem hingga akhir adalah lebih tinggi daripada data setiap modul individu, dan ambang data bukan sahaja keperluan untuk kuantiti mutlak, tetapi juga pengedaran dan kepelbagaian data. Ini bermakna kami tidak mempunyai kawalan sepenuhnya kenderaan dan perlu menyesuaikan diri dengan berbilang pembekal dengan pelanggan model yang berbeza Anda mungkin menghadapi kesukaran yang lebih besar apabila membangunkan sistem hujung ke hujung. Mengenai ambang kuasa pengkomputeran, Musk menyatakan di X.com pada awal Mac tahun ini bahawa faktor pengehad terbesar FSD ialah kuasa pengkomputeran Baru-baru ini, Boss Ma berkata bahawa masalah kuasa pengkomputeran mereka telah bertambah baik, hampir pada masa yang sama , pada mesyuarat laporan kewangan Q1 2024, Tesla mendedahkan bahawa mereka kini mempunyai 35,000 sumber pengkomputeran H100, dan mendedahkan bahawa jumlah ini akan mencecah 85,000 menjelang akhir 2024. Tidak dinafikan bahawa Tesla mempunyai keupayaan pengoptimuman kejuruteraan kuasa pengkomputeran yang sangat berkuasa, yang bermaksud bahawa untuk mencapai tahap semasa FSD V12, terdapat kebarangkalian tinggi bahawa 35,000 H100 dan berbilion dolar dalam perbelanjaan modal infrastruktur adalah prasyarat yang diperlukan tidak secekap Tesla, maka ambang ini mungkin dinaikkan lagi.

Pada awal Mac, Musk berkata bahawa faktor pengehad utama dalam lelaran FSD ialah kuasa pengkomputeran

Pada awal April, Musk berkata bahawa jumlah pelaburan Tesla dalam kuasa pengkomputeran tahun ini akan melebihi 10 bilion dolar AS

Juga di http:/ /X.com Seorang netizen berkongsi tangkapan skrin eksekutif industri automotif Nvidia, Norm Marks pada mesyuarat tahun ini, dapat dilihat daripadanya menjelang akhir tahun 2023, jumlah kad grafik NV yang dimiliki Tesla benar-benar hebat pada histogram (Anak panah hijau di hujung sebelah kanan gambar kiri, teks tengah menerangkan bahawa bilangan kad grafik NV yang dimiliki oleh OEM No. 1 ini ialah > 7,000 nod DGX. OEM ini jelas Tesla . Setiap nod dikira sebagai 8 kad, 23 Menjelang akhir tahun ini, Tesla mungkin akan mempunyai lebih daripada 56,000 kad grafik A100, iaitu lebih daripada empat kali ganda daripada OEM peringkat kedua 35,000 kad H100 baharu yang dibeli pada tahun 2024).

Norm Marks berkongsi tangkapan skrin secara dalaman, sumber: , cara untuk mengesan masalah seawal mungkin, menyelesaikannya dalam cara terdorong data dan lelaran dengan cepat apabila kod peraturan tidak boleh digunakan pada masa ini merupakan cabaran yang tidak diketahui untuk kebanyakan autonomi memandu pasukan R&D.

Hujung ke hujung terakhir masih merupakan perubahan organisasi untuk pasukan R&D pemanduan autonomi semasa, kerana sejak pemanduan autonomi L4, struktur organisasi kebanyakan pasukan pemanduan autonomi adalah modular, bukan sahaja dibahagikan kepada kumpulan persepsi, kumpulan ramalan dan kumpulan kedudukan, kumpulan kawalan perancangan, dan juga kumpulan persepsi dibahagikan kepada persepsi visual, persepsi laser, dsb. Seni bina teknikal hujung ke hujung secara langsung menghapuskan halangan antara muka antara modul yang berbeza, menjadikan pasukan R&D hujung ke hujung perlu menyepadukan semua sumber manusia untuk menyesuaikan diri dengan paradigma teknologi baharu Ini merupakan cabaran hebat kepada organisasi pasukan yang tidak fleksibel budaya.