Mari kita bincangkan tentang sistem pemanduan autonomi hujung ke hujung dan generasi seterusnya, serta beberapa salah faham tentang pemanduan autonomi hujung ke hujung?

Dalam sebulan yang lalu, atas sebab-sebab yang diketahui umum, saya telah mengadakan pertukaran yang sangat intensif dengan pelbagai guru dan rakan sekelas dalam industri. Topik yang tidak dapat dielakkan dalam pertukaran secara semula jadi adalah hujung ke hujung dan Tesla FSD V12 yang popular. Saya ingin mengambil kesempatan ini untuk menyelesaikan beberapa buah fikiran dan pendapat saya pada masa ini untuk rujukan dan perbincangan anda.

Bagaimana untuk menentukan sistem pemanduan autonomi hujung ke hujung, dan apakah masalah yang perlu kita jangkakan untuk menyelesaikan hujung ke hujung?

Menurut definisi paling tradisional, sistem hujung ke hujung merujuk kepada sistem yang memasukkan maklumat mentah daripada penderia dan secara langsung mengeluarkan pembolehubah yang membimbangkan tugas. Sebagai contoh, dalam pengecaman imej, CNN boleh dipanggil hujung-ke-hujung berbanding kaedah pengekstrak ciri + pengelas tradisional. Dalam tugas pemanduan autonomi, data daripada pelbagai penderia (kamera/LiDAR/Radar/IMU, dsb.) ialah input dan isyarat kawalan untuk pemanduan kenderaan (sudut pendikit/stering, dsb.) dikeluarkan secara langsung. Untuk mempertimbangkan masalah penyesuaian antara model yang berbeza, output juga boleh dilonggarkan ke trajektori kenderaan. Ini ialah definisi tradisional, atau apa yang saya panggil definisi hujung ke hujung yang sempit. Atas dasar ini, beberapa penyeliaan tugas perantaraan juga telah diperoleh untuk meningkatkan keupayaan prestasi.

Namun, selain definisi yang begitu sempit, kita juga harus memikirkannya secara asasnya, apakah intipati hujung ke hujung?Saya fikir intipati hujung-ke-hujung haruslah penghantaran maklumat deria tanpa kerugian. Mari kita ingat semula rupa antara muka antara modul penderiaan dan PnC dalam sistem bukan hujung ke hujung. Secara amnya, kami akan mempunyai pengesanan/analisis atribut/ramalan untuk objek senarai putih (kereta, orang, dll.), dan mempunyai pemahaman tentang persekitaran statik (struktur jalan/had laju/lampu isyarat, dsb.). berhati-hati, Kami juga akan melakukan beberapa kerja pengesanan untuk halangan umum.Dari perspektif makro, output maklumat mengikut persepsi ialah abstraksi senario pemanduan yang kompleks, dan ia adalah abstraksi eksplisit yang ditakrifkan secara manual. Walau bagaimanapun, untuk sesetengah senario bukan lazim, abstraksi eksplisit semasa sukar untuk menyatakan sepenuhnya faktor yang mempengaruhi tingkah laku pemanduan di tempat kejadian, atau tugas yang perlu kita tentukan adalah terlalu banyak dan terlalu remeh, dan sukar untuk menghitung semua yang diperlukan tugasan. Oleh itu, sistem hujung ke hujung menyediakan perwakilan komprehensif (mungkin tersirat), dengan harapan untuk menggunakan maklumat tersebut secara automatik dan tanpa kerugian kepada PnC. Saya fikir semua sistem yang boleh memenuhi keperluan sedemikian boleh dipanggilgeneralisasi hujung ke hujung.

Bagi masalah lain, seperti beberapa pengoptimuman senario interaksi dinamik, pendapat peribadi saya ialah sekurang-kurangnya bukan sahaja hujung ke hujung boleh menyelesaikan masalah ini, kaedah tradisional boleh menyelesaikan masalah ini. Sudah tentu, apabila jumlah data cukup besar, hujung ke hujung mungkin memberikan penyelesaian yang cukup baik. Sama ada ini perlu akan dibincangkan dalam beberapa soalan seterusnya.

Sesetengah salah faham tentang pemanduan autonomi hujung ke hujung?

Pastikan untuk mengeluarkan isyarat kawalan dan titik laluan menjadi hujung ke hujung

Untuk konsep umum hujung ke hujung, jika anda boleh bersetuju dengan konsep yang disebutkan di atas, maka masalah ini akan mudah untuk faham. Hujung ke hujung menekankan penghantaran maklumat tanpa kehilangan, dan bukannya secara langsung mengeluarkan jumlah tugas. Kaedah pemprosesan hujung ke hujung sedemikian memerlukan sejumlah besar penyelesaian rahsia untuk memastikan keselamatan, dan juga akan menghadapi beberapa masalah semasa proses pelaksanaan, yang akan terungkap secara beransur-ansur dalam pemprosesan berikutnya.

Sistem hujung ke hujung mestilah berdasarkan model besar atau penglihatan tulen

Konsep pemanduan autonomi hujung ke hujung tidak mempunyai sambungan yang tidak dapat dielakkan dengan pemanduan autonomi model besar dan pemanduan autonomi visual tulen . Ketiga-tiga konsep ini wujud sepenuhnya secara bebas Sistem hujung ke hujung tidak perlu didorong oleh model besar dalam erti kata tradisional, dan tidak semestinya visual semata-mata. Terdapat beberapa hubungan antara ketiga-tiga, tetapi mereka tidak setara.

Saya sebelum ini telah menulis artikel yang menghuraikan hubungan antara konsep ini Untuk butiran, lihat: https://zhuanlan.zhihu.com/p/664189972

Dalam jangka masa panjang, adakah mungkin perkara di atas-. sistem hujung ke hujung dalam erti kata yang sempit bolehkah?

Sebenarnya nak merungut dulu,Yang mengaku guna model besar untuk menumbangkan L4 sebenarnya tak pernah buat L4 pun yang mengaku boleh sembuhkan semua penyakit hujung ke hujung tak pernah buat PnC. Oleh itu, selepas berbual dengan ramai orang yang bersemangat tentang hujung ke hujung, ia bertukar menjadi pertikaian agama semata-mata yang tidak boleh disahkan atau dipalsukan. Kami pelajar yang terlibat dalam penyelidikan dan pembangunan termaju harus masih lebih pragmatik dan memberi perhatian kepada bukti. . . Sekurang-kurangnya, anda harus mempunyai sedikit pengetahuan asas tentang apa yang anda mahu untuk menumbangkan dan memahami isu-isu berduri yang terlibat. Ini adalah kualiti saintifik asas yang anda perlu ada. . .

Untuk kembali kepada subjek, pada masa ini, saya pesimis. Terlepas dari fakta bahawa FSD semasa didakwa semata-mata hujung ke hujung, prestasinya jauh daripada mencapai kebolehpercayaan dan kestabilan yang diperlukan melebihi tahap L3 Pada masa hadapan, walaupun kenderaan ini secara statistik adalah selamat seperti manusia , ia masih perlu menghadapi bagaimana untuk menjadi selamat seperti kesilapan Pemandu dalam menyelaraskan. Secara lebih terang, jika sistem pemanduan autonomi mahu diterima oleh orang ramai dan pendapat umum, kuncinya mungkin tidak terletak pada kadar kemalangan mutlak dan kadar kematian, tetapi sama ada orang ramai boleh menerima bahawa terdapat beberapa senario yang berbahaya kepada manusia secara relatifnya mudah diselesaikan, sedangkan mesin melakukan kesilapan. Keperluan ini lebih sukar dicapai untuk sistem hujung ke hujung tulen. Lebih khusus lagi, ia telah dijelaskan dalam jawapan yang saya berikan dalam tempoh 21 tahun Untuk butiran, lihat:

Cara melihat siaran Moments Robin Li: Pemanduan tanpa pemandu pasti akan menyebabkan kemalangan, tetapi kebarangkalian adalah jauh lebih rendah daripada pemanduan berawak?

https://www.zhihu.com/question/530828899/answer/2590673435?utm_psn=1762524415009697792

Ambil Waymo dan Cruise di Amerika Utara sebagai contoh, tetapi mengapa mereka pernah mengalami kemalangan Masa? Kemalangan manakah yang tidak boleh diterima oleh pengawal selia dan orang ramai? Kemalangan ini menyebabkan dua kecederaan Perlanggaran pertama agak sukar untuk dielakkan oleh pemandu manusia, tetapi ia sebenarnya boleh diterima. Walau bagaimanapun, selepas perlanggaran ini, kecederaan sekunder yang serius berlaku: sistem silap menilai lokasi perlanggaran dan lokasi yang cedera Untuk tidak menyekat lalu lintas, ia diturunkan kepada mod berhenti dan menyeret yang cedera untuk masa yang lama. Tingkah laku sedemikian adalah sesuatu yang tidak akan dilakukan oleh pemandu manusia biasa, dan kesannya sangat buruk. Insiden ini secara langsung membawa kepada beberapa kekacauan seterusnya di Cruise. Insiden ini sebenarnya membunyikan penggera kepada kami Bagaimana untuk mengelakkan perkara sedemikian daripada berlaku harus menjadi pertimbangan serius dalam pembangunan dan pengendalian sistem pemanduan autonomi.

Jadi pada masa ini, apakah penyelesaian praktikal untuk sistem pemanduan berbantu yang dihasilkan secara besar-besaran akan datang?

Ringkasnya, saya rasa sistem yang sesuai harus terlebih dahulu meneroka had atas keupayaan sistem tradisional, dan kemudian menggabungkannya dengan fleksibiliti hujung ke hujung dan kesejagatan, yang merupakanprogresif hujung-ke -endpenyelesaian. Sudah tentu, bagaimana untuk menggabungkan kedua-duanya secara organik adalah kandungan berbayar, haha. . . Tetapi kita boleh menganalisis apa yang dipanggil end-to-end atau perancang berasaskan pembelajaran sebenarnya lakukan sekarang.

Berdasarkan pemahaman saya yang terhad, apabila model semasa yang dipanggil hujung-ke-hujung digunakan dalam pemanduan, trajektori output akan diikuti dengan penyelesaian berdasarkan kaedah tradisional, atau perancang berasaskan pembelajaran dan algoritma perancangan trajektori tradisional sedemikian . Berbilang trajektori akan dikeluarkan pada masa yang sama, dan kemudian pemilih akan digunakan untuk memilih satu untuk pelaksanaan. Jika seni bina sistem direka bentuk dengan cara ini, had atas prestasi sistem lata tersebut sebenarnya dihadkan oleh pelan perlindungan dan pemilih sedemikian. Jika penyelesaian sedemikian masih berdasarkan pembelajaran suapan ke hadapan yang tulen, masih terdapat kegagalan yang tidak dapat diramalkan, yang pada dasarnya tidak dapat mencapai tujuan selamat. Jika anda mempertimbangkan untuk menggunakan kaedah perancangan tradisional untuk mengoptimumkan atau memilih pada trajektori keluaran sedemikian, ia adalah bersamaan dengan trajektori yang dihasilkan oleh kaedah berasaskan pembelajaran Ia hanya menyediakan penyelesaian awal kepada masalah pengoptimuman dan carian sedemikian secara langsung Bagaimana pula dengan mengoptimumkan dan mencari trajektori sedemikian?

Sudah tentu beberapa pelajar akan melompat keluar dan mengatakan bahawa pengoptimuman atau masalah carian sedemikian adalah tidak cembung, dan ruang keadaan terlalu besar untuk dilaksanakan dalam masa nyata pada sistem yang dipasang pada kenderaan. Saya meminta semua orang berfikir dengan teliti tentang soalan ini di sini: Dalam tempoh 10 tahun yang lalu, sistem persepsi telah menikmati sekurang-kurangnya 100x pembangunan dividen kuasa pengkomputeran, tetapi bagaimana pula dengan modul PnC kami? Jika kami juga membenarkan modul PnC menggunakan kuasa pengkomputeran yang besar, digabungkan dengan beberapa perkembangan dalam algoritma pengoptimuman lanjutan dalam beberapa tahun kebelakangan ini, adakah kesimpulan ini masih berlaku? Sebagai tindak balas kepada masalah sedemikian, kita tidak seharusnya berpuas hati dan bergantung pada jalan, tetapi harus memikirkan apa yang betul dari prinsip pertama.

Bagaimana untuk menyelaraskan hubungan antara kaedah dipacu data dan kaedah tradisional?

Sebenarnya, contoh yang hampir sama dengan pemanduan autonomi ialah bermain catur Baru pada Februari tahun ini, Deepmind menerbitkan artikel (Catur Tanpa Carian Peringkat Guru Besar: https://arxiv.org/abs/2402.04494). Dalam meneroka sama ada ia boleh dilaksanakan untuk menggunakan hanya dipacu data dan meninggalkan carian MCTS dalam AlphaGo dan AlphaZero. Analogi kepada pemanduan autonomi ialah hanya satu rangkaian digunakan untuk mengeluarkan tindakan secara langsung, membuang semua langkah seterusnya. Kesimpulan artikel adalah bahawa di bawah skala besar data dan parameter model, hasil yang munasabah boleh diperolehi tanpa mencari Walau bagaimanapun, berbanding dengan kaedah tambah carian, masih terdapat jurang yang sangat ketara. (Perbandingan di sini dalam artikel sebenarnya tidak adil. Jurang sebenar sepatutnya lebih besar.) Terutama apabila ia datang untuk menyelesaikan beberapa permainan akhir yang sukar, prestasi terdorong data tulen adalah sangat lemah. Analogi kepada pemanduan autonomi ini bermakna bahawa dalam senario sukar atau kes sudut yang memerlukan permainan berbilang langkah, masih sukar untuk meninggalkan sepenuhnya pengoptimuman tradisional atau algoritma carian. Penggunaan munasabah kelebihan pelbagai teknologi seperti AlphaZero adalah cara paling berkesan untuk meningkatkan prestasi.

Kaedah tradisional = berdasarkan peraturan jika lain?

Konsep ini juga perlu diperbetulkan berulang kali dalam pergaulan saya dengan ramai orang. Menurut definisi ramai orang, selagi ia tidak dipacu data semata-mata, ia dipanggil berasaskan peraturan. Mari kita ambil contoh bermain catur sekali lagi Menghafal formula dan rekod catur mengikut hafalan adalah berdasarkan peraturan, tetapi jika anda memberikan keupayaan penaakulan model melalui carian dan pengoptimuman seperti AlphaGo dan AlphaZero, saya rasa ia tidak boleh dipanggil berdasarkan peraturan. Inilah sebenarnya kekurangan model besar semasa itu sendiri, dan apa yang penyelidik cuba berikan model berasaskan pembelajaran melalui CoT dan kaedah lain. Walau bagaimanapun, setiap tindakan seseorang memandu mempunyai motivasi yang jelas, yang berbeza daripada tugas seperti pengecaman imej terdorong data tulen yang tidak dapat menerangkan sebabnya dengan jelas. Di bawah reka bentuk seni bina algoritma yang sesuai, trajektori keputusan harus menjadi pembolehubah dan dioptimumkan secara seragam di bawah bimbingan matlamat saintifik. Daripada membetulkan pelbagai kes dengan menggunakan tampalan dan melaraskan parameter secara paksa. Sistem sedemikian secara semula jadi tidak akan mempunyai sebarang peraturan kod keras yang pelik.

Ringkasan

Akhirnya, hujung ke hujung mungkin laluan teknikal yang menjanjikan, tetapi masih banyak perkara yang perlu diterokai tentang cara konsep sedemikian boleh diamalkan. Adakah ia satu-satunya penyelesaian yang betul untuk mengumpul data dan parameter model Pada pendapat saya, ia tidak berlaku pada masa ini? Saya merasakan bahawa sebagai juruteknik penyelidikan yang canggih pada bila-bila masa, kita harus benar-benar mengejar prinsip pertama dan pemikiran jurutera yang disebutkan oleh Musk, dan memikirkan intipati masalah daripada amalan, dan bukannya menjadikan Musk sendiri sebagai prinsip pertama . Jika anda ingin benar-benar jauh ke hadapan, anda tidak boleh berputus asa berfikir dan mengikut apa yang orang lain katakan, jika tidak, anda perlu terus mencuba untuk memintas di sudut.