Analisis ringkas teknologi pembetulan herotan imej tentang kesukaran pemprosesan bahagian hadapan persepsi kereta pintar

Kami tahu bahawa apabila merakam imej, kedudukan kamera yang ideal adalah berserenjang dengan satah penangkapan, untuk memastikan imej itu boleh dihasilkan semula mengikut perkadaran geometri asalnya. Walau bagaimanapun, dalam aplikasi sebenar kereta pemanduan pintar, disebabkan oleh batasan struktur badan kereta pintar, kawalan badan memerlukan kamera mempunyai jarak pratonton tertentu Permukaan pengimbasan mendatar dan menegak kamera biasanya berkembang dalam bentuk kipas. dan kamera biasanya bersentuhan dengan tanah Pasang pada sudut. Kewujudan sudut ini akan menyebabkan herotan pengimejan tertentu di tepi imej. Hasil herotan adalah satu siri masalah yang sama seperti berikut semasa pemprosesan selepas imej:

1) Garis menegak difoto sebagai garis pepenjuru, mengakibatkan ralat pengiraan cerun; 🎜>

2) Selekoh jauh mungkin dimampatkan kerana herotan, mengakibatkan ralat pengiraan kelengkungan, dsb.; berlaku semasa proses pengecaman, akan berlaku masalah tidak sepadan semasa pemprosesan selepas

Pelbagai masalah seperti di atas mungkin wujud dalam keseluruhan persepsi imej dengan betul, ia akan menjejaskan keseluruhan imej dan pengecaman rangkaian saraf seterusnya menimbulkan risiko yang lebih besar. Untuk memenuhi keperluan kawalan masa nyata kereta pintar, secara amnya adalah perlu untuk mencadangkan algoritma pembetulan yang sepadan untuk herotan imej kamera dalam senario aplikasi praktikal.

01 Jenis herotan utama dalam kereta pintar

Herotan kamera termasuk herotan jejarian, herotan tangensial, herotan ion, Prismatik nipis herotan, dsb. herotan kamera pada kereta pintar terutamanya termasuk herotan jejarian dan herotan tangen.

herotan jejari dibahagikan kepada herotan tong dan herotan kusyen pin.

Biasanya, kamera pandangan sekeliling yang digunakan dalam sistem letak kereta pintar kami menggunakan penangkapan sudut lebar dan jenis herotan yang sepadan biasanya herotan jejarian. Penyebab utama herotan jejari ialah perubahan lengkung jejari kanta yang tidak teratur, yang akan menyebabkan herotan imej ini ialah titik utama adalah pusat dan bergerak sepanjang arah jejari ia adalah, semakin jauh jaraknya Semakin besar jumlah ubah bentuk yang dihasilkan. Herotan jejari yang teruk bagi segi empat tepat perlu diperbetulkan kepada imej kanta linear yang ideal sebelum ia boleh memasuki proses pemprosesan bahagian belakang.

Kamera pandangan hadapan, pandangan sisi dan pandangan belakang yang biasanya digunakan dalam sistem pemanduan menggunakan kamera proses CMOS umum untuk penangkapan, dan lensa mungkin tidak dijamin semasa proses pemasangan daripada kamera pandangan sisi hadapan, selari dengan satah pengimejan, ia juga mungkin disebabkan oleh kecacatan pembuatan yang menyebabkan lensa tidak selari dengan satah pengimejan, mengakibatkan herotan tangen Fenomena ini biasanya berlaku apabila pengimejan dipasang kamera.

Terdapat sejumlah 5 parameter herotan dalam model herotan jejari dan herotan tangensial Dalam Opencv, ia disusun sebagai matriks 5*1, yang mengandungi k1, k2, p1, p2, k3 dalam urutan, sering ditakrifkan sebagai matriks Mat.

Untuk pembetulan herotan, 5 parameter ini ialah 5 pekali herotan kamera yang perlu ditentukan semasa penentukuran kamera. Parameter k1, k2, dan k3 dipanggil parameter herotan jejari, di mana k3 ialah parameter pilihan. Untuk kamera dengan herotan yang serius (seperti kamera mata), mungkin juga terdapat k4, k5 dan k6. Herotan tangensial boleh diwakili oleh dua parameter p1 dan p2: Setakat ini, sejumlah lima parameter telah diperolehi: K1, K2, K3, P1, P2 Lima parameter ini diperlukan untuk menghapuskan herotan dan dipanggil vektor herotan, juga Mereka dipanggil parameter luaran kamera.

Oleh itu, selepas mendapat lima parameter ini, herotan ubah bentuk imej yang disebabkan oleh herotan kanta boleh diperbetulkan Rajah berikut menunjukkan kesan selepas pembetulan mengikut pekali herotan kanta:

Formula untuk mencari kedudukan yang betul bagi titik ini pada satah piksel melalui 5 pekali herotan adalah seperti berikut:

Selepas herotan Titik boleh ditayangkan ke satah piksel melalui matriks parameter dalaman untuk mendapatkan kedudukan yang betul (u, v) titik pada imej:

02 Kaedah pembetulan herotan imej

Berbeza daripada metodologi model kamera, penyelewengan imej adalah untuk mengimbangi kecacatan kanta, dan imej asal Lakukan penyahherotan jejari/tangensial dan kemudian gunakan model kamera. Kaedah menangani herotan imej terutamanya melibatkan model kamera yang hendak dipilih untuk tayangan imej.

Kaedah tayangan model kamera biasa termasuk model sfera dan model silinder.

1. Pembetulan herotan pengimejan kamera Fisheye

Biasanya serupa dengan kanta fisheye Menghasilkan hebat ubah bentuk Sebagai contoh, semasa proses pengimejan kamera biasa, garis lurus masih merupakan garis lurus dengan saiz tertentu apabila ditayangkan ke satah imej Walau bagaimanapun, apabila imej yang ditangkap oleh kamera mata ikan ditayangkan ke satah imej. ia akan menjadi garis lurus yang sangat besar dan panjang, walaupun dalam sesetengah adegan, pengesanan garis bawah diunjurkan kepada infiniti, jadi model lubang jarum tidak boleh memodelkan kanta mata ikan.

Untuk menayangkan pemandangan terbesar yang mungkin ke dalam satah imej terhad, versi pertama kanta mata ikan terdiri daripada lebih daripada sedozen kanta yang berbeza Semasa proses pengimejan, kejadian itu cahaya Selepas pelbagai darjah pembiasan dan unjuran pada satah pengimejan dengan saiz terhad, kanta mata ikan mempunyai medan pandangan yang lebih besar berbanding dengan kanta biasa.

Penyelidikan menunjukkan bahawa model yang diikuti oleh kamera fisheye semasa pengimejan adalah lebih kurang model unjuran unit sfera. Di sini, untuk lebih menyesuaikan diri dengan proses terbitan model lubang jarum kamera, kaedah yang biasa digunakan ialah menggunakan proses tayangan kepada model kamera sfera.

Analisis proses pengimejan kamera fisheye boleh dibahagikan kepada dua langkah:

• Titik ruang tiga dimensi diunjurkan secara linear ke sfera, Sudah tentu, sfera ini ialah sfera maya yang kita anggap, dan pusatnya dianggap bertepatan dengan asal koordinat kamera.
• Titik pada sfera unit ditayangkan pada satah imej Proses ini bukan linear.

Rajah berikut menunjukkan proses pemprosesan imej daripada kamera fisheye kepada kamera sfera dalam sistem pemanduan pintar. Andaikan bahawa titik dalam sistem koordinat kamera ialah X=(x,y,z) dan koordinat piksel ialah x=(u,v). Kemudian proses tayangannya dinyatakan seperti berikut:

1) Langkah pertama ialah menggunakan kamera untuk mengumpul ketiga-tiga -imej berdimensi dalam titik sistem koordinat dunia, dan unjurkan titik pengimejan dalam sistem koordinat imej ke koordinat sfera unit yang dinormalkan; >2) Menyimpang pusat koordinat kamera mengikut unit di sepanjang paksi z, kita mendapat perkara berikut:

3) Pertimbangkan sfera unit dan bahagikan permukaan sfera kepada Normalize kepada 1 unit:

4) Transform sfera model unjuran kepada model lubang jarum untuk mendapatkan koordinat titik utama yang sepadan, model sistem koordinat kamera standard yang sepadan boleh diwujudkan berdasarkan koordinat titik utama:

2. Unjuran koordinat silinder

Untuk terminal seperti kamera pandangan hadapan dan pandangan sisi, imej yang ditangkap biasanya menghasilkan herotan tangensial. Untuk herotan tangensial, biasanya disyorkan untuk menggunakan model kamera silinder Kelebihannya ialah pengguna boleh menukar garis penglihatan sewenang-wenangnya dalam julat 360 darjah dalam pandangan panoramik seperti kamera fisheye, dan juga boleh menukar perspektif. pada garis penglihatan untuk mencapai kesan semakin dekat atau jauh , pada masa yang sama, imej panoramik silinder juga lebih mudah untuk diproses, kerana permukaan silinder boleh dipotong sepanjang paksi dan terbentang pada satah pemprosesan Kaedah selalunya boleh digunakan secara langsung. Imej panorama silinder tidak memerlukan kamera ditentukur dengan sangat tepat. Pengguna mempunyai sudut tontonan 360 darjah dalam arah mendatar, dan juga boleh membuat perubahan tertentu dalam sudut tontonan dalam arah menegak, tetapi julat sudut adalah terhad Memandangkan kualiti imej model silinder adalah seragam dan butirannya lebih realistik , ia mempunyai rangkaian aplikasi yang lebih luas.

Secara amnya, kelebihan ketara panorama silinder diringkaskan dalam dua perkara berikut:

1) Pemerolehan foto tunggalnya Kaedah adalah lebih mudah daripada mendapatkan bentuk kubus dan bentuk sfera. Kamera biasa yang dipasang pada kenderaan (seperti kamera pandangan hadapan dan pandangan sisi) pada asasnya boleh mendapatkan imej asal.

2) Panorama silinder mudah dikembangkan menjadi imej segi empat tepat, yang boleh disimpan dan diakses terus menggunakan format imej komputer yang biasa digunakan. Panorama silinder membolehkan sudut putaran garis penglihatan peserta kurang daripada 180 darjah dalam arah menegak, tetapi dalam kebanyakan aplikasi, pemandangan panorama 360 darjah dalam arah mendatar adalah mencukupi untuk menyatakan maklumat spatial.

Di sini kita fokus pada cara menggunakan kamera silinder untuk membetulkan herotan imej asal Ia adalah satu proses untuk mendapatkan hubungan pemetaan daripada kamera maya kepada kamera asal. Kamera maya di sini merujuk kepada hubungan pemetaan antara imej sebenar dan imej silinder yang dihasilkan.

Rajah berikut menunjukkan proses pemprosesan imej menukar daripada penangkapan kamera kenderaan biasa kepada kamera silinder dalam sistem pemanduan pintar. Antaranya, intipati mendapatkan imej kamera maya adalah untuk mencari hubungan pemetaan antara kamera maya dan kamera asal Proses umum adalah seperti berikut:

Pertama, paparan depan/sisi imej video asal boleh ditetapkan sebagai imej sasaran dst img di mana titik utama (u, v) pada peta sasaran adalah titik asas untuk 2D Transformasi unjuran belakang 3D kepada peta koordinat kamera sasaran di atas, kamera sasaran boleh membina semula kedudukan (x, y, z) titik dalam sistem koordinat dunia kemudian, imej kamera asal yang sepadan Src Camera di bawah kamera maya; diperolehi melalui algoritma transformasi unjuran dalam sistem koordinat tiga dimensi selepas Imej diperbetulkan Src img (u', v') yang sepadan boleh diperolehi dengan melakukan transformasi unjuran 3D kepada 2D pada imej kamera asal untuk memulihkan imej asal dst img di bawah kamera maya.

Dapat dilihat daripada model kamera silinder bahawa formula transformasi daripada model kamera silinder kepada model kamera lubang jarum adalah seperti berikut:

Dalam formula di atas, u dan v mewakili titik utama satah kamera lubang jarum (juga dipanggil koordinat dalam sistem koordinat piksel), fx, fy, cx , cy mewakili kesilapan pembuatan atau pemasangan Kedua-dua parameter condong paksi koordinat yang dihasilkan. Titik utama didarab dengan jarak jejari dalam sistem koordinat silinder untuk mendapatkan unjuran yang sepadan pada koordinat silinder.

ρ digunakan untuk melakukan penghampiran polinomial Dalam proses ruang kamera lajur 2D->3D, ρ tidak pasti Apabila Tdst=Tsrc, apabila ρ mengambil nilai yang berbeza, daripada ruang 3D ->Pemetaan kamera maya yang diperolehi oleh kamera pandangan sisi/pandangan hadapan 2D adalah sama; =Tsrc, imej kamera maya yang diperolehi berubah dengan ρ. Untuk kedudukan 2D silinder tertentu (u, v), di bawah keadaan ρ tertentu, koordinat kamera 3D xc, yc, zc dalam sistem koordinat silinder kamera dst boleh dikira mengikut formula di atas.

Φ digunakan untuk anggaran polinomial Φ ialah sudut antara cahaya kejadian dan satah imej. Nilai ini sangat serupa dengan parameter kamera mata ikan.

Langkah seterusnya ialah proses transformasi kamera, yang boleh diringkaskan seperti berikut.

Mula-mula tetapkan resolusi imej kamera maya kepada resolusi peta IPM pandangan mata burung yang anda ingin perolehi; titik utama imej kamera maya ialah pusat peta IPM resolusi (biasanya diandaikan tidak ditetapkan offset). Kedua, tetapkan fx, fy dan kedudukan kamera kamera maya Ketinggian ditetapkan kepada 1, yang sepadan dengan kaedah tetapan fx dan fy. Daripada ini, koordinat kamera kamera dst (xc, yc, zc) dst boleh ditukar kepada koordinat vcs sistem koordinat pemerhatian mengikut parameter luaran (R, T) dst kamera sasaran dst kamera, dan kemudian digabungkan dengan luaran parameter kamera src ( R, T) src, tukar koordinat VCS kepada koordinat kamera kamera src (xc, yc, zc) src.

03 Ringkasan

Memandangkan kamera kereta biasanya dilengkapi dengan kanta Pengimejan yang berbeza, struktur berbilang elemen ini menjadikannya mustahil untuk menyesuaikan model kamera lubang jarum asal kepada analisis hubungan pembiasan kamera kenderaan. Terutama untuk kamera fisheye, kerana keperluan untuk mengembangkan julat tontonan, herotan imej yang disebabkan oleh indeks biasan ini lebih jelas. Dalam artikel ini, kami memberi tumpuan kepada kaedah penyahherotan yang disesuaikan dengan pelbagai jenis penderia visual dalam sistem pemanduan pintar Kami terutamanya menayangkan imej dalam sistem koordinat dunia ke dalam sistem koordinat sfera maya dan sistem koordinat silinder maya melalui unjuran. bergantung pada transformasi kamera 2D- >3D untuk menghilangkan herotan. Sesetengah algoritma telah dipertingkatkan berdasarkan amalan jangka panjang berbanding dengan algoritma nyahherotan klasik.

Atas ialah kandungan terperinci Analisis ringkas teknologi pembetulan herotan imej tentang kesukaran pemprosesan bahagian hadapan persepsi kereta pintar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!