文章主要介紹自動駕駛技術中幾種常用的座標系統，以及他們之間如何完成關聯和轉換，最終建構出統一的環境模型。這裡重點理解自車到相機剛體轉換(外參)，相機到影像轉換(內參)，影像到像素有單位轉換。 3d向2d轉換會有對應的畸變，平移等。
重點：自車座標系相機機體座標系需要重寫的是：平面座標系像素座標系 困難：要考慮影像畸變，去畸變和加畸變都是在像平面上去補償
透過相機標定來解決，其中關鍵的演算法部分在於座標系轉換，而變換則需要透過齊次座標的表示方式來完成。
把三維世界中的形狀、顏色訊息，壓縮到一張二維圖像上。基於攝影機的感知演算法則是從二維圖像中提取並還原三維世界中的元素和信息，如車道線，車輛、行人等，併計算他們與自己的相對位置。 感知演算法和相機相關的座標係有影像座標系（像素座標系）、攝影機座標系、需要被重寫的是：平面座標系
3.1.1 影像座標系（or 像素座標系）
電腦上儲存的照片或影像，一般以左上角為原點，向右為x正方向，向下為y正方向，單位以“像素”最為常用。影像座標系為二維座標系，標示為(Xv, Yv)。需要進行改寫的內容是：3.1.2 攝影機座標系
因為影像座標系的x軸向右，y軸向下，所以攝影機座標係以鏡頭主光軸中心為原點。一般來說，x軸向右為正方向，y軸向下為正方向，z軸向前為正方向。這樣，x和y方向與影像座標系的方向一致，z方向表示景深。攝影機座標係可以表示為（Xc，Yc）需要進行改寫的內容是：3.1.3 需要被重寫的是：平面座標系（或成像座標系）
為了能夠定量描述三維空間到二維影像的映射關係，圖形學裡引入了需要被重寫的是：平面座標系。它是攝影機座標系的一個平移，中心仍在攝影機主光軸上，距離光軸中心的距離等於攝影機的焦距 我們知道攝影機會在光軸中心後方的底片上成一個縮小的倒像，是真正的像平面(Xf, Yf)。但為了分析計算方便，我們會在光軸中心前方設立一個虛擬像平面。虛擬像平面上的成像為正像，大小與真實倒像相同
3.5 世界座標系根據具體情況而定，可以表示任何物體，這是由於相機引入的。單位為米
，相機座標系 ，成像座標系 及像素座標系
######四Lidar 座標系#########Lidar (Light Detection and Ranging) 是一種###遠端感測技術###，使用雷射光束測量與物體的距離。 360度旋轉發射射線，依不同目標反射率不同反射而形成電雲。在自動駕駛和機器人領域，Lidar常被用作一個主要的感測器來###獲取周圍環境的3D資訊###。在多數情況下，Lidar座標系為右手座標系，但具體定義可能會因Lidar製造商而異。 ###
X軸: 通常指向Lidar前方。當雷射光束直接向前發射時，與該方向的距離測量會在X軸上產生正值。 Y軸: 通常指向Lidar的左邊。當雷射光束直接向左側發射時，與該方向的距離測量會在Y軸上產生正值。 Z軸: 通常指向Lidar的上方，與X和Y軸垂直。高度測量通常沿著Z軸進行，正值代表物體高於Lidar設備，而負值代表低於Lidar設備。
一般環境中選擇一個參考座標系來描述感測器和物件的位置，該座標系稱為世界座標系；自車座標系一般指的是以車體後軸中心為原點（因為後軸中心不會隨著車擺動而發生相對變化），左前上或右前上的空間座標系，左（右）一般為橫向，前一般為縱向，上指地面以上空間，座標系隨著車子移動而移動。 所有的下游需要感知輸出的目標都要在自車座標系下面，BEV視角目標也是指的在這個座標系下
一般三維空間座標係用三個正交軸X,Y,Z表示物體的位置，用繞這三個正交軸的旋轉角度（roll 滾動角, pitch 俯仰角, yaw 偏航角）表示物體的姿態。時間座標系只有一個維度。為了表達方便，我們一般將空間座標和時間座標分開討論。
內參用來決定攝影機從三維空間到二維影像的投影關係。主要包含三個參數，相機主點，相機焦距，畸變係數。內參一般由商家給定，也可以進行攝影機標定。在自動駕駛應用中，攝影機的內參為常數，使用中不會發生變化，但需要在使用前做好標定工作。攝影機的拍攝過程，可以抽象化是從三維攝影機座標系映射到二維需要被重寫的是：平面座標系，再映射到影像座標系的過程。
一般情況下，攝影機的內參可以用一個矩陣來表示：
這個矩陣通常被稱為內參矩陣或相機矩陣。
透過二維影像推斷物體在三維攝影機座標系中的位置，例如獲得距離深度資訊。 從二維影像中取得三維距離資訊，如果需要取得物件在世界座標系中的位置，則還需要知道攝影機在世界座標系中的位姿。這一位姿表示被稱為攝影機的外部參數，簡稱外參，用來決定攝影機座標與世界座標系之間相對位置關係。在自動駕駛應用中，要得到這一位置關係還需要一系列的標定和定位工作。相機相對其它座標系，旋轉平移矩陣，其中旋轉外參與上述歐拉角【yaw，patch，roll】，旋轉順序一般為（z-y-x), 單位度；平移外參，相機到目標坐標系中的平移距離，單位米
關係與轉換： - 由於車輛在世界中是移動的，所以自車座標系與世界座標系之間的關係是時間變化的。 - 為了在這兩個座標系之間進行轉換，通常需要一個轉換矩陣或變換（通常由旋轉和平移組成）。這個轉換可以透過各種感測器（例如GPS、IMU、雷射雷達）和演算法（例如SLAM）來獲得。 - 轉換可以表示為一個4x4的齊次座標矩陣，允許我們從一個座標系轉換到另一個座標系。
在大多數情況下，自車座標系與世界座標係是相同的，本文也是這樣理解的
物件之間的座標系變換都可以表示座標系的旋轉變換加上平移變換，則世界座標係到相機座標系的轉換關係也是如此。繞著不同的軸旋轉不同的角度得到不同的旋轉矩陣。 繞Z軸旋轉θ示意圖:
#最後可以簡單總結為旋轉矩陣：
平移: 平移相機座標點（）平移距離為（）到世界座標點
從相機座標係到影像座標系，屬於透視投影關係，從3D轉換到2D。也可以看成是針孔模型的改變模型。滿足三角形相似定理。
在這種情況下，與先前的座標系變換不同，此時沒有旋轉變換，但是座標原點的位置和大小不一致，因此需要設計伸縮變換和平移變換
#透過最終的轉換關係來看，一個三維座標點可以在影像中找到對應的像素點。然而，反過來，透過影像中的一個點找到其在三維空間中對應的點就成了一個問題，因為我們並不知道等式左邊的值
紅框內即為外參，R和T分別為旋轉和平移量。內參為是相機固有的屬性，其實就是焦距f，像元尺寸dx,dy。很明顯，表示的是點離光軸的距離
#梳理了自動駕駛的各種座標系，展現自動駕駛各座標系間的關係，最終得到像素座標系與世界座標系的轉換關係。
原文連結：https://mp.weixin.qq.com/s/tTRCjZBRZcnb59nX3FRR8w
以上是你是否真正掌握了座標系轉換？自動駕駛離不開的多感測器問題的詳細內容。更多資訊請關注PHP中文網其他相關文章！
