การปรับเทียบกล้อง / รุ่นกล้องรูเข็มและการหาตำแหน่งแบบ 3 มิติ

ฉันมีกล้องสอบเทียบและมีพารามิเตอร์ที่แท้จริง ฉันยังมีพารามิเตอร์ภายนอกที่เกี่ยวข้องกับจุด (กำเนิดโลก) บนพื้นผิวภาพถ่ายในโลกแห่งความจริง จุดนี้ฉันได้ตั้งค่าเป็นจุดกำเนิดในพิกัดโลกแห่งความจริง [0,0,0] ด้วยค่าปกติ [0,0,1]

จากพารามิเตอร์ภายนอกเหล่านี้ฉันสามารถหาตำแหน่งและการหมุนของกล้องในพิกัดโลกระนาบ 3 มิติได้ที่นี่: http://en.wikipedia.org/wiki/Camera_resectioning

ตอนนี้ฉันมีจุดที่สองซึ่งฉันได้ดึงพิกัดภาพสำหรับ [x, y] ฉันจะรับตำแหน่ง 3 มิติของจุดนี้ในระบบพิกัดโลกได้อย่างไร

ฉันคิดว่าสัญชาตญาณตรงนี้คือฉันต้องติดตามรังสีที่ไปจากศูนย์กลางออปติคัลของกล้อง (ซึ่งตอนนี้ฉันมีตำแหน่ง 3D ตามที่อธิบายไว้ข้างต้น) ผ่านระนาบภาพ [x, y] ของกล้องแล้ว ผ่านระนาบโลกแห่งความจริงของฉันที่ฉันกำหนดไว้ที่ด้านบน

ตอนนี้ฉันสามารถตัดกันพิกัดโลก 3 มิติด้วยระนาบเนื่องจากฉันรู้ว่าปกติและชี้ไปที่ระนาบนั้น สิ่งที่ฉันไม่ได้รับคือวิธีหาตำแหน่ง 3d และทิศทางเมื่อออกจากระนาบภาพเป็นพิกเซล มันเป็นการเปลี่ยนแปลงผ่านระบบพิกัดที่ทำให้ฉันสับสน

หากคุณมี extrinsics แล้วมันง่ายมาก การมี extrinsics ก็เหมือนกับการมี "camera pose" และเหมือนกับการมี homography ตรวจสอบโพสต์นี้ใน stackoverflow

คุณมี extrinsics หรือที่เรียกว่ากล้องถ่ายรูปซึ่งอธิบายว่าเป็นการแปลและการหมุน:

$\displaystyle Pose =\begin{bmatrix}R|t \end{bmatrix} = \begin{bmatrix}R_{11} &R_{12}&R_{13}&t_x\\R_{21}&R_{22}&R_{23}&t_y\\R_{31}&R_{32}&R_{33}&t_z \end{bmatrix}$

คุณสามารถรับHomographyจากPoseด้วยวิธีนี้:

$\displaystyle H = \frac{1}{t_z}\begin{bmatrix}{R_{1x}}&{R_{2x}}&{t_x}\\{R_{1y}}&{R_{2y}}&{t_y}\\{R_{1z}}&{R_{2z}}&{t_z}\end{bmatrix}$

จากนั้นคุณสามารถฉายจุด 2D ของคุณเป็นจุด 3D ที่สอดคล้องกันโดยคูณ Homography ด้วยคะแนน:

$p_{2D}=\begin{bmatrix}x &y &1\end{bmatrix}\quad$เพิ่มเพื่อให้เป็นเนื้อเดียวกัน$\quad z=1\quad$

$p_{3D}=H*p_{2D}$

$p= p / p(z)\quad$ ทำให้คะแนนเป็นปกติ

คุณมีสองตัวเลือกใช้การฉายด้านหลังหรือการฉายภาพระหว่างระนาบสองระนาบ (homography)

ด้วยการฉายภาพด้านหลังคุณจะใช้การหลอกกล้องของคุณเมทริกซ์และคูณผลลัพธ์ด้วยการนำเสนอจุดภาพที่เหมือนกันของคุณ:$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix} \\ \textbf{X}_{reprojected} = P^+\textbf{x}$$

ตอนนี้คุณมีเส้น 3 มิติซึ่งเดินทางรางกล้องศูนย์และจุด{X} หากคุณต้องการคุณสามารถแปลงเป็นงานนำเสนอได้ง่ายขึ้น ยกตัวอย่างเช่นมีจุดและทิศทางเวกเตอร์ (อย่าลืมทำให้ค่าพิกัดที่เป็นเนื้อเดียวกันเช่นนี้เป็นตัวประกอบสเกลก่อนการคำนวณจริง):X V = ω [ X Y Z 1 ] T ω = $\textbf{C}$$\textbf{X}$$\textbf{V} = \omega\begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$

$$\textbf{u} = \textbf{X}_{reprojected}-\textbf{C} \\ \textbf{v} = \frac{ \textbf{u} }{\|\textbf{u}\|} \\ \textbf{L}(t) = \textbf{C} + t\textbf{v}$$

หากคุณมีระนาบ คุณสามารถแก้สมการได้สำหรับเสื้อ$\Pi = \begin{bmatrix}\pi_1 & \pi_2 & \pi_3 & \pi_4\end{bmatrix}^T, \pi_1X + \pi_2Y + \pi_3Z + \pi_4 = 0$$\textbf{L}(t) = \Pi$$t$

หากคุณตัดสินใจที่จะใช้ homography คุณจะต้องคำนวณเมทริกซ์ homographyซึ่งถูกกำหนดเป็นการฉายภาพระหว่างระนาบที่ถ่ายและระนาบของเซ็นเซอร์กล้อง:$3\times3$$H$

$$\textbf{X}_{plane} = \begin{bmatrix}X & Y & 0 & 1\end{bmatrix}^T \\ \textbf{x} = P\textbf{X}_{plane} = H\begin{bmatrix}X & Y & 1\end{bmatrix}^T$$

ตอนนี้ถ้าคุณรู้ : $\textbf{x}$

$$\textbf{X}_{plane} = H^{-1}\textbf{x}$$

หากคุณไม่คำนวณขณะปรับเทียบกล้อง (อาจใช้การแปลงแบบเส้นตรงโดยตรง DLT) คุณสามารถใช้สูตรต่อไปนี้:$H$

$$H = R + \frac{1}{d}\textbf{T}\textbf{N}^T$$

ที่ไหนเป็น dinstance ของกล้องจากเครื่องบินและ{C} (Ma, Soatto, Kosecká, Sastry - คำเชิญถึงภาพสามมิติจากภาพไปเป็นแบบจำลองทางเรขาคณิต, หน้า 132)$d$$\textbf{T} = -R\textbf{C}$

คุณไม่สามารถรู้ตำแหน่ง 3 มิติของจุดที่สอง มันอาจเป็นจุดใด ๆ บนแสงจากศูนย์กลางของกล้องจนถึงระยะอนันต์

คุณสามารถทำสิ่งต่อไปนี้:

• สร้างพื้นที่ 3 มิติที่กำหนดไว้ล่วงหน้าซึ่งคล้ายกับฉากชีวิตจริง
• รับจุดภาพมากขึ้นจากมุมที่ต่างกันโดยใช้จุดตัดของรังสีจากมุมที่แตกต่างกันคุณสามารถรับจุดประมาณ 3 มิติได้