การประมาณตำแหน่ง 3D โดยใช้กล้อง 2D

ฉันมีกล้อง (iPhone) ฉันมีวัตถุควบคุม 3 มิติในภาพที่ฉันรู้คุณสมบัติของมันเป็นอย่างดี (วัตถุควบคุมของฉัน) นอกจากนี้ยังมีวัตถุรองในการเคลื่อนไหว เป้าหมายสูงสุดคือการสร้างวิถี 3D ของวัตถุที่เคลื่อนไหวในช่วงเวลาที่กำหนด (ติดตาม)

ฉันอยากถามฉันจะหาคำตอบได้ไหม?

• ระยะทางของโทรศัพท์ไปยังวัตถุควบคุม (เพื่อการสนทนาลองสมมติว่ากล้องมีความสูงแน่นอนและไม่ทราบระยะทางที่แน่นอน แต่กล้องตั้งฉากกับพื้นผิวซึ่งเป็นที่รู้จัก)

• วัตถุรองที่ฉันสามารถค้นหาวัตถุในแต่ละเฟรมที่ตามมา เป้าหมายของฉันคือการประเมินวิถี 3D ตามที่ฉันได้ระบุไว้ข้างต้น

คำถามโบนัสเราสามารถสร้างระบบที่สามารถตั้งค่าระยะทางโทรศัพท์ไปยังวัตถุควบคุม (แม้ว่าจะไม่ต้องการ) สิ่งนี้จะช่วยฉันในจุดที่สองหรือไม่?

หากวัตถุของคุณมี 6 จุดที่รู้จักกัน (พิกัด 3D ที่รู้จัก,และ ) คุณสามารถคำนวณตำแหน่งของกล้องที่เกี่ยวข้องกับระบบพิกัดวัตถุ$X, Y$$Z$

ก่อนพื้นฐานบางอย่าง

พิกัดที่เป็นเนื้อเดียวกันคือการนำเสนอเวกเตอร์ของยูคลิดพิกัดซึ่งเราได้ต่อท้ายเรียกว่าสเกลแฟกเตอร์ดังนั้นพิกัดที่เป็นเนื้อเดียวกันคือ T ในการคำนวณของคุณให้พยายามเก็บบ่อยที่สุดเท่าที่จะทำได้ (หมายความว่าคุณ "ทำให้ปกติ" พิกัดที่เป็นเนื้อเดียวกันโดยการหารด้วยองค์ประกอบสุดท้าย: ) นอกจากนี้เรายังสามารถใช้การนำเสนอที่เป็นเนื้อเดียวกันสำหรับจุด 2 มิติเช่น (จำได้ว่าและ$(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$แตกต่างกันไปในแต่ละจุดไม่ว่าจะเป็นแบบ 2D หรือ 3D) งานนำเสนอที่เป็นเนื้อเดียวกันทำให้การคำนวณง่ายขึ้น

เมทริกซ์ของกล้องคือเมทริกซ์การฉายจากโลก 3 มิติไปยังเซ็นเซอร์ภาพ:$3\times4$

$$\textbf{x} = P\textbf{X}$$

โดยที่เป็นจุดที่เซ็นเซอร์ภาพ (มีหน่วยพิกเซล) และเป็นจุด 3D ที่ฉาย (สมมติว่ามันมีหน่วยเป็นมิลลิเมตร)$\textbf{x}$$\textbf{X}$

เราจำได้ว่าครอสโปรดัคระหว่าง 3 เวกเตอร์สองตัวสามารถนิยามเป็นเมทริกซ์ - เวกเตอร์ - การคูณเช่น:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

นอกจากนี้ยังมีประโยชน์ที่จะต้องทราบว่าการผลิตข้าม $\textbf{v} \times \textbf{v} = \textbf{0}$.

ทีนี้ลองลองแก้เมทริกซ์การฉาย $P$จากสมการก่อนหน้า ให้คูณสมการการฉายจากด้านซ้ายด้วย$\textbf{x}$เมทริกซ์ผลิตภัณฑ์ข้าม:

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

Aha! ผลลัพธ์ต้องเป็นศูนย์เวกเตอร์ ถ้าเราเปิดสมการเราจะได้:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

ด้วยการปรับเปลี่ยนเล็กน้อยเราสามารถรับเมทริกซ์การฉายได้ $P$ ด้านนอกของเมทริกซ์:

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

ที่ไหน $\textbf{P}_n$ เป็นทรานส $n$: แถวที่สองของเมทริกซ์กล้อง $P$. แถวสุดท้ายของสมการเมทริกซ์ก่อนหน้า (ใหญ่) คือการรวมกันเชิงเส้นของสองแถวแรกดังนั้นจึงไม่นำข้อมูลเพิ่มเติมใด ๆ มาใช้และสามารถละไว้ได้

หยุดชั่วคราวเล็กน้อยเพื่อให้เราสามารถรวบรวมความยากลำบากของเรา โปรดทราบว่าจะต้องมีการสร้างสมการเมทริกซ์ก่อนหน้าสำหรับการติดต่อ 3D-> 2D ที่รู้จักแต่ละตัว (ต้องมีอย่างน้อย 6 ตัว)

ทีนี้สำหรับการโต้ตอบแต่ละจุดให้คำนวณสองแถวแรกของเมทริกซ์ด้านบน $2\times12$ เมทริกซ์อยู่ด้านบนของกันและกันและคุณจะได้เมทริกซ์ใหม่ $A$ ซึ่ง

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

เนื่องจากเรามี 12 unknowns และ (อย่างน้อย) 12 สมการสิ่งนี้สามารถแก้ไขได้ ปัญหาเดียวคือเราไม่ต้องการคำตอบที่ไม่สำคัญ

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

โชคดีที่เราสามารถใช้เอกพจน์การสลายตัวของค่า (SVD) เพื่อบังคับ

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

เพื่อแก้สมการคำนวณ SVD ของเมทริกซ์ $A$และเลือกเวกเตอร์เอกพจน์ที่สอดคล้องกับค่า eigen ที่น้อยที่สุด เวกเตอร์นี้เป็นเวกเตอร์โมฆะของเมทริกซ์ A และวิธีแก้ปัญหาสำหรับเมทริกซ์กล้อง$P$. เพียงแค่ยกเลิกการสแต็ค$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$ และรูปแบบ $P$.

ตอนนี้คุณอยากรู้ระยะห่างของวัตถุ $P$ หมายถึง:

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

ที่ไหน $\textbf{C}$เป็นตำแหน่งกล้องที่สัมพันธ์กับวัตถุกำเนิด มันสามารถแก้ไขได้จาก$P$ โดยการคำนวณ $P$เวกเตอร์ null

(Hartley, Zisserman - เรขาคณิตหลายมุมมองในการมองเห็นคอมพิวเตอร์)

ในที่สุดเมื่อคุณคำนวณตำแหน่งกล้องสำหรับสองเฟรมคุณสามารถคำนวณตำแหน่งวัตถุที่ไม่รู้จัก (หรือตำแหน่งของบางจุดของวัตถุ) โดยการแก้สมการสองสมการ $X$:

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

ซึ่งไปในทิศทางเดียวกันกับวิธีที่เราแก้ไขเมทริกซ์กล้อง:

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

และอื่น ๆ