การคำนวณ homography ตามบรรทัดที่ตรวจพบ

ฉันรู้ว่าคุณสามารถคำนวณ homographies จากภาพไปยังระนาบกล้องโดยใช้จุดการติดต่อระหว่าง "โมเดลที่สมบูรณ์แบบ" และจุดภาพ

ฉันทำเพื่อสนามฟุตบอล / และใช้การตรวจจับขอบเพื่อค้นหาเส้นสีขาวในสนาม

แต่กล้องไม่ได้ครอบคลุมทุกสนามดังนั้นฉันไม่สามารถมองเห็นมุมทั้งหมดได้และฉันมีเพียงมุมเท่านั้นที่เป็นที่รู้จัก 100% ในโมเดล (ไม่มีจุดที่แตกต่างอื่น ๆ )

ดังนั้นปัญหาก็คือถ้าหากเส้นตัดกับอีกเส้นหนึ่งและทำมุมฉันก็รู้จุดภาพของเส้นไม่ใช่พิกัด "เพอร์เฟ็ค / โลกแห่งความเป็นจริง" ที่สอดคล้องกันในโมเดล

มีวิธีใดบ้างที่ฉันสามารถใช้บรรทัดที่ตรวจพบเพื่อคำนวณ homography หรือแม้แต่แค่ชุดของ homographies ที่มีผู้สมัครแม้ว่าเส้นที่ตรวจพบจะไม่ตัดกันและสร้างมุม?

ภาพตัวอย่างการแสดงระดับเสียงมุมมองของเราและจุดที่ระดับเสียงซึ่งฉันสามารถทราบพิกัดโลก / โมเดลที่สอดคล้องกัน (วงกลมสีเขียว) และตัวอย่างของ 2 บรรทัดที่อาจไร้ประโยชน์อย่างสมบูรณ์ตั้งแต่ในมุมมองของเรา ฉันไม่มีเงื่อนงำตรงจุดที่พวกเขาเริ่มหรือหยุดในโลกแห่งความจริง / แบบจำลองของสนาม:

เส้นสีแดงเป็นตัวอย่างของเส้นที่ฉันต้องการใช้ แต่ฉันไม่ทราบพิกัดของโลกแห่งความจริงและมันก็ยากที่จะประเมินเพราะมันขึ้นอยู่กับรูปแบบของกล้อง

ฉันจะอธิบายสองวิธีสำหรับสิ่งนี้:

1) วิธีหนึ่งจะต้องใช้อัลกอริทึมการจับคู่สาย หลังจากจับคู่ลายเส้นแล้วคุณสามารถใช้จุดสิ้นสุดของเส้นเพื่อคำนวณ homography เพื่อให้บรรลุถึงการอธิบาย EDLine หรือ LSD ที่ใช้ใน OpenCV นอกจากนี้ยังมีการใช้การแฮชและการจับคู่ที่รวดเร็ว ลองชมวิดีโอได้ที่นี่:

http://www.youtube.com/watch?v=MqMjvSkM39k

http://www.youtube.com/watch?v=naSWTlbg3To

ที่เก็บ opencv_contrib ล่าสุดประกอบด้วยซอร์สโค้ดของเมธอดเหล่านี้

ในกรณีที่จุดสิ้นสุดของเส้นเสียงรบกวนนั้นคุณสามารถใช้เส้นตรงเพื่อคำนวณ homographies ได้ เอกสารดังกล่าวก็จะอ่าน:

รายงานภายใน: 2005-V04 การคำนวณคำพ้องเสียงจากสามบรรทัดหรือคะแนนในคู่ภาพ G. Lopez-Nicolas, JJ Guerrero, OA Pellejero, C. Sagues

รายงานภายใน: 2003-V01 การจับคู่สายที่แข็งแกร่งและการประเมินของการเขียนคำพ้องเสียงพร้อมกันG. Lopez-Nicolas

การจับคู่ความน่าจะเป็นของเส้นสำหรับการถ่ายภาพแทมินคิมจีฮวานวูและอินโซควอน

2) มีวิธีหนึ่งสำหรับฟิลด์ที่ระบุไว้ที่นี่

" การใช้คุณสมบัติ line และ ellipse สำหรับการแก้ไขวิดีโอฮอกกี้ออกอากาศ ", Gupta, Ankur, James J. Little, และ Robert J. Woodham คอมพิวเตอร์และหุ่นยนต์วิสัยทัศน์ (CRV), การประชุมแคนาดา 2011 บน IEEE, 2011

และ

" รวมเส้นและจุดจดหมายสำหรับการประมาณ homography ." Dubrofsky อีแลนและโรเบิร์ตเจแธม การประชุมวิชาการระดับนานาชาติเรื่อง Visual Computing Springer Berlin Heidelberg, 2008

แนวคิดมีดังต่อไปนี้: ทุกบรรทัด parametrized โดยสัมประสิทธิ์$\mathbf{l}_i=(u,v,1)^T$$\mathbf{l}_i^{'}=(x,y,1)^T$

$$\mathbf{l}_i^{'} = \mathbf{H}^T \mathbf{l}_i$$

ในรูปแบบนี้สมการสามารถเสียบเข้ากับวิธี DLT ได้โดยตรง:

$$A_i = \begin{bmatrix} -u & 0 & ux & -v & 0 & vx & -1 & 0 & x \\ 0 & -u & uy & 0 & -v & vy & 0 & -1 & y \end{bmatrix}$$

ความแตกต่างเพียงอย่างเดียวคือการทำให้เป็นมาตรฐานซึ่งคุณจะพบในการอ้างอิงข้างต้น

$x$$C$$x^TCx=0$

$$C' = H^{-T}CH^{-1}$$

ข้อมูลอ้างอิงข้างต้นยังอธิบายวิธีแทรกข้อ จำกัด นี้ไปยังอัลกอริทึม DLT

การใช้จุดไข่ปลาและเส้นมันเป็นไปได้ที่จะได้รับความสัมพันธ์ที่แข็งแกร่ง

หากเส้นไม่ขนานคุณสามารถคำนวณจุดตัดและใช้เป็นจุดอ้างอิงได้ ในภาพวาดของคุณคุณสามารถใช้จุดสีม่วงเช่นกัน:

โดยวิธีการที่จุดตัดของเส้นไม่จำเป็นต้องอยู่ในภาพ ตราบใดที่เส้นขนาน

หากเส้นขนานคุณสามารถใช้เส้นเหล่านั้นเพื่อรับข้อ จำกัด เพิ่มเติม ตัวอย่างเช่นหากคุณมี N <4 คะแนนและเส้น K คุณอาจประเมินการเปลี่ยนแปลงได้

จำได้ว่าสมการของการแปลงโปรเจคคือ:

$x' = \frac{\left ( a_{11}x+a_{12}y+a_{13} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )} \\ y' = \frac{\left ( a_{21}x+a_{22}y+a_{23} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )}$

$a_{11},a_{12},a_{13},a_{21},a_{22},a_{23},a_{31},a_{32} \\$

$ax+by+c=0$$Ax'+By'+C$

$Ax'+By'+C = 0 \implies \\ A(a_{21}x+a_{22}y+a_{23}) + B(a_{21}x+a_{22}y+a_{23}) + C( a_{31}x+a_{32}y+1) = 0$

มันสามารถเขียนใหม่เป็น:

$\left( \begin{array}{ccc} Ax & Ay & A & Bx & By & B & Cx & Cy \\ \end{array} \right) \left( \begin{array}{ccc} a_{11} \\ a_{12} \\ a_{13} \\ a_{21} \\ a_{22} \\ a_{23} \\ a_{31} \\ a_{32} \\ \end{array} \right) = -C$

$A,B,C$$(x,y)$$ax+by+c = 0$

การอ้างอิงเพิ่มเติม " การประมาณค่า homography โดย Elan Dubrovsky " - ดูส่วนที่ 2.3.1 การประมาณค่า homography จากบรรทัด