ฉันจะสร้างโครงสร้าง 3 มิติใหม่จากชุดภาพได้อย่างไร?

ฉันมีชุดของรูปทรง (ชุดของส่วนของเส้น) จัดกลุ่มด้วยวิธีดังต่อไปนี้:

$S_i = \{I^0, I^\frac{\pi}{4}, I^\frac{2\pi}{4}, \ldots, I^\frac{7\pi}{4} \}$

ที่ไหน

• $S_i$แสดงถึงลำดับของภาพถ่ายของวัตถุรูปธรรมหนึ่งชิ้น
• $I^j$แสดงถึงภาพโดยมีมุมมอง (หมายถึงมุมมองด้านหน้า) $j^{th}$$j=0$

นี่คือตัวอย่างของ (มุมมองด้านหลัง): $I^\pi$

ฉันจะสร้างโครงสร้าง 3 มิติของวัตถุด้วยกำหนดได้อย่างไร$S_i$

ใครบางคนสามารถชี้ให้ฉันไปที่เอกสารบางส่วนหรือแม้กระทั่งให้ฉันคำหลักบางอย่าง ฉันรู้ว่ามีบทความจำนวนมากที่ทำงานกับกลุ่มเมฆของจุดและอื่น ๆ แต่สิ่งเหล่านั้นไม่ทำงานในขณะที่ฉันทำงานกับสาย

จริงๆแล้วมันเป็นหัวข้อที่ค่อนข้างยาก การสร้างภาพสามมิติแบบคลาสสิกที่เกี่ยวข้องกับการจับคู่จุดในจุดแรกคือหาจุดเดียวกันในทุกภาพ เมื่อกำหนดพารามิเตอร์กล้อง (มุมมอง) สำหรับแต่ละภาพจุด 3 มิติดั้งเดิมสามารถสร้างขึ้นใหม่ได้ (การใช้เลเซอร์หรือโปรเจ็กเตอร์ทำให้ฉากสว่างขึ้นดังนั้นการจับคู่สามารถทำได้ค่อนข้างง่าย)

พระคัมภีร์ของเขตข้อมูลเป็นเรขาคณิตหลายมุมมองในการมองเห็นคอมพิวเตอร์โดย Hartley และ Zisserman

ในหนังสือเล่มนี้มีหัวข้อเกี่ยวกับเมตริกซ์ trifocal ซึ่งเป็นข้อ จำกัด หลายระดับระหว่าง 3 มุมมอง มันมีไม่เพียงแค่จุด แต่ข้อ จำกัด การติดต่อทางสายเช่นกัน มันสามารถใช้สำหรับการสร้างอาคารได้เป็นอย่างดี

ดังนั้นรูปทรงของคุณควรถูกจับคู่ตั้งแต่แรกและอาจถูกสร้างขึ้นใหม่เพื่อให้รู้ว่าพารามิเตอร์ของกล้อง (ครอบคลุมการสอบเทียบกล้องในหนังสือด้วย) จากนั้นคุณจะได้รูปทรงในแบบ 3 มิติ แต่ไม่มีอะไรเพิ่มเติม สำหรับพื้นผิวจริงคุณต้องทำการจับคู่จุดที่หนาแน่น แม้ว่าเมตริกซ์ที่ฉันพูดถึงดูดีจะใช้สำหรับเส้นตรงและฉันแน่ใจว่ารถที่ทันสมัยมีเส้นโค้งทั่ว

ฉันไม่ทราบว่าคุณมีรูปทรงเหล่านั้นได้อย่างไร แต่เมื่อเห็นภาพที่คุณโพสต์ฉันค่อนข้างสงสัยเกี่ยวกับความทนทานของอัลกอริทึมนั้น

วิธีการมันมาถึงใจของฉันก็คือเรือภาพหรือพื้นที่แกะสลัก ควรทำการคำนวณรูปร่างอย่างเหมาะสม ใช้วิธีการในแต่ละรูปร่างคุณสามารถมีรูปแบบ

ในขณะที่หนังสือที่กล่าวถึงโดย Fodor Hartley และ Zisserman นั้นคุ้มค่าที่จะอ่านแน่นอนว่ามันมีความเข้าใจโดยทั่วไปมากกว่าวิธีปฏิบัติ มันค่อนข้างล้าสมัยและวิธีการเหล่านั้นไม่มีประสิทธิภาพ เกี่ยวกับปัญหาของคุณ - การกำหนดปัญหาเองนั้นผิดปกติมาก ตามที่ได้รับการกล่าวถึงโดย Fodor โดยเริ่มจากการจับคู่คะแนนฟีเจอร์แทนที่จะเป็นรูปทรงนั้นง่ายกว่ามาก ในกรณีของจุดภาพรวมอย่างที่ดีที่สุดของวิธีการที่ทันสมัยที่มีอยู่กระดาษโดย Triggs "Bundle ปรับ - การสังเคราะห์โมเดิร์น" แต่ก่อนที่จะใช้การปรับกำคุณจะมีจุดที่สอดคล้องตรงกับภาพที่ใช้สิ่งที่ต้องการร่อนหรือแม่แบบการจับคู่ Google สำหรับการสร้างภาพ 3 มิติใหม่สำหรับตัวอย่างของวิธีการบางอย่างที่สมบูรณ์ นอกจากนี้คุณยังสามารถใช้แพ็คเกจโอเพนซอร์ซได้ซึ่งมีให้เลือกหลายแพ็คเกจ

หากคุณยืนยันในการใช้รูปทรงปัญหาจะยากกว่ามากแม้ว่าจะยังคงอยู่ (แทบจะไม่) ก่อนอื่นคุณจะต้องระบุและจับคู่รูปทรงที่สอดคล้องกันในภาพทั้งหมดหลังจากนั้นเขียนฟังก์ชั่นค่าใช้จ่าย - จากผลรวมของข้อผิดพลาดในการคัดออกสำหรับกลุ่มรูปทรงแต่ละกลุ่มที่จับคู่กันเป็นฟังก์ชั่นจากตำแหน่งกล้อง หลังจากนั้นค้นหาชุดตำแหน่งกล้องซึ่งจะลดฟังก์ชั่นค่าใช้จ่ายนี้ แต่ละขั้นตอนของกระบวนการนี้ยากมากและไม่มีภาพรวมที่ดีเช่น Triggs คุณสามารถ google เอกสารที่เกี่ยวข้องบางอย่างเป็นการรวมกันของคำว่า "contours" "conturs matching" "การปรับบันเดิล" "ข้อผิดพลาดในการคัดออก" "การสร้างใหม่ 3 มิติ"

ตรวจสอบการสร้างโมเดลใหม่จากรูปภาพซึ่งแตกต่างจากที่คุณทำอยู่เล็กน้อย แต่ฉันพูดถึงวิธีการเปลี่ยนจากภาพเป็นแบบจำลอง 3 มิติ ลองดูที่MeshLabซึ่งมีอัลกอริทึมการสร้างใหม่ที่คุณสามารถป้อนข้อมูลของคุณได้