การประมวลผลภาพก่อนการตรวจจับคุณสมบัติ


9

ฉันได้ดำเนินการตรวจจับคุณลักษณะที่ใช้มุมแฮร์ริส ทำงานได้ดีเกือบทุกครั้ง แต่มีบางกรณีที่ทำงานได้ไม่ดี ฉันต้องทำให้มันใช้งานได้กับหลาย ๆ ภาพโดยไม่ต้องตั้งค่าทีละตัว

ปัญหาเกิดขึ้นกับค่าเกณฑ์ตรวจจับ หากตั้งค่าต่ำเกินไปเครื่องตรวจจับจะยิงหลายครั้งเกินไปทำให้มีคุณสมบัติจำนวนมาก หากตั้งค่าสูงเกินไปจะมีคุณสมบัติน้อยเกินไป

ฉันได้แก้ไขบางส่วนโดยANMS (Adaptive Non-Maximal Suppression) เพื่อลดจำนวนฟีเจอร์ก่อนที่จะกำหนดเวกเตอร์ตัวบอกให้พวกเขา

อย่างไรก็ตามภาพเช่นนี้เป็นปัญหา:

ป้อนคำอธิบายรูปภาพที่นี่

พวกเขามีคอนทราสต์ต่ำและฉันไม่สามารถ "ตั้ง" เกณฑ์การตั้งค่าต่ำเกินไปสำหรับรูปภาพทั้งหมด มันจะทำให้เครื่องมือตรวจจับทำงานกับรูปภาพเหล่านี้ แต่รูปภาพอื่น ๆ จะมีคุณสมบัติมากมายกว่าพันคุณสมบัติซึ่งจะช้าในการกรองด้วย ANMS และสิ่งนี้จะเป็นอันตรายต่อประสิทธิภาพโดยรวม

ฉันคิดว่าจะปรับภาพก่อนการตรวจจับคุณสมบัติ บางทีการทำให้เท่าเทียมกันฮิสโตแกรมจะทำงาน นี่อาจเป็นการดำเนินการที่ถูกต้องเนื่องจากการเปลี่ยนแปลงความคมชัดระดับโลกไม่มีผลต่อตัวบอกคุณลักษณะ

อาจทำงานร่วมกับเกณฑ์การปรับตัวหรือการแก้ปัญหาบางอย่างจะทำงานได้ดีขึ้น

ข้อเสนอแนะอื่น ๆ ?


@Seyhmus Güngören: โอ้ ฉันยอมรับคำตอบที่ฉันได้รับตั้งแต่ฉันพบวิธีแก้ปัญหาที่น่าพอใจ แต่ก็ยังรอคำตอบที่ดีกว่าหรือมากกว่า
Libor

@Libor มันดีสำหรับคำถามใหม่ของคุณเพราะมันอาจจะน่าสนใจกว่าที่จะแก้คำถามของคุณในกรณีปัจจุบัน
Seyhmus Güngören

@Libor คุณคิดว่าการจับคู่ฮิสโตแกรมเป็นอย่างไรเลือก Gaussian เช่น Histogram ซึ่งมีค่าเฉลี่ยประมาณ 128?
Seyhmus Güngören

@ SeyhmusGüngörenใช่ฉันกำลังคิดเกี่ยวกับสิ่งนี้ ฉันอาจจะลองด้วยความคิดอื่น ๆ
Libor

@Libro คุณช่วยบอกว่าคุณวางแผนที่จะใช้คุณสมบัติที่ตรวจพบได้หรือไม่? ความคิดเดียวของฉันคือการดึงหรือจับคู่ภาพจากเนื้อหา (เช่นการประมาณค่า homography) แต่เนื่องจากนั่นเป็นสิ่งเดียวที่ฉันเคยทำกับพวกเขาฉันอาจผิด :) ถ้าในอีกแง่หนึ่งนั่นคือสิ่งที่คุณวางแผนจะใช้ พวกเขาสำหรับฉันอาจจะมีส่วนร่วม
Penelope

คำตอบ:


1

ความเป็นไปได้ที่จะทำการตรวจจับขอบอย่างง่าย (เช่น Laplace) และใช้ความเข้มเฉลี่ยของผลลัพธ์เป็นพื้นฐานสำหรับเกณฑ์สำหรับมุมของแฮร์ริส เมื่อคุณมีคอนทราสต์ต่ำคุณจะได้ขอบน้อยลงและมีความเข้มต่ำลงด้วยคอนทราสต์สูงคุณจะได้รับขอบที่มากขึ้นและมีความเข้มที่สูงขึ้น

คุณไม่ใช่คนเดียวที่ดิ้นรนกับปัญหานี้ หากคุณสามารถเข้าถึงฐานข้อมูลกระดาษสิ่งนี้อาจน่าสนใจ:

มันอาจจะคุ้มค่าที่จะค้นหา (อัตโนมัติ) การตรวจจับมุม harris แบบปรับได้มากขึ้น


นั่นไม่ใช่ความขัดแย้ง เครื่องตรวจจับมีสองขั้นตอน: 1) ตรวจจับคุณสมบัติ 2) อธิบายคุณสมบัติ การทำให้เท่าเทียมกันของฮิสโตแกรมควรมีผลต่อสเตจ 1 (ตรวจพบฟีเจอร์มากกว่า) ไม่ได้อยู่ในสเตจ 2 ฉันต้องการฟีเจอร์ในการตรวจจับในระดับปานกลางดังนั้นจึงไม่จำเป็นต้องกรองมากนัก
Libor

ตกลงฉันคิดถึงสิ่งนี้ แต่คำถามของคุณยังไม่ชัดเจน ฉันไม่ได้หมายถึงการใช้ภาพขอบเป็นอินพุทสำหรับตัวตรวจจับคุณสมบัติ แต่เป็นการวัดของคุณเองว่าควรจะมีค่าใดสำหรับเกณฑ์
Geerten

ขอบคุณนั่นเป็นความคิดที่น่าสนใจ เครื่องตรวจจับมุมของแฮร์ริสใช้ภาพอนุพันธ์ (dx, dy, dxy) เพื่อสร้างการวัดมุมที่แต่ละจุด เนื่องจากสิ่งนี้ขึ้นอยู่กับการวัดขอบแล้วตอนนี้ฉันกำลังคิดที่จะใช้ฮิสโตแกรมของฟังก์ชันตอบกลับมุมและเกณฑ์การคำนวณของฮิสโตแกรมนั้น คุณเป็นแรงบันดาลใจให้ฉันขอบคุณ :)
Libor

ฉันดีใจที่ฉันสามารถสร้างแรงบันดาลใจให้คุณ;) เพิ่มกระดาษที่อาจเป็นประโยชน์
Geerten

2

คุณต้องใช้มุมของแฮร์ริสจริง ๆ หรือไม่? มีคุณสมบัติมากมายที่พัฒนาขึ้นหลังจากมุมของแฮร์ริสด้วยคุณสมบัติที่ดีกว่า ภาพรวมที่ดีสามารถพบได้ในบทความนี้:

จากบทความนั้นรวมถึงประสบการณ์ส่วนตัวของฉันฉันขอแนะนำให้เปลี่ยนเป็นMSER (ภูมิภาคที่มีเสถียรภาพสูงสุด)หรือรวมกับDoG (ความแตกต่างของ Gaussians) - คุณสมบัติที่แสดงครั้งแรกเป็นส่วนหนึ่งของท่อ SIFT

หากปัญหามีความคมชัดต่ำคุณสมบัติของ MSER จะทำให้คุณมีความสุขจริง ๆ : สิ่งเหล่านี้เป็นค่าคงที่ (เป็นธรรม) ต่อการเปลี่ยนแปลงของแสง ในระยะสั้นพวกเขาจะเชื่อมต่อภูมิภาคของภาพที่มีเสถียรภาพผ่านชุดของการประชุมเกณฑ์ที่แตกต่างกัน

กระบวนการแยกคุณลักษณะนั้นไม่ขึ้นอยู่กับการคำนวณ descriptors ดังนั้นจึงไม่ควรยากเกินกว่าที่จะรวมวิธีใหม่ของการแยกคุณลักษณะในกระบวนการของคุณ

นอกจากนี้ฉันเคยได้ยิน (แต่ไม่เคยร่วมงานกับ) มุม Multiscale Harrisเป็นส่วนขยายของมุม Harris ฉันไม่ค่อยรู้อะไรเกี่ยวกับพวกเขาและโดยส่วนตัวแล้วไม่สามารถแนะนำสื่อการอ่านใด ๆ ในหัวข้อนี้ได้ดังนั้นฉันจึงออกจากการค้นหาบทความและเลือกเนื้อหาที่น่าสนใจที่สุดให้กับคุณ


นอกจากนี้ผมอาจจะชี้ให้เห็นว่าภาพที่คุณโพสต์อาจจะมีปัญหาอื่น ๆ กว่าคมชัดต่ำ จากประสบการณ์ส่วนตัวของฉันพืชพันธุ์เช่นพุ่มไม้หรือทุ่งที่คุณมีรวมไปถึงก้อนเมฆที่น่ารักมักจะผลิต"คุณสมบัติทั่วไป" - คุณสมบัติที่มีแนวโน้มที่จะมีตัวอธิบาย (หรือแตกต่างกัน) ที่คล้ายคลึงกัน

ในทางปฏิบัติหมายความว่าเมื่อทำการจับคู่คุณสมบัติกับภาพสองภาพจากมุมมองที่แตกต่างกันคุณลักษณะที่ดึงมาจากพื้นผิวประเภทนี้มีแนวโน้มที่จะจับคู่กันอย่างไม่เหมาะสม ฉันได้ทำวิทยานิพนธ์ระดับปริญญาโทแล้วส่วนใหญ่เกี่ยวข้องกับการดึงคุณสมบัติเพื่อใช้ในการจับคู่คุณสมบัติที่ใช้ในการคำนวณการแปลง homography ระหว่างสองภาพเมื่อฉันเจอปัญหานี้ ฉันไม่พบบทความอื่น ๆ ที่อธิบายถึงปัญหานี้ในเวลานั้น แต่วิทยานิพนธ์ของฉันอาจมีประโยชน์สำหรับแนวทางโดยรวมของคุณ

สุดท้ายนี้ตามที่คุณได้ตั้งค่าขีด จำกัด และเทคนิคที่ใช้งานได้ดีกับภาพส่วนใหญ่ที่แยกออกมาเป็นฟีเจอร์เล็ก ๆ น้อย ๆ ในภาพประเภทนี้เนื่องจากพื้นที่ส่วนใหญ่เป็นเนื้อเดียวกัน รูปภาพประเภทนี้มีปัญหาในการจับคู่คุณสมบัติ (ซึ่งสามารถขยายไปยังการต่อภาพ) การดึงภาพจากเนื้อหาและฉันจะสันนิษฐานการติดตามรวมถึงแอพพลิเคชั่นที่คล้ายกัน ไม่มีวิธีการใดที่ใช้งานได้ดีกับพวกเขาในปัจจุบัน

วิธีการที่ใช้งานได้ดีกับภาพประเภทนี้รวมถึงกรณีทั่วไปกำลังได้รับการสำรวจและวิจัยในปัจจุบันเช่นวิธีการที่ฉันเริ่มทำงานโดยอธิบายสั้น ๆ ในคำตอบนี้


ขอบคุณสำหรับคำตอบอย่างละเอียดฉันจะอ่านเอกสารเมื่อมีเวลาว่าง ฉันกำลังใช้งานเครื่องมือตรวจจับคุณสมบัติที่ต้องเผชิญกับปัญหาสองประการ: ความซับซ้อนของการใช้งานและปัญหาสิทธิบัตร แอปพลิเคชันของฉันคือการจัดเรียงรูปภาพเชิงพาณิชย์และการเย็บไลบรารี่ดังนั้นฉันจึงมีทรัพยากรและเวลา จำกัด สำหรับการติดตั้งและไม่สามารถจ่ายเงินสำหรับ SIFT หรือ SURF ฉันอาจจะเปลี่ยนเป็น MSER หรือตัวตรวจจับ / ตัวอธิบายขั้นสูงอื่น ๆ แต่จนถึงมุมแฮร์ริสก็ใช้งานได้ดียกเว้นภาพที่มีแสงไม่ดี
Libor

@ Libor นั่นคือความงามของมัน: คุณไม่ต้องเปลี่ยน คุณสามารถเพิ่มคุณสมบัติใหม่เข้าไปในขั้นตอนการตรวจหา -> คำอธิบายที่มีอยู่ของคุณ ไม่ว่าคุณลักษณะจะถูกดึงออกมาอย่างไรคุณสามารถคำนวณตัวอธิบายด้วยกลยุทธ์เดียวกันได้ตลอดเวลา ในทุกสิ่งที่ฉันเขียนอาจเป็นบทความแรกที่กล่าวถึงการเปรียบเทียบตัวเลือกต่าง ๆ สำหรับการตรวจจับ / คำอธิบายอาจเป็นประโยชน์มากที่สุด
penelope

ฉันใช้รวบรวม descriptors ขนาดใหญ่จากนั้นใช้ PCA เพื่อปรับปรุงความเร็วและพลังในการจำแนกของ descriptors PCA นั้นค่อนข้างแพงสำหรับชุดข้อมูลขนาดใหญ่ งานนี้ดึงดูดฉันเพราะการเพิ่มประสิทธิภาพของ descriptors ทั่วไป จนถึงตอนนี้ที่ฉันใช้คือ "การปฏิเสธพื้นที่คุณลักษณะ" ซึ่งเป็นเพียงแค่กำหนดเวลาในการจับคู่คุณสมบัติตามระยะทาง 1-nn / 2-nn นี่คือคำอธิบายของ D. Lowe ในเอกสารของเขาและมีอำนาจการเลือกปฏิบัติที่ดีมากเนื่องจากมันใช้ประโยชน์จากคุณสมบัติของระยะทางในพื้นที่สลัวสูง
Libor

สำหรับเครื่องตรวจจับการเปลี่ยนแปลงมุมมองขนาดใหญ่และการแปรปรวนของสเกลนั้นไม่เป็นปัญหาเช่นเดียวกับภาพโมเสคกิ้ง (พาโนรามา, กล้องจุลทรรศน์) การซูมมักจะถูกเก็บไว้โดยไม่มีการเปลี่ยนแปลงและเลียนแบบ ปัญหาหลักคือคุณสมบัติที่ตรวจพบน้อยเกินไปหรือมากเกินไปและตัวอธิบายไม่ถูกต้อง
Libor

โดยส่วนตัวฉันไม่ค่อยมีความรู้เกี่ยวกับตัวเลือกคำอธิบายฉันทำงานกับ SIFT เท่านั้น แต่ลิงค์ที่คุณให้มาบอกว่ามันคล้ายกับ DAISY descriptors ซึ่งฉันจำได้ว่าถูกประเมินว่าดีมาก การรวมเอาตัวแยกคุณลักษณะเพิ่มเติมเข้าด้วยกันหวังว่าจะช่วยให้คุณมีคุณสมบัติมากขึ้นและความแปรปรวนของสเกลสามารถเป็นเพียงการบวกแม้ว่าคุณไม่ต้องการ ฉันอ่านงานบางชิ้นที่กล่าวถึงการทำงานกับตัวแยกคุณลักษณะหลายตัวเพิ่มพลังการแบ่งแยก (ฉันสามารถค้นหาลิงก์ได้หากต้องการ)
Penelope
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.