ตัวชี้วัดที่ดีสำหรับการเปรียบเทียบแพทช์ภาพในเชิงคุณภาพ

ฉันพยายามที่จะ "จับคู่" แพทช์สี่เหลี่ยมเล็ก ๆ ในภาพ เมื่อดูอย่างรวดเร็วครั้งแรกดูเหมือนว่ามีเหตุผลที่จะทำการเปรียบเทียบรูปแบบระยะทางแบบยุคลิดของสองอาร์เรย์เพื่อรับค่า "ความคล้ายคลึงกัน" วิธีนี้ใช้งานได้ดีในหลายกรณี (ตัวแก้ไข "ที่ดีที่สุด" (ค่าต่ำสุด) ตามตัวชี้วัดนี้จะมีลักษณะคล้ายกับตัวแก้ไขแบบสอบถาม) อย่างไรก็ตามมีหลายกรณีที่ทำให้เกิดการแข่งขันที่แย่มาก ตัวอย่างเช่นใช้แพทช์คู่เหล่านี้:

กำแพงอิฐสองแผ่นคะแนน 134 (นี่คือผลรวมของส่วนประกอบของความแตกต่างของพิกเซลแบบสัมบูรณ์เฉลี่ย):

หนึ่งชิ้นของกำแพงอิฐ, หนึ่งหญ้าเต็มไปด้วยคะแนน 123!

สำหรับมนุษย์ "ชัดเจน" หญ้าไม่ตรงกับอิฐ แต่ตัวชี้วัดนี้พูดเป็นอย่างอื่น ปัญหาอยู่ในรูปแบบสถิติท้องถิ่น

ถ้าฉันใช้บางอย่างเช่นการเปรียบเทียบฮิสโตแกรมฉันจะสูญเสียข้อมูลเชิงพื้นที่ทั้งหมด - เช่นถ้าแพทช์เป็นหญ้าที่ด้านบนและอิฐที่ด้านล่างมันจะจับคู่กับแพทช์ที่มีหญ้าอยู่ด้านล่างและอิฐที่ด้านบน การแข่งขันอื่น "ผิดปกติอย่างเห็นได้ชัด")

มีตัวชี้วัดที่ผสมผสานแนวคิดทั้งสองนี้เข้ากับค่าที่สมเหตุสมผลซึ่งจะประเมินว่า "คล้ายกัน" สำหรับคู่ที่ 1 ข้างต้น แต่ไม่เหมือนกันสำหรับตัวอย่างของแพทช์และกระจกแนวตั้งของฉันหรือไม่

ข้อเสนอแนะใด ๆ ที่ได้รับการชื่นชม!

แนวคิดที่สำคัญคือ: ไม่มีอะไรผิดปกติกับข้อมูลสี - มันไม่เพียงพอ ดังนั้นสิ่งที่ดีที่สุดคือการรวมชุดคุณลักษณะหลายชุด

คุณสามารถลองใช้คุณสมบัติหลายอย่างเพื่อแก้ไขความคลุมเครือนี้ เท่าที่เกี่ยวข้องกับชุดคุณสมบัติคุณสามารถใช้ต่อไปนี้:

1. สี (สีเช่นสีเด่นของ MPEG7 ) หรือสีประวัติศาสตร์
2. พื้นผิว (ในรูปแบบของการตอบสนองตัวกรองธนาคาร) หรือ
3. ฮิสโตแกรมขอบ

เป็นการเปรียบเทียบเบื้องต้นฉันต้องการสร้างความแตกต่างระหว่างแผ่นอิฐบริสุทธิ์กับแผ่นหญ้าบริสุทธิ์ สำหรับเรื่องนี้สีเป็นองค์ประกอบที่มีศักยภาพมากที่สุดอย่างแน่นอน

การรวมคุณสมบัติเพื่อทำให้การจัดหมวดหมู่มีความแข็งแกร่งยิ่งขึ้น

ฉันจะใช้สีเด่น (ใช้ แต่ไม่ใช่สีเดียวเท่านั้น) หรือสีหลักและสร้างกลุ่ม ดูว่าหัวคลัสเตอร์อยู่ตรงไหน

ถ้าหัวคลัสเตอร์ทั้งสองอยู่ในพื้นที่ที่คาดหมายคลาสมักจะตรวจจับได้ง่ายหากพวกมันตกอยู่ในพื้นที่สีเทาแสดงว่าคลาสนั้นอยู่ในนั้น หากอยู่ในพื้นที่สีเทาจำเป็นต้องใช้คุณสมบัติอื่น

ในอีกทางหนึ่งคุณสามารถจำแนกประเภทได้อย่างอิสระโดยใช้เมทริกซ์พื้นผิวแล้วรวมคะแนนทั้งสองเพื่อให้แน่ใจว่าผลลัพธ์มีความหมาย

การจัดการกับปัญหาเชิงพื้นที่

โดยเฉพาะอย่างยิ่งเมื่อคุณตระหนักว่าแพทช์สามารถมีชิ้นส่วนของมันซึ่งเป็นครึ่งอิฐและครึ่งหญ้า ฉันคิดว่าคุณไม่จำเป็นต้องมีคุณสมบัติเพิ่มเติมหรือ matric อื่น สามารถจัดการได้สองวิธี

1. เก็บ patch หลาย ๆ อันไว้เป็นคลาสที่ต่างกัน ตัวอย่างเช่นนอกเหนือจากbirck-onlyคลาสและgrass-onlyคลาสแล้วคุณยังสามารถมีhalf-brick-half-grass-verticalและhalf-brick-half-grass-horizontalรวมเป็นสี่คลาส สามารถจำแนกได้อย่างง่ายดายโดยใช้วิธีการจัดกลุ่มที่เรากล่าวถึงก่อนหน้านี้

2. เพิ่มการจำแนกหลายสเกล ตัวอย่างเช่นเมื่อแพตช์อยู่ในพื้นที่สีเทาคุณสามารถแบ่งแพทช์ได้สองส่วนคือซ้ายและขวา เช่นเดียวกับที่คุณสามารถแบ่งด้านบนและด้านล่าง ตอนนี้คุณสามารถใช้การจำแนกประเภทที่เหมือนกันสำหรับ "ครึ่งส่วน" นี้ คุณลักษณะที่ระบุไว้ข้างต้นควรให้คุณปรับขนาดได้เพื่อเปรียบเทียบความคล้ายคลึงกันของคุณลักษณะระหว่างส่วนทั้งหมด (เช่นสีที่โดดเด่นสามารถเป็นขนาดเดียวกันโดยไม่คำนึงถึงขนาด) หรือคุณอาจต้องปรับขนาด

การเพิ่มคลาสเพิ่มเติม (เช่นในส่วนที่ 1) หรือระดับที่มากขึ้น (เช่นในส่วนที่ 2) จะถูกส่งตรงไปข้างหน้า ขีด จำกัด สูงสุดจะมาจากสองปัจจัย - ไม่ว่าจะเป็นการเพิ่มส่วนใด ๆ ก็ตามจะไม่เพิ่มคุณค่าให้กับการจำแนกประเภทอีกต่อไปหรือเสียงรบกวนที่มากเกินไปจะทำให้เกิดความกำกวมในการจำแนกประเภทได้อย่างมีประสิทธิภาพ นี่คือที่ที่คุณหยุด

เริ่มต้นด้วย 2 ภาพและ 3 การวัดไม่เพียงพอที่จะยืนยันแบบจำลองทางสถิติใด ๆ ซึ่งในแง่ที่สามารถใช้เพื่อกำหนดตัวชี้วัดการเปรียบเทียบที่ดีที่สุด

ฉันคิดว่าคุณสามารถเริ่มดูเอกสารการจดจำพื้นผิวสำหรับวิธีการและเบาะแส มันเป็นสนามที่ใช้งานอยู่

สำหรับสิ่งที่คุ้มค่าฉันได้ทดสอบฟังก์ชั่นการรับรู้สองอย่าง (DCT และ Random Projection) และทำการทดลองเล็กน้อยกับตัวอธิบาย SIFT ที่เรียกว่า ฟังก์ชั่นเหล่านี้สามารถแยกระยะห่างระหว่างคลาสและภายในถึงแม้ว่าจาก 3 ภาพมันเป็นไปไม่ได้ที่จะสรุปอะไรเลย

โค้ดบนGitHub