เรื่องราวเบื้องหลังของ SIFT descriptor คืออะไร

ต่อไปนี้มาจากกระดาษ Lowe 2004 ( http://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf )

วิธีการหนึ่งที่เห็นได้ชัดคือการทดสอบความเข้มของภาพในพื้นที่รอบ ๆ จุดสำคัญในระดับที่เหมาะสม อย่างไรก็ตามความสัมพันธ์อย่างง่ายของแพทช์ภาพมีความไวสูงต่อการเปลี่ยนแปลงที่ทำให้เกิดการลงทะเบียนตัวอย่างผิดพลาดเช่นการเปลี่ยนมุมมอง 3 มิติหรือมุมมอง 3D หรือการเปลี่ยนรูปแบบไม่เข้มงวด Edelman, Intrator และ Poggio (1997) แสดงให้เห็นถึงวิธีการที่ดีกว่า การนำเสนอที่เสนอของพวกเขาขึ้นอยู่กับรูปแบบของการมองเห็นทางชีวภาพโดยเฉพาะอย่างยิ่งเซลล์ประสาทที่ซับซ้อนในเยื่อหุ้มสมองภาพหลักเซลล์ประสาทที่ซับซ้อนเหล่านี้ตอบสนองต่อการไล่ระดับสีในทิศทางที่เฉพาะเจาะจงและความถี่เชิงพื้นที่ แต่ตำแหน่งของการไล่ระดับสีบนเรตินาได้รับอนุญาตให้เลื่อนไปที่ช่องรับแสงขนาดเล็กแทนที่จะเป็นหน่วงอย่างแม่นยำ Edelman และคณะ ตั้งสมมติฐานว่าหน้าที่ของเซลล์ประสาทที่ซับซ้อนเหล่านี้คือการอนุญาตให้จับคู่และรับรู้วัตถุ 3 มิติจากมุมมองที่หลากหลาย

ฉันกำลังพยายามทำความเข้าใจกับ descriptor ของ SIFT ฉันเข้าใจขั้นตอนก่อนหน้า (เครื่องตรวจจับจุดสำคัญ)

ฉันไม่รู้ว่าทำไมมันถึงถูกใช้อย่างนั้น ฉันอยากรู้เรื่องเบื้องหลัง

ตัวบ่งชี้ที่ได้รับจากจุดสนใจย่านที่ระดับที่ได้รับ$64\times 64$

มันจะแบ่งพื้นที่นี้เป็น patches ซึ่งนำไปสู่ ​​16 patches$64\times 64$$16\times 16$

สำหรับแพทช์แต่ละครั้งเราคำนวณการไล่ระดับสีแล้วหาทิศทางที่โดดเด่นของการไล่ระดับสี (ซึ่งมีรายละเอียดบางอย่าง) จากนั้นนำทิศทางที่โดดเด่นเป็นทิศทางการอ้างอิงเราจะแบ่ง 360 องศาเป็น 8 ภูมิภาคเชิงมุมแต่ละอันมี 45 องศา ขนาดของการไล่ระดับสีแต่ละอันซึ่งอยู่ในแต่ละพื้นที่เชิงมุม

เราสามารถพิจารณาสิ่งนี้เป็นการกระจายหรือฮิสโตแกรม 8 ทิศทางของการไล่ระดับสี (เนื่องจากการไล่ระดับสีที่แรงมีข้อมูลเพิ่มเติมที่เราต้องใช้กับน้ำหนักที่สูงกว่าในการคำนวณการกระจายดังนั้นเราจึงใช้ขนาดของมันเป็นน้ำหนักของมัน จากนั้นเราจะทำให้ฮิสโตแกรมเหล่านี้กลับสู่ปกติ

ในตอนท้ายของแต่ละแพทช์เรามีฮิสโตแกรม 8 bin และเรามี 16 แพทช์ซึ่งนำไปสู่ตัวบอกจำนวน 128 ตัว

ด้วยการหาทิศทางที่ชัดเจนตัวบ่งชี้ของเราจะกลายเป็นค่าคงที่การหมุน โดยใช้การไล่ระดับสีตัวบ่งชี้ของเรากลายเป็นค่าคงที่เกี่ยวกับการส่องสว่างพื้นฐานและโดยการปรับฮิสโตแกรมฮิสโตแกรมให้เป็นมาตรฐาน