สัญชาตญาณในการโน้มน้าวใจในการประมวลผลภาพ

ฉันได้อ่านเอกสารจำนวนมากเกี่ยวกับการโน้มน้าวใจในการประมวลผลภาพและส่วนใหญ่พูดเกี่ยวกับสูตรของมันซึ่งมีพารามิเตอร์เพิ่มเติมบางอย่าง ไม่มีใครอธิบายสัญชาตญาณและความหมายที่แท้จริงที่อยู่เบื้องหลังการทำสังวัตนาบนภาพ ตัวอย่างเช่นสัญชาตญาณของการได้มาบนกราฟทำให้มันเป็นเส้นตรงมากขึ้น

ฉันคิดว่าบทสรุปอย่างย่อของคำจำกัดความคือ: convolution ถูกทับซ้อนระหว่างตารางสี่เหลี่ยมกับอิมเมจและเคอร์เนลหลังจากรวมกันอีกครั้งแล้วใส่ลงในสมอ และนี่ก็ไม่สมเหตุสมผลกับฉัน

จากบทความนี้เกี่ยวกับการโน้มน้าวใจฉันไม่สามารถจินตนาการได้ว่าทำไมการบิดจึงสามารถทำบางสิ่งที่ "ไม่น่าเชื่อ" ได้ ตัวอย่างเช่นการตรวจจับเส้นและขอบในหน้าสุดท้ายของลิงค์นี้ เพียงเลือกเคอร์เนล convolution ที่เหมาะสมสามารถสร้างเอฟเฟกต์ที่ดี (ตรวจจับเส้นหรือตรวจจับขอบ)

ทุกคนสามารถให้สัญชาตญาณ (ไม่จำเป็นต้องเป็นหลักฐานที่เรียบร้อย) ในการทำเช่นนั้น?

ฉันคิดว่าวิธีที่ง่ายที่สุดในการนึกถึง Convolution นั้นเป็นวิธีการเปลี่ยนค่าพิกเซลเป็นค่าใหม่ตามน้ำหนักของพิกเซลใกล้เคียง

มันง่ายที่จะเห็นว่าทำไม Box Blur:

_____________
|1/9|1/9|1/9|
|1/9|1/9|1/9|
|1/9|1/9|1/9|
-------------

โรงงาน การโน้มน้าวเคอร์เนลนี้เหมือนกับการผ่านทุกพิกเซลของภาพถ่ายและทำให้ค่าใหม่ของพิกเซลเป็นค่าเฉลี่ยของตัวมันเองและแปดพิกเซลรอบ ๆ

ถ้าคุณเข้าใจคุณจะเห็นว่าทำไมเกาส์เซียนเบลอทำงานอย่างไร:

_____________________
|.01|.04|.07|.04|.01|
|.04|.16|.26|.16|.04|
|.07|.26|.41|.26|.07|
|.04|.16|.26|.16|.04|
|.01|.04|.07|.04|.01|
---------------------

โดยพื้นฐานแล้วมันก็เป็นสิ่งเดียวกันยกเว้นค่าเฉลี่ยจะมีน้ำหนักมากขึ้นต่อพิกเซลที่อยู่ใกล้ยิ่งขึ้น ฟังก์ชั่นที่กำหนดว่าน้ำหนักจะลดลงเร็วขนาดไหนเมื่อคุณเคลื่อนที่ไปไกลกว่านั้นคือฟังก์ชันเกาส์เซียนแต่คุณไม่จำเป็นต้องทราบรายละเอียดของฟังก์ชั่นเพื่อใช้สำหรับการเบลอ

เคอร์เนลตรวจจับขอบในบทความที่เชื่อมโยงนั้นสมเหตุสมผลถ้าคุณจ้องมองมันนานพอ:

__________
|-1|-1|-1|
|-1|.8|-1|
|-1|-1|-1|
----------

โดยพื้นฐานแล้วมันบอกว่าค่าของพิกเซลใด ๆ เริ่มต้นที่ 8/9 ของค่าดั้งเดิม จากนั้นคุณลบค่าของทุกพิกเซลที่อยู่รอบ ๆ พิกเซลนั้นเพื่อให้ได้พิกเซลใหม่ของคุณ

ดังนั้นหากค่าของพิกเซลสูงและค่าของพิกเซลที่อยู่รอบ ๆ นั้นก็สูงเช่นกันพวกเขาจะยกเลิกซึ่งกันและกัน หากค่าของพิกเซลต่ำและพิกเซลทั้งหมดที่อยู่ในระดับต่ำเช่นกันพวกเขาจะยกเลิกซึ่งกันและกัน หากค่าของพิกเซลสูงและค่าของพิกเซลรอบ ๆ นั้นต่ำ (เช่นเดียวกับพิกเซลที่ขอบของวัตถุ) ค่าพิกเซลใหม่จะสูง

วิธีหนึ่งในการคิดถึง convolutions / crosscorrelation คือราวกับว่าคุณกำลังค้นหาสัญญาณบางอย่างในข้อมูลของคุณ ยิ่งข้อมูลดูเหมือนเคอร์เนลยิ่งค่าผลลัพธ์จะสูงขึ้นเท่านั้น จริง ๆ แล้วฉันจะย้อนกลับของเคอร์เนลเช่นใน cross-correlation แต่โดยพื้นฐานแล้วมันก็เป็นสิ่งเดียวกัน

ตัวอย่างเช่นสมมติว่าคุณกำลังมองหาขั้นตอนทิศทางในข้อมูล 1d ของคุณ

เคอร์เนลอาจเป็น

[-1 1]

และลองประยุกต์ใช้กับข้อมูลนั้น

[2 2 2 2 2 1 1 1 1 1]

ผลจะเป็นอย่างไร

[0 0 0 0 0 1 0 0 0 0]

ซึ่งตรวจจับตำแหน่งของขั้นตอน ขั้นตอนที่ใหญ่กว่าจะให้ค่าที่มากกว่า

สิ่งนี้ได้ผลเพราะเมื่อคุณคูณรูปแบบตามที่ปรากฏในเคอร์เนลคุณจะได้รับค่าสูง

การตรวจจับขอบ (หรือการตรวจจับรูปแบบอื่น ๆ ) ทำงานในลักษณะเดียวกันตัวอย่างเช่นกับเคอร์เนล

[-1 2 -1]

ส่วนขยายไปยังมิติที่สูงขึ้นสามารถคิดได้เช่นกัน

สิ่งนี้จะช่วยให้คุณมีสัญชาตญาณอย่างน้อยเกี่ยวกับแอพพลิเคชั่นบางอย่างของการประมวลผลภาพแบบบิด

หากคุณคิดว่าการทำความเข้าใจยากเกินไปฉันขอแนะนำให้คุณลองค้นหาเกี่ยวกับสัณฐานวิทยาทางคณิตศาสตร์ที่ใช้กับการประมวลผลภาพความคิดใหญ่ ๆ ที่อยู่เบื้องหลังสัณฐานวิทยาทางคณิตศาสตร์ก็คือคุณจะต้องทำงานใกล้ชิดกับการเปลี่ยนแปลง สัณฐานวิทยาของภาพ แต่เก็บข้อมูลโทโพโลยีด้วยวิธีนี้คุณสามารถสร้างภาพของมนุษย์ที่ยืนอยู่โครงกระดูกซึ่งเป็นมนุษย์ติดมากลองใช้การกัดเซาะจากนั้นขยายการดำเนินการจากนั้นไปที่เปิด / ปิดการทำงานคุณจะเริ่มเข้าใจว่าหน้ากากที่ใช้กับพิกเซลของภาพทุกรูปสามารถทำได้อย่างไรและพวกเขาสามารถใช้ในสถานการณ์สมมติขนาดใหญ่เพื่อให้ได้ผลลัพธ์ที่ยอดเยี่ยมได้อย่างไร (เช่นการหาจุดที่จะเริ่มต้นบางสิ่งด้วยการกัดเซาะครั้งสุดท้าย) คุณเข้าใจสัณฐานวิทยาของคณิตศาสตร์การโน้มน้าวใจนั้นยากขึ้นเล็กน้อยเพราะมันอยู่บนพื้นฐานของแคลคูลัสและนิยามหลังจากรวม แต่ยังคงมีจำนวนมากของการสนทนาที่ง่ายต่อการเข้าใจเช่นค่ามัธยฐานเบลอ, Gaussian Blur, คมชัด, การตรวจจับขอบ, Laplace, การไล่ระดับสี ฯลฯ