Super Resolution ทำงานอย่างไร

การเลือกจากคำถามนี้ฉันอ่านบทความ Wikipedia แต่ฉันไม่เข้าใจว่าทำไมการคัดลอกสำเนาของภาพเดียวกันไปวางซ้อนกันควรช่วยเพิ่มความละเอียดของภาพ?

กระบวนการนี้ซับซ้อน แต่สิ่งนี้ควรทำให้เกิดสัญชาตญาณว่าเกิดอะไรขึ้น ลองนึกภาพคุณมีกล้องปกติ แต่มีมอเตอร์ที่จะย้ายเซ็นเซอร์ครึ่งพิกเซลไปในทิศทางใดก็ได้

แทนที่จะถ่ายภาพหนึ่งภาพกล้องนี้ใช้สี่: หนึ่งอยู่ตรงกลางหนึ่งเลื่อนครึ่งขวาพิกเซลหนึ่งเลื่อนครึ่งพิกเซลลงและหนึ่งเลื่อนครึ่งขวาพิกเซลและครึ่งพิกเซลลง

จากนั้นเราสามารถถ่ายภาพกึ่งกลางทำให้มีขนาดใหญ่ขึ้นเป็นสองเท่าโดยเว้นระยะห่างจากพิกเซลดังนี้:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

จากนั้นเราสามารถเติมช่องว่างโดยใช้รูปภาพที่ถูกเลื่อนอื่น ๆ , 1, 2 และ 3:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

ปล่อยให้เราด้วยภาพความละเอียดสองเท่า ที่น่าสนใจคือมีกล้องมากกว่าที่ใช้เทคนิคนี้เช่น Hasselblad H4D-200MS (ขออภัยถ้าคุณต้องถามว่าคุณไม่สามารถซื้อได้)

Superresolution พร้อมกล้องมาตราฐานมีความซับซ้อนกว่าเล็กน้อยเมื่อคุณมีกล้องที่ไม่มีการควบคุมหรือการเคลื่อนไหวของวัตถุคุณไม่ได้อยู่ใกล้กับการเลื่อนครึ่งพิกเซล แต่ถ้าคุณโชคไม่ดีภาพที่ถูกเลื่อนของคุณจะมีจำนวนลดลงจากต้นฉบับ เมื่อรวมภาพเข้าด้วยกันมากพอคุณจะได้ภาพตัวอย่างที่ไม่สม่ำเสมอมาก (พร้อมตัวอย่างพิกเซลที่ไม่ตกลงบนกริด) แต่ภาพหนึ่งสามารถแก้ไขได้ (โดยการติดตามเส้นระหว่างตัวอย่างเพื่อคาดเดาผลลัพธ์ที่อยู่บนเส้นกริดที่แน่นอน) ภาพปกติ

พิจารณาว่าเซ็นเซอร์ไม่ใช่อุปกรณ์จับภาพที่สมบูรณ์แบบ แต่ละพิกเซลจะถูกบันทึกด้วยข้อผิดพลาดจำนวนหนึ่ง ตัวอย่างเช่นถ้าค่าที่ถูกต้องที่สุดของพิกเซลเป็นNเซ็นเซอร์จะบันทึกค่าที่อยู่ในช่วงที่สำหรับรับN-E to N+E Eสำหรับเซ็นเซอร์ที่ดีที่มีขนาดเล็กเซ็นเซอร์ไม่ดีจะมีขนาดใหญ่EE

โปรดทราบว่าในแต่ละครั้งการเปิดรับพิกเซลที่ระบุจะมีข้อผิดพลาดแตกต่างกันเซลล์ในเซ็นเซอร์ไม่มีหน่วยความจำดังนั้นพิกเซลที่ออกมาต่ำครั้งเดียวอาจจะออกมาสูงในครั้งต่อไป

Eเมื่อคุณใช้เวลาหลายความเสี่ยงของเรื่องเดียวกันและเฉลี่ยพวกเขาร่วมกันคุณจะมีประสิทธิภาพลด สำหรับพิกเซลตัวอย่างของเราด้านบนคุณจะเฉลี่ยค่าต่าง ๆ ที่ไม่ทราบNดังนั้นค่าเฉลี่ยจะนำคุณเข้าใกล้อุดมคติNนั้นมากขึ้น

ต่อไปนี้เป็นสิ่งที่ฉันเข้าใจ ผู้คนควรรู้สึกอิสระที่จะชี้ให้เห็นความเข้าใจผิด ๆ เพื่อให้เราได้รับการแก้ไข แต่หวังว่าจะชี้ให้เห็นสิ่งที่พวกเขาเห็นและไม่เพียง แต่พึมพำในเบียร์ของพวกเขา (หรือเคราหรือ ... )

เรียบง่ายและเรียบง่ายมีข้อมูลที่แตกต่างกันเล็กน้อยในภาพถ่ายที่แตกต่างกันและวิธีการต่างๆที่ใช้ในการตรวจจับและแยกข้อมูลพิเศษนี้และรวมเข้าด้วยกันในลักษณะที่สอดคล้องกันเพิ่มเติม

เป็นที่น่าสังเกตว่าระบบไม่รับประกันว่าจะทำงานได้ในทุกกรณี
หมายเหตุ [หน้า Wikipedia Super-Resolution]:

• ในอัลกอริทึม SR ที่พบบ่อยที่สุดข้อมูลที่ได้รับจากอิมเมจ SR นั้นจะถูกฝังในอิมเมจ LR ในรูปของ aliasing

  สิ่งนี้ต้องการให้เซ็นเซอร์จับภาพในระบบอ่อนแอพอที่จะเกิดปัญหานามแฝง ระบบที่มีการ จำกัด การเลี้ยวเบนไม่มีการใช้นามแฝงและไม่มีระบบที่ฟังก์ชั่น Modulation Transfer Function ทั้งหมดจะกรองเนื้อหาที่มีความถี่สูง

นามแฝงคือความสามารถของระบบในการนำเสนอข้อมูลความถี่ที่เกี่ยวข้องอย่างเหมาะสม ดู "คำอธิบาย" ในตอนท้าย

ถ้าฉันเข้าใจพวกเขาอย่างถูกต้อง (และฉันอาจจะหรืออาจจะไม่) วลีของพวกเขา "อ่อนแอพอ" หมายความว่าพวกเขาเป็นข้อมูลเพิ่มเติมที่เซ็นเซอร์ไม่สามารถแก้ไขตัวเองที่มักจะถือว่าไม่ดีดังนั้นจึงถูกระงับตามปกติ VBUT ที่เป็นไปได้ว่า ต้องการข้อมูลเพิ่มเติมโดยระบบ SR Nikon D800r ไม่มีตัวกรองออปติคอลลดรอยหยักบนเซ็นเซอร์ในขณะที่ std D800 และ DSLR อื่น ๆ เกือบทั้งหมดมีตัวกรองดังกล่าว

MTF มีประสิทธิภาพความสามารถของเลนส์ในการสร้างความคมชัดหรือเพื่อสร้าง "ความคมชัด" (ทั้งสองมีความสัมพันธ์กันแน่น MTF ใช้งานได้ดีที่สุดใกล้กับเลนส์ตรงกลางและมีรูปสี่เหลี่ยมผืนผ้าที่ตกลงไปที่ขอบ พวกเขาบอกว่าความสามารถของระบบในการสร้างภาพความละเอียดสูงขึ้นอยู่กับความสามารถในการสร้างความคมชัดและความคมชัด - เช่นคุณภาพของมันเช่นเลนส์ต้องมีอย่างน้อยเกี่ยวกับดีเท่าเลนส์ที่จะ oroduce super rsolutionj iomage โดยตรงหากความสามารถของเซ็นเซอร์และกระบวนการดีขึ้น

นามแฝงคือสิ่งที่เกิดขึ้นเมื่อสตรีมข้อมูลถูกสุ่มตัวอย่างอย่างช้าๆซึ่งข้อมูลความถี่สูงบางอย่างเปลี่ยนแปลงอย่างรวดเร็วมาก y มากกว่าอัตราการสุ่มตัวอย่างและ "ล้อมรอบ" และปรากฏราวกับว่าเป็นองค์ประกอบความถี่ต่ำกว่าจริง ๆ ในระบบ จำกัด อัตราการสุ่มตัวอย่างจะต้องมีอัตราการส่งข้อมูลสูงสุดอย่างน้อยสองเท่า แต่ในทางปฏิบัติอัตราที่สูงกว่านี้เป็นสิ่งจำเป็น

ตัวอย่างง่ายๆ:

• พิจารณาลำดับ 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

  เห็นได้ชัดว่ามีรูปแบบที่ซ้ำทุก 12 หน่วย
  เป็นสามเหลี่ยม ave ที่เพิ่มขึ้น 6 รอบและลดลงอีก 6 รอบจากนั้นทำซ้ำโดยมีคาบ = 12 หน่วย

  ตอนนี้ตัวอย่างลำดับทุกครั้งที่ 11 เท่านั้น เราได้
  0 0 2 3 4 5 6 5 4 3 2 1
  นี่คือรูปแบบเดียวกัน แต่มันเปลี่ยนช้ากว่า 11 เท่า - คลื่นสามเหลี่ยมที่มีระยะเวลา 11 x 12 = 132 หน่วย

  ตัวอย่างลำดับเดียวกันทุกครั้งที่ 8 และคุณได้รับ 0 4 4 0 4 4 0 4 4
  นั่นคือดูเหมือนว่าเป็น 1: 2 คลื่นสี่เหลี่ยมที่มีระยะเวลา = 24 หน่วย

  ระยะเวลาการสุ่มตัวอย่างใด ๆ ที่มากกว่า 6 หน่วยเวลา = ครึ่งรอบจะส่งผลให้เกิดข้อผิดพลาดในนามแฝง