ความละเอียดของภาพ CSI นั้นดีขึ้นจริงหรือ?

ดังนั้นผมจึงเฝ้าดูต่อไปนี้1 นาทีที่ยาวนาน Youtube คลิปจาก CSI นิวยอร์ก ในคลิปโดยใช้สิ่งที่ดูเหมือนจะเป็นการบันทึกจากกล้องมาตรฐานของธนาคารพวกมันซูมอย่างน้อย 100 และดูภาพผู้ร้ายในภาพสะท้อนตาของหญิงสาว

ตอนนี้ฉันคิดว่ามันไร้สาระทั้งหมดดังนั้นฉันจึงคิดว่ามันตลกจริงๆ

อย่างไรก็ตามเพื่อนของฉันแย้งว่ามีเทคนิคที่ดีมากสำหรับการปรับปรุงภาพเช่น "ขั้นตอนความละเอียดสูง" ซึ่งกระบวนการหลายเฟรมของวิดีโอเพื่อสร้างภาพความละเอียดเดียวที่สูงขึ้นมาก เขาคิดว่าการแสดงโค้งความจริงไปสักหน่อย แต่เท่าไหร่?

จริงๆแล้วฉันไม่รู้อะไรเกี่ยวกับสิ่งเหล่านี้ดังนั้นคำถามของฉันคือ:

การปรับปรุงความละเอียดของภาพในแบบที่ดีเป็นอย่างไร นอกจากนี้รายการโทรทัศน์ CSI อยู่ไกลแค่ไหน?

ขอขอบคุณ,

หมายเหตุ:นี่คือการโพสต์ข้ามบนเว็บไซต์ Skeptics ฉันบอกว่าฉันอาจได้รับคำตอบที่ดีกว่าที่นี่

คำตอบสั้น ๆ :คุณสามารถได้รับผลลัพธ์ที่ดีมาก แต่ภายใต้เงื่อนไขบางประการและไม่ใกล้เคียงกับสิ่งที่ปรากฏในวิดีโอคลิปที่เชื่อมโยง

Amped Softwareบริษัท ของฉันพัฒนาซอฟท์แวร์ประมวลผลภาพและวิดีโอสำหรับแอพพลิเคชันทางนิติเวชและหน่วยสืบราชการลับดังนั้นโดยทั่วไปเราจึงเป็นคู่แท้ของ CSI ซอฟต์แวร์

จากการอ้างอิงถึงปัญหาทั่วไปของการปรับปรุงคุณภาพฉันสามารถบอกคุณได้ว่าสำหรับตลาดของเรามันเป็นปัญหาใหญ่ที่จะดำเนินชีวิตตามความคาดหวังที่สร้างโดยละครโทรทัศน์และภาพยนตร์ฮอลลีวูด ท่านสามารถเข้าดูของเราหน้าตัวอย่างว่าบางครั้งผลที่เราสามารถที่จะได้รับเป็นที่น่าตื่นตาตื่นใจจริงๆ แต่มันเป็นสิ่งสำคัญที่จะเข้าใจว่าเราสามารถได้รับพวกเขาภายใต้เงื่อนไขบาง: ถ้ามีข้อมูลที่ถูกปกคลุมด้วยขัดขวาง แต่จะมีเราสามารถกู้คืนได้ หากไม่มีข้อมูลเราไม่สามารถทำได้และเราจะต้องไม่สร้างมันขึ้นมาใหม่ ในโปรแกรมนี้โดยเฉพาะอย่างยิ่งเป็นสิ่งสำคัญที่ไม่เพียง แต่จะได้รับผลจากจุดที่มองเห็นในมุมมองของ แต่ยังดังต่อไปนี้ขั้นตอนการทำงานทางวิทยาศาสตร์ที่จะต้องได้รับการยอมรับโดยศาล

ปีที่แล้วฉันได้นำเสนองานวิจัยที่อธิบายปัญหาและผลลัพธ์ในเกือบ 200 รายที่ฉันได้ทำไปและผลลัพธ์สุดท้ายคือ:

• ในมากกว่า 50% ของกรณีไม่มีอะไรทำ (ตัวอย่างเช่นการกู้คืนป้ายทะเบียนที่ 5x2 พิกเซลเป็นไปไม่ได้อย่างสมบูรณ์กับซอฟต์แวร์ใด ๆ ในโลก);
• ในประมาณ 30% ของกรณีที่เราสามารถได้รับผลเล็กน้อย (ตัวอย่างเช่นการเรียกคืนจดหมายทะเบียนรถยนต์หรือปรับปรุงลักษณะโดยรวมของใบหน้า)
• ใน 10% ของกรณีที่คุณได้รับผลลัพธ์ที่ดี (เช่นคุณได้รับแผ่นป้ายทะเบียนมากที่สุด)

โปรดทราบว่ากรณีเหล่านี้ทั้งหมดมีปัญหาด้านคุณภาพอย่างรุนแรง หากคุณภาพของพวกเขาดีเราไม่ได้ขอให้พวกเขาทำงาน

สำหรับสิ่งที่เกี่ยวกับการปรับปรุงความละเอียดโดยเฉพาะ:

• เมื่อคุณซูมที่ภาพคุณกำลัง interpolating พิกเซลหายไป: จากภาพเดียวที่คุณสามารถปรับปรุงการมองเห็นลักษณะของภาพ แต่คุณจะไม่ได้เพิ่มรายละเอียดจริงใด ๆ ;
• เทคนิคการแก้ปัญหาขั้นสูงอาจให้ผลลัพธ์ที่ดีภายใต้เงื่อนไขบางประการ: คุณควรมีเฟรมเพียงพอเลื่อนไปตามจำนวนพิกเซลที่ไม่ใช่จำนวนเต็มและควรมีสิ่งที่บีบอัดน้อยกว่า ในกรณีที่ดีที่สุดคุณสามารถคาดหวังผลลัพธ์ที่ดีได้ภายในการซูม 2 เท่าและ 3 เท่า

สิ่งที่แสดงในวิดีโอคลิปสามารถทำได้เฉพาะในกรณีที่วิดีโอต้นฉบับถูกถ่ายที่หลายล้านพิกเซลจากนั้นคุณจะมีความละเอียดในการซูมใกล้มาก (มากหรือน้อยเช่นที่คุณทำบน Google แผนที่) แน่นอนว่า ณ จุดนั้นยังคงมีปัญหาอื่น ๆ เช่นการโฟกัสที่ถูกต้องสภาพแสงน้อยความจริงที่ว่ามุมมองของดวงตานั้นแตกต่างจากการมองของเรื่องทั้งหมดในวิดีโอ

คุณไม่สามารถสร้างบางสิ่งออกมาได้คุณต้องมี (หรือเดา) ข้อมูลบางอย่างเพื่อที่จะสามารถปรับปรุงภาพในทางใดทางหนึ่ง ตัวอย่างเช่นถ้าคุณรู้คุณสมบัติของฟังก์ชั่นการเบลอภาพ (และไม่มีสัญญาณรบกวนภาพ) จากนั้นคุณสามารถยกเลิกการเบลอภาพได้ อย่างไรก็ตามคุณไม่ค่อยทราบว่ามีฟังก์ชั่นการเบลอและเสียงรบกวนอยู่เสมอเพื่อ จำกัด สิ่งที่คุณสามารถกู้คืนได้อย่างรุนแรง (เมื่อเร็ว ๆ นี้ Adobe แสดงให้เห็นถึงตัวกรองที่ไม่พร่ามัว

ในระยะสั้น CSI เกือบจะเป็นนิยายบริสุทธิ์ - ผลกำไรที่เป็นไปได้ในชีวิตจริงนั้นไม่สำคัญเท่ากับความละเอียดเพิ่มขึ้น 5 เท่าที่นำเสนอทางทีวี

การมีสติตรวจสอบ: ถ้าพวกเขาทำได้ทุกอย่างผู้คนจะไม่จ่ายเงินหลายหมื่นสำหรับกล้อง Hasselblad กว่า 40+ MP มันจะถูกกว่าถ้าทำซ้ำซอฟท์แวร์!

แก้ไข:ฉันไม่ได้สังเกตเห็นคำถามเดิมที่กล่าวถึงความละเอียดสูงสุดจากวิดีโอ ภาพที่มีความละเอียดสูงสุดหลายรูปเป็นไปได้ในความเป็นจริง แต่ขึ้นอยู่กับข้อ จำกัด ของเซ็นเซอร์เท่านั้น มันทำงานได้โดยใช้ชุดของภาพที่มีการเลื่อนพิกเซลย่อย สิ่งนี้ให้ข้อมูลเกี่ยวกับค่าระหว่างพิกเซลที่ช่วยให้คุณสร้างภาพความละเอียดสูงขึ้น ความละเอียดสูงสุดจากวิดีโอใช้งานได้เนื่องจากวัตถุที่เคลื่อนไหวสร้างการเปลี่ยนแปลงแบบเดียวกันอย่างไรก็ตามลักษณะที่ปรากฏของวัตถุต้องไม่เปลี่ยนแปลงมากนักระหว่างเฟรม เทคนิคที่ดีที่สุดคือให้ผลลัพธ์ของเซ็นเซอร์ความละเอียดที่สูงขึ้นเท่านั้นคุณไม่สามารถเอาชนะขีด จำกัด ของพลังงานในการแก้ไขเลนส์ซึ่งจะถูก จำกัด ด้วยเลนส์สเปคกล้องวงจรปิด

นี่คือตัวอย่างของ superresolution ภายใต้เงื่อนไขที่ดี:

_{(ที่มา: wikimedia.org )}

ภาพจาก photoacute.com

การปรับปรุงในความละเอียดใช่ แต่ยังคงอยู่ใกล้กับประสิทธิภาพระดับ CSI

เพื่ออ้างอิงความคิดเห็นของฉันข้างต้น Hasselblads ล่าสุดใช้เซ็นเซอร์ความละเอียดระดับสูงภายใต้ชื่อ "multi-shot capture" ดังนั้นคุณจึงไม่สามารถเอาชนะผู้ผลิตฟอร์แมตขนาดกลางที่เกมของตัวเองโดยใช้ซอฟต์แวร์ที่ฉลาด ...

ดังนั้นนี่คือสิ่งที่ฉันมี:

พื้นที่ตาที่เห็นบาสเกตบอลมีขนาดประมาณ 1 ตารางมิลลิเมตร จากความสูงของเด็กผู้หญิงเราสามารถประเมินได้อย่างมั่นใจว่าควรมีจำนวนสูงสุด 1 ล้านส่วนของจำนวนพิกเซลทั้งหมดบนหน้าจอ (ความกว้างและความสูงของภาพในขณะที่ไม่ได้กำหนดไว้อย่างดีสำหรับภาพถ่ายเนื่องจากบางสิ่งอาจจะอยู่ใกล้กว่าดูประมาณ 3 x 3 เมตรซึ่งจะหมายถึง 10 ล้านตารางมิลลิเมตรตา แต่อาจใกล้กับเลนส์กล้องจริงดังนั้น ฉันประมาณและแบ่งประมาณ $ 10 $)

หากการบันทึกมีคุณภาพระดับ HD นั้นจะยังคงเป็นเพียง 2 ล้านพิกเซลดังนั้นที่เราเห็นบาสเก็ตบอลควรมีขนาดพิกเซลเดียว

ฉันคิดว่าการให้เหตุผลอย่างไม่ต้องสงสัยแสดงให้เห็นว่ามันไม่เป็นความจริง แต่ฉันยังคงสงสัยว่าอะไรคือข้อ จำกัด บนในการเพิ่มประสิทธิภาพของภาพ?

มีซอฟต์แวร์บางตัวที่มีวางจำหน่ายทั่วไปพร้อมด้วย Super Resolution ฉันไม่ได้ลองสิ่งเหล่านี้เลย แต่สื่อโฆษณานั้นค่อนข้างดี ซอฟต์แวร์ดังกล่าวถูกส่งไปยังการเฝ้าระวังความปลอดภัยและกองกำลังติดอาวุธ แต่ฉันเดาว่าบางหน่วยนิติเวชจะสามารถเข้าถึงสิ่งนี้ได้

สองตัวอย่างคือ: Ikenaจาก MotionDSP และ TacitViewจาก 2d3

ไม่สามารถทำการเพิ่มรูปภาพ / วิดีโอในระดับที่แนะนำในรายการทีวีและ จำกัด โดยอุปกรณ์จับภาพ นั่นเป็นเทคโนโลยีที่จะต้องมีการพัฒนาก่อน

เป็นไปไม่ได้ที่จะได้รับข้อมูลจากการรวบรวม 10 พิกเซลเป็นวัตถุที่รู้จัก ที่ระดับพิกเซลนั่นคือจำนวนข้อมูลขั้นสุดท้ายที่ให้ไว้ในภาพ คุณมีบล็อกสีเพียง 100 บล็อกเท่านั้นในการซูม จำกัด คุณสามารถเพิ่มพื้นที่พิกเซล 10x10 เป็น 100x100 พิกเซลผ่านการแก้ไข แต่ข้อมูลใน 10x10 พิกเซลนั้นเป็นไปได้ทั้งหมดและการประมาณค่าขึ้นอยู่กับการเดาที่ได้รับการศึกษาตามซอฟต์แวร์ 10 x 10 พิกเซล ผลลัพธ์จะเบลอ 100 x 100 พิกเซล อีกทางเลือกหนึ่งคือถ่ายภาพขนาด 2000x2000 พิกเซลและแก้ไขให้มากขึ้น 4000x4000 พิกเซลและความพร่ามัวบางอย่างที่ไม่ชัดเจนในภาพต้นฉบับอาจดูชัดเจนกว่าวัตถุที่เป็นไปได้ในภาพขนาดใหญ่ผ่าน pareidolia ล้วนๆ แต่ถึงอย่างนั้นก็ตาม ภาพที่ถูกสอดแทรกจะให้รายละเอียด "ภาพลวงตา" มากขึ้น

การปรับปรุงภาพขึ้นอยู่กับปริมาณข้อมูลสูงสุดที่บันทึกผ่านแหล่งภาพต้นฉบับเพียงอย่างเดียวและการซูมเป็นพิกเซลคือทั้งหมดที่มี กล้องบางตัวสามารถถ่ายภาพที่มีความละเอียดได้ดี แต่ไม่มีซอฟต์แวร์ใดที่สามารถนำรายละเอียดออกมาซึ่งไม่ได้บันทึกไว้ในภาพต้นฉบับ

ตอนนี้เพื่อกลับไปที่รายการ CSI พวกเขาส่วนใหญ่คว้าภาพกล้องวงจรปิดมาตรฐานของคุณซึ่งเริ่มต้นด้วยความละเอียดไม่สูงโดยเฉพาะอย่างยิ่งในชีวิตจริงดังนั้นเมื่อฉันเห็นการปรับปรุงแบบนี้มันทำให้ฉันหัวเราะ - เนื่องจากเป็นไปไม่ได้แม้จะมีซอฟต์แวร์แก้ไขภาพขั้นสูงที่สุด (และ PhotoShop นั้นดีและเป็นจุดเริ่มต้นของระดับขั้นสูงอย่างแท้จริง) การปรับปรุงและซูมภาพขึ้นอยู่กับข้อมูลที่ถ่ายโดยอุปกรณ์ถ่ายภาพ 100% ดังนั้นกล้องวงจรปิดที่สามารถบันทึกภาพสะท้อนของใบหน้าของบุคคลที่อยู่ด้านข้างของกระจกตาของใครบางคนจะต้องมีพลังอำนาจสูงสุดและจะมีราคาแพงมาก . วิดีโอจะต้องมีความคมชัดของพิกเซลสูงต่อเฟรม (พูด 100 ล้านพิกเซลหรือประมาณ 9.5 เทราไบต์เพื่อจัดเก็บ 1 วินาทีของวิดีโอ) ซึ่งจะขยายขนาดไฟล์ของวิดีโอไปจนถึงจุดที่กล้องเฝ้าระวังแต่ละตัวจะต้องใช้เซิร์ฟเวอร์ฟาร์มขนาดเล็กเพื่อเก็บวิดีโอ 24 ชั่วโมง แพงมาก. เทคโนโลยีการเพิ่มประสิทธิภาพที่เกิดขึ้นนั้นจะขึ้นอยู่กับอุปกรณ์จับภาพที่สามารถทำวิดีโอและภาพที่มีรายละเอียดในระดับนี้ก่อนเพื่อเก็บข้อมูลในแบบที่สะดวกและเป็นจุดที่ราคาไม่แพงในการแผ่กระจายไปทั่วเมือง ขนาดไฟล์จะมีขนาดใหญ่มากบนฟุตเทจวิดีโอ (จำไว้ประมาณ 9.5 เทราไบต์ต่อวินาที) ว่าซอฟต์แวร์ที่สามารถทำสิ่งนี้จะต้องมีซูเปอร์คอมพิวเตอร์ที่ทรงพลังมาก (ตามมาตรฐานของทุกวันนี้) ด้วยเทคโนโลยีที่เพิ่มขึ้นตามความเร็วที่เป็นอยู่สิ่งนี้อาจเป็นไปได้ในบางจุดในอนาคตอาจเป็นในช่วงชีวิตของเรา พวกเขาเท่านั้นที่จะทำได้ แต่ภาพจะไม่ได้รับการปรับปรุง พวกเขาจะซูมภาพที่มีรายละเอียดมากเท่านั้น ฉันรู้สิ่งนี้เมื่อฉันทำงานในภาพดิจิทัลเพื่อการใช้ชีวิตเต็มเวลา