ข้อดีและข้อเสียของอัลกอริทึม demosaicing ไบเออร์ที่แตกต่างกันคืออะไร?

เซ็นเซอร์ไบเออร์ใช้รูปแบบของพิกเซลสีแดงสีเขียวและสีน้ำเงินและรวมเข้าด้วยกันเป็นภาพสีขั้นสุดท้ายโดยมีหนึ่งพิกเซลสำหรับเซ็นเซอร์สีทุกอัน สิ่งนี้สามารถทำได้ด้วยการผสมผสาน "ไร้เดียงสา" ของเซ็นเซอร์เพื่อนบ้าน แต่ฉันเคยได้ยินชื่อที่ซับซ้อนเช่น AHD, HPHD และ AMaZE

อะไรคือวิธีการอื่น ๆ เหล่านี้และพวกเขาได้ประโยชน์อะไรบ้าง? พวกเขามีจุดอ่อนเกินความซับซ้อนของการคำนวณหรือไม่

ฉันจินตนาการว่าวิธีการที่ใช้สำหรับ JPEG ในกล้องนั้นได้รับการปกป้องอย่างแน่นหนา แต่ชัดเจนว่ามีการวิจัยและพัฒนาจำนวนมากเข้ามาในพื้นที่นี้ กำลังการประมวลผลที่มีอยู่อย่าง จำกัด ในกล้องบังคับให้มีการประนีประนอมในบริเวณนี้หรือไม่?

ฉันรู้สึกประหลาดใจเมื่อไม่กี่เดือนที่ผ่านมาเพื่อพบว่า SDK กล้องวิชันซิสเต็มของฉันใช้ "การแก้ไข" เพื่อนบ้านที่ใกล้ที่สุดในฟังก์ชั่นไบเออร์ในตัว มันเป็นประเภทที่เร็วที่สุด แต่แย่ที่สุดคือให้ขอบที่แข็งโดยเฉพาะเมื่อคุณเริ่มทำคณิตศาสตร์ในช่องภาพเพื่อความมั่นคงของสีหรือความไม่แปรปรวนของความสว่าง ฉันพบรีวิวอัลกอริทึมนี้:

http://www.arl.army.mil/arlreports/2010/ARL-TR-5061.pdf

ขั้นตอนต่อไปคือการประมาณค่าแบบไบนิอาร์และไบบูบิกซึ่งสามารถคำนวณได้ค่อนข้างเร็ว สิ่งเหล่านี้จะทำให้ฟันเลื่อยสีบนขอบที่เอียงเป็นสองเท่ามากกว่าไบโบบิค

สามารถเห็นได้ในบทความนี้และด้วยข้อมูลคุณภาพเชิงปริมาณในอัลกอริทึม 5 แบบ:

http://research.microsoft.com/en-us/um/people/lhe/papers/icassp04.demosaicing.pdf

นี่คือเหตุผลที่พวกเขาทำการแก้ไขตามทิศทางของขอบ อย่างไรก็ตามสิ่งเหล่านี้ถือว่าสีเขียวเป็น "ช่องทางที่สำคัญ" มากกว่า (เนื่องจากมีความละเอียดและการบัญชีที่ดีที่สุดสำหรับความไวภาพส่วนใหญ่ของเราและความละเอียดตาของเรา) จากนั้นพวกเขาก็สร้างสีน้ำเงินและสีแดงเป็นฟังก์ชั่นของช่องสีเขียวเพื่อรักษาแฟชั่น ในทางกลับกันนี้ทำให้เนื้อหาความถี่สูงช่องสีเขียวมีแนวโน้มที่จะเกิดข้อผิดพลาดมากขึ้น ความซับซ้อนจะสูงกว่าเนื่องจากต้องตรวจสอบว่าเกิดอะไรขึ้นและต้องผ่านหลายรอบ Moire และ maize เป็นสิ่งประดิษฐ์ทั่วไปจากการแก้ไขประเภทนี้

ที่นี่พวกเขาแสดงตัวอย่างของ Adaptive Homogeneity Demosaicing และรุ่น bilinear ทั้งที่มีและไม่มีการถนอมสีและการรักษาขอบ addons:

http://math.auburn.edu/~kilgota/ahd_bayer.pdf

กระดาษนั้นชอบ AHD และไม่แสดงส่วนที่เป็นลบ ในหน้านี้คุณสามารถดูสิ่งประดิษฐ์รูปแบบที่แตกต่างกันจากการปรับความเหมือนกันแบบปรับเปลี่ยนได้, การจัดกลุ่มพิกเซลที่มีลวดลายและจำนวนการไล่ระดับสีที่เปลี่ยนแปลงได้ (เลื่อนเมาส์ไปเหนือชื่อ):

http://www.ruevski.com/rawhistogram/40D_Demosaicing/40D_DemosaicingArtifacts.html

โดยสรุปมีข้อสันนิษฐานจำนวนหนึ่งที่ใช้ในอัลกอริธึมเหล่านี้และสิ่งประดิษฐ์เกิดขึ้นเมื่อข้อสันนิษฐานนั้นไม่ได้เก็บไว้:

• ต่อช่องทางเรียบ หากเพื่อนบ้านที่ใกล้ที่สุดไม่เหมือนกันให้ทำการปรับเปลี่ยนให้ราบรื่น สิ่งประดิษฐ์: เลื่อย / รูดซิปความนุ่มนวล
• ความคงที่ของความสว่างที่มีขอบกำกับ (ทิศทาง bilinear) สิ่งประดิษฐ์: คลื่นพื้นผิวความถี่สูง, แนวสี
• ความมั่นคงของเว้ หากอยู่ในละแวกใกล้เคียงเว้จะเหมือนกันดังนั้นหากช่องหนึ่งเปลี่ยนผู้อื่นต้องปฏิบัติตาม สิ่งประดิษฐ์: รูดซิปสีบนขอบสี
• ความมั่นคงสามารถทำนายได้จากสีเขียว Artifact: เขาวงกต

ฉันเริ่มเล่นกับเรื่องนี้เล็กน้อยและพบว่าวิธีการที่ไร้เดียงสานั้นไม่เลวเลย นั่นเป็นเพียงการแยกแต่ละสีและการแก้ไขเพื่อให้ได้ระหว่างพิกเซล ข้อเสียเปรียบหลักของเรื่องนี้คือถ้าคุณกำลังแอบดูพิกเซลในสถานที่ที่มีคอนทราสต์สูงคุณสามารถเห็นแนวสีเล็กน้อย อีกวิธีหนึ่งถ้าคุณมีพื้นที่สีเทาอ่อนติดกับพื้นที่สีดำคุณจะเห็นพิกเซลสีสองสามอันที่ขอบเขต โชคดีที่ค่าเฉลี่ยเหล่านี้ออกมาโดยทั่วไป แต่ถ้าขอบนั้นเกือบเป็นแนวตั้งหรือเกือบจะเป็นแนวนอน เอฟเฟกต์แบบเดียวกันนี้สามารถเห็นได้ชัดเจนยิ่งขึ้นบนเส้นบาง ๆ ที่เกือบจะแนวตั้งหรือแนวนอน

นี่คือตัวอย่าง ภาพนี้เป็นภาพทดสอบโดยเจตนา:

สังเกตแถบแถบที่เห็นได้ชัดของสายโครเมี่ยม ในการใส่มุมมองนี่เป็นกรอบเต็ม:

ฉันคิดเกี่ยวกับวิธีการอื่น แต่จนถึงขณะนี้มีสิ่งอื่น ๆ ให้ทำก่อนเสมอ โครงการนี้จะพยายามค้นหาความสว่างก่อน นี่จะเป็นช่องทางเดียวของข้อมูลภาพหากภาพเป็นขาวดำ ประสาทสัมผัสแต่ละอย่างมีส่วนช่วยในเรื่องนั้นถึงแม้ว่าสีจะมีส่วนร่วมไม่เท่ากัน เมื่อกำหนดความเข้มคุณจะต้องสอดแทรกสีเหมือนในวิธีการไร้เดียงสา แต่ใช้ผลลัพธ์เพื่อตั้งค่าสีในลักษณะที่จะรักษาความเข้มไว้เท่านั้น ความเข้มจะมีแบนด์วิดท์สูงกว่าหรือคมชัดกว่าในแง่ภาพถ่ายมากกว่าข้อมูลเว้ Analog TV ใช้เคล็ดลับนี้เพื่อลดความต้องการแบนด์วิดท์ของภาพสี พวกมันหนีไปเพราะระบบการมองเห็นของมนุษย์ให้ความสำคัญกับความเข้มมากกว่าสีโดยเฉพาะสีแดง

อย่างไรก็ตามนั่นเป็นเพียงความคิด อย่างที่ฉันบอกว่าฉันยังไม่ได้ลองหรือทำรายละเอียด บางวัน

ฉันเข้าใจว่ารุ่นของกระบวนการที่แตกต่างกันใน Lightroom (จนถึงตอนนี้เรามี 2003, 2010 และ 2012) สอดคล้องกับสิ่งอื่น ๆ กับอัลกอริทึมการทำลายล้างที่แตกต่างกัน ซอฟต์แวร์ที่น่าสนใจอีกอย่างคือ UFRawซึ่งเสนอดังต่อไปนี้ (อ้างจากหน้าเว็บ):

หลังจากตั้งค่าสมดุลแสงขาว UFRaw จะแก้ไขรูปแบบไบเออร์

• การแก้ไข AHD คือการแก้ไขที่สอดแทรกความเป็นเนื้อเดียวกันแบบปรับตัว มันคือการแก้ไขเริ่มต้น
• การแก้ไข VNG ใช้จำนวนตัวแปรการเปลี่ยนแปลงไล่ระดับตามเกณฑ์ นี้มักจะต้องใช้การแก้ไขเริ่มต้นและยังคงเป็นสิ่งที่ดีมาก
• ควรใช้การแก้ไขสี่สี VNG หากคุณได้รับสิ่งประดิษฐ์ลวดลายไบเออร์ในภาพถ่ายของคุณ (ดูคำถามที่พบบ่อยของ DCRawสำหรับรายละเอียดเพิ่มเติม)
• การแก้ไข PPG ย่อมาจากการแก้ไขการจัดกลุ่มพิกเซลที่มีลวดลาย มันเกือบจะดีเหมือนข้างต้นและเร็วกว่ามาก
• การแก้ไข Bilinear เป็นการแก้ไขขั้นพื้นฐานมาก แต่เร็วกว่ามาก

นี่อาจเป็นวัสดุสำหรับการทดลอง โดยวิธีการที่ UFRaw ดูเหมือนจะเป็นโอเพนซอร์สซึ่งช่วยให้คุณมองไปที่อัลกอริทึมด้วยตนเอง

ในการถ่ายภาพทางดาราศาสตร์หัวข้อนี้มีการตรวจสอบอย่างลึกซึ้งเพราะเมื่อใช้เซ็นเซอร์สีแบบ one-shot มีการแก้ปัญหาที่หายไปจำนวนมากโดยการล้างข้อมูล ในทางกลับกันการใช้ไฟล์ RAW ยังคงสามารถเข้าถึงข้อมูลต้นฉบับและสามารถประมวลผลก่อนแอปพลิเคชันสี หัวข้อนี้มีความเกี่ยวข้องกับซอฟต์แวร์อย่างใกล้ชิด

กล่าวโดยย่อหากคุณสามารถเข้าถึงภาพจำนวนมากที่มีข้อมูลหัวเรื่องเดียวกัน (ซึ่งเป็นสิ่งที่ทำเพื่อลดสัญญาณรบกวนของเซ็นเซอร์) คุณสามารถแลกเปลี่ยนการแปลงเฟรมเดียวด้วย AHD สำหรับวิธีหยดฝนซึ่งสามารถกู้คืนความละเอียดที่หายไป ตัวเลือกขึ้นอยู่กับชนิดของแหล่งข้อมูลที่คุณมีอยู่ ช่างภาพส่วนใหญ่มีเพียงภาพเดียวที่จะใช้

ซอฟต์แวร์บางตัวที่ฉันใช้กับตัวเลือกสำหรับกระบวนการชำระหนี้ ได้แก่ Deep Sky Stacker และ Pix Insight มีคนอื่นเช่นกัน หลายคนจะขึ้นอยู่กับDCRAW

นี่คือลิงค์สำหรับบทความในหน้า Deep Sky Stacker ที่พวกเขาพูดถึงตัวเลือกบางอย่าง: ตัวเลือกการชำระหนี้