การแสดงผลที่สมจริง: ฉันต้องพิจารณากระบวนการใดของตาและสมองของมนุษย์

การแสดงผลแบบภาพเสมือนจริงมีเป้าหมายของการแสดงผลภาพเป็นที่กล้องจริงจะจับมัน แม้ว่านี่จะเป็นเป้าหมายที่ทะเยอทะยานอยู่แล้ว แต่สำหรับบางสถานการณ์ที่คุณอาจต้องการดำเนินการต่อไป: ทำให้ภาพเหมือนดวงตามนุษย์จะจับภาพหรือแม้กระทั่งในขณะที่มนุษย์มองเห็นมัน คุณสามารถเรียกมันว่าการเรนเดอร์visiorealisticหรือperceptiorealisticแต่ถ้ามีใครสามารถสร้างคำศัพท์ที่จับได้ (หรือบอกฉันว่ามีอยู่แล้ว) ฉันขอขอบคุณ

นี่คือตัวอย่างที่จะทำให้จุดของฉันชัดเจน เมื่อคุณถ่ายภาพด้วยกล้องที่มีระดับความสว่างต่ำคุณอาจมีเลนส์ที่ดีหรือมีภาพที่มีเสียงดัง สำหรับผู้สังเกตการณ์มนุษย์วิสัยทัศน์ scotopicเริ่มขึ้นและก่อให้เกิดเอฟเฟกต์ Purkinje (สีจะเปลี่ยนเป็นสีน้ำเงิน) ผลกระทบนี้ขึ้นอยู่กับข้อมูลความสว่างของ HDR ซึ่งหายไปเมื่อฉันแสดงภาพบนจอแสดงผล LDR นอกจากนี้สมองของมนุษย์อาจใช้ข้อมูลเชิงลึกเพื่อ 'กรอง' ภาพที่รับรู้ - ข้อมูลที่หายไปในการแสดงผลขั้นสุดท้าย (ไม่ใช่สเตอริโอ)

การรวบรวมรายการที่ละเอียดถี่ถ้วนอาจเป็นเป้าหมายที่เข้าใจยาก คุณช่วยแนะนำผลกระทบของดวงตาและสมองที่ฉันต้องพิจารณาได้ไหม?

คุณอาจต้องการที่จะใช้มันต่อไป: ทำให้ภาพเหมือนดวงตามนุษย์จะจับมันหรือแม้กระทั่งในขณะที่มนุษย์จะรับรู้มัน

มีสองวิธีในการตีความสิ่งนี้ ฉันจะทำทั้งสองอย่าง

การตีความที่ 1: แสดงรูปภาพที่ดูสมจริง

ในตอนท้ายของวันภาพของคุณยังคงต้องปรากฏที่ใดที่หนึ่ง นี่คือกุญแจสำคัญ: คุณต้องการแสดงภาพของคุณในแบบที่เมื่อคุณ * แสดง * รูปภาพนั้นบนอุปกรณ์แสดงผลโดยเฉพาะมันจะให้ความรู้สึกแบบเดียวกันกับที่ภาพคลื่นรังสีต้นฉบับจะผลิต

ต่อไปนี้เป็นวิธีคลายความคิดนั้น

ในโลกแห่งความเป็นจริง radiometric spectra (เช่นการกระจายแสง) เข้าตาของคุณและกระตุ้นตัวรับแสงประมาณ¹ 4 ตัว การกระตุ้นของผู้รับทำให้เกิดความรู้สึกของสีที่เราเชื่อมโยงกับภาพ

ในการเรนเดอร์เราไม่มีอำนาจควบคุมสเปคตรัมที่เราสร้างขึ้นเอง โชคดีที่เรา (โดยปกติ) มีกรวยเพียงสามกรวยแต่ละอันมีค่าสเกลาร์เท่านั้นการมองเห็นสีจึงสามารถทำซ้ำได้โดยใช้สามต้นที่แน่นอน บรรทัดล่างคือคุณสามารถสร้างความรู้สึกสีใด ๆ โดยใช้การผสมผสานเชิงเส้นของความยาวคลื่นสามเท่านั้น (ไม่เกินสองสามสีที่อาจต้องเป็นค่าลบในกรณีนี้คุณเพียงแค่ใช้พรรคที่แตกต่างกัน)

คุณไม่มีทางเลือกของพรรค อุปกรณ์แสดงผลสีเกือบทั้งหมดใช้มาตรฐาน sRGB ซึ่งมีสามพรรค (ซึ่งโดยปกติแล้วจะไม่มีความยาวคลื่นเดียว) ไม่เป็นไรเพราะปรากฎว่ามันเป็นนามธรรมและคุณไม่ต้องสนใจ

เพื่อชี้แจงระเบียบที่แสดงผลความแม่นยำ perceptually นี่คืออัลกอริทึม:

1. แสดงภาพของคุณโดยใช้การคำนวณ radiometric ที่ถูกต้อง คุณติดตามความยาวคลื่นแสงหรือที่เก็บความยาวคลื่นแต่ละรายการ อะไรก็ตาม ในท้ายที่สุดคุณมีภาพที่มีการแสดงสเปกตรัมที่ได้รับทุกจุด
2. ในแต่ละพิกเซลที่คุณใช้คลื่นความถี่ที่คุณแสดงผลและแปลงเป็นพื้นที่สี CIE XYZ นี้ทำงานออกมาเป็นการบูรณาการผลิตภัณฑ์ของสเปกตรัมที่มีฟังก์ชั่นมาตรฐานสังเกตการณ์ (ดู CIE XYZ นิยาม)
3. สิ่งนี้สร้างค่าสเกลาร์สามค่าซึ่งเป็นสี CIE XYZ
4. ใช้เมทริกซ์การแปลงแปลงนี้เพื่อเชิงเส้น RGB แล้วจากที่นั่นใช้เส้นอำนาจ / แปลงแปลงเชิงเส้น RGB เป็น sRGB
5. แปลงจากจุดลอยตัวเป็น uint8 และบันทึกการจับค่าไม่อยู่ในขอบเขต (จอภาพของคุณไม่สามารถแสดงได้)
6. ส่งพิกเซล uint8 ไปที่ framebuffer
7. จอแสดงผลใช้สี sRGB, การแปลงผกผันเพื่อสร้างความหนาแน่นเฉพาะสามประการ แต่ละสเกลเอาท์พุทขององค์ประกอบภาพใด ๆ ที่รับผิดชอบ องค์ประกอบภาพสว่างขึ้นสร้างคลื่นความถี่ สเปกตรัมนี้จะเป็น (หวังว่า) ตัวชี้วัดสำหรับสเปกตรัมดั้งเดิมที่คุณแสดงผล
8. คุณรับรู้คลื่นตามที่คุณจะได้รับการแสดงคลื่นความถี่

การตีความที่ 2: พยายามจำลองข้อมูลปลายทางที่สายตามนุษย์อาจได้รับเพื่อวัตถุประสงค์ในการสร้างภาพหรือการชดเชยสำหรับการแสดง LDR

ฉันคิดว่าสิ่งนี้มีประโยชน์น้อยกว่า โดยพื้นฐานแล้วคุณกำลังพยายามสร้างภาพที่ปรับแต่งวิธีที่สมองรับรู้เพื่อความสนุกสนาน / ผลกำไร

ตัวอย่างเช่นมีกระดาษที่ SIGGRAPH ในปีนี้ที่พวกเขาจำลอง afterimages และการลดสีเพื่อให้ภาพดูแตกต่างกัน แน่นอนเหตุผลเดียวที่พวกเขาทำเช่นนี้ก็เพราะหน้าจอที่เราใช้งานนั้นเป็นช่วงไดนามิกต่ำ (LDR) จุดประสงค์คือการจำลองเอฟเฟกต์ที่บางคนอาจเห็นว่าได้สัมผัสกับจอแสดงผลช่วงไดนามิกสูง (HDR) จริง ๆ เป็นข้อมูลภาพจริงหรือไม่

ในทางปฏิบัติสิ่งนี้กลับกลายเป็นว่าทำงานได้ไม่ดีนัก ยกตัวอย่างเช่น afterimages เราจะเห็น afterimages เพราะเซลล์กระตุ้นสีที่สว่างมาก ๆ หากคุณพยายามกระตุ้นเอฟเฟกต์ด้วยการปลอมหลังภาพแทนมันอาจดูคล้าย ๆ กัน - แต่เนื่องจากมันเป็นกลไกที่แตกต่างอย่างสิ้นเชิงมันจึงไม่น่าเชื่อ

กราฟิคประเภทนี้ไม่ได้รับแสงจริง ๆ ในวรรณคดีหากคุณต้องการลองเล่นดู บทความที่กล่าวถึงนี้เป็นตัวอย่างของวิธีการที่ทันสมัยที่สุดที่เรามี ฉันคิดว่าฉันทามติปัจจุบันว่ามันไม่คุ้มค่าที่จะลองจำลอง (อย่างน้อยก็ในเวลานี้) เพราะอย่างน้อยที่สุดคุณจะต้องใกล้เคียงกับเอฟเฟกต์การมองเห็นจริงโดยการแทนที่สิ่งที่แตกต่างกัน งาน.

¹ Rod + 3 * กรวยเป็นปกติ ใกล้เคียงเพราะมนุษย์อาจมีตัวรับแสงทำงานน้อยที่สุดถึงค่าสูงสุดที่คาดคะเนได้ถึงเจ็ดตัว

เมื่อพูดถึงการรับรู้นอกจากนี้ยังมีปัญหาของสิ่งที่เราเกือบตาบอด (ในแง่ของคุณสมบัติหรือสิ่งประดิษฐ์) และสิ่งที่เราบังคับใช้การรับรู้

ตัวอย่างเช่นสำหรับเสียงคุณมีคอนทราสต์หรือความถี่ที่ทำให้คุณน้อยลงหรือไม่ทราบเนื้อหาอื่น ๆ (กระดาษ SIGGRAPH เก่าแสดงให้เห็นว่าพื้นผิวสามารถปกปิดความละเอียดของตาข่าย) รวมถึงแง่มุมตลอดเวลา (google สำหรับ "เปลี่ยนตาบอด") ในทำนองเดียวกันรายละเอียดของพื้นผิว, บรรทัดฐาน, BRDF อาจหรืออาจไม่เห็นขึ้นอยู่กับค่าและค่าญาติ

นอกจากนี้เนื่องจากระบบการรับรู้ของเรามีแนวโน้มที่จะปรับทั้งในประเทศและทั่วโลกสำหรับค่าความถี่ต่ำมันเป็นสิ่งสำคัญที่จะมี maxima และ minima ในสถานที่ที่เหมาะสม แต่ค่าที่แน่นอนของพวกเขาจะไม่ถูกสังเกตเห็น

บางครั้งอาจมีการรับรู้เช่นคุณยอมให้มีข้อผิดพลาดมากมายในก้อนเมฆและต้นไม้ แต่แน่นอนในใบหน้ามนุษย์ (บางครั้งคุณอาจปรับลดรุ่นนี้เป็นสถิติของพารามิเตอร์สำหรับหมวดหมู่ที่กำหนด)

นั่นเป็นเหตุผลที่ฉันชอบใช้คำว่า "น่าเชื่อถือ" มากกว่า "photorealistic"

ในทางตรงกันข้ามเรามีความอ่อนไหวเป็นพิเศษต่อสิ่งประดิษฐ์เช่นพิกเซลเท็จหรือพิกเซลริบหรี่พิเศษไวต่อความสัมพันธ์เช่นแนวหน้าของข้อผิดพลาดที่ระดับสีเทา 1 เท่านั้นเท่านั้นรูปแบบที่ไม่ต้องการเช่นMoiré, aliasing หรือสุ่มที่ไม่ดีเป็นต้น

โดยวิธีการนี้เป็นหนึ่งในเหตุผลที่โซลูชันที่ใช้การเพิ่มประสิทธิภาพซึ่งรวมทุกอย่างด้วยพลังงานที่เรียบง่ายอาจเป็นความคิดที่ไม่ดีอย่างมากเมื่อพูดในสถานการณ์ที่ขัดแย้งกันทั้งหมด ด้วยเหตุผลเดียวกันนี้ผู้คนทั่วโลกต่างก็รู้สึกผิดหวังอย่างมากที่โซลูชั่นพลังงานที่แน่นอนได้รับการยอมรับน้อยกว่าเงาโดยประมาณที่ไม่สร้างนามแฝง

ภาพรวม (ค่อนข้างทั่วไป) เกี่ยวกับการรับรู้เกี่ยวกับกราฟิกสามารถพบได้ในหลักสูตร SigAsia'11 เรื่อง"การรับรู้เกี่ยวกับกราฟิกการมองเห็นสภาพแวดล้อมเสมือนจริงและภาพเคลื่อนไหว"