ฉันเคยเห็นและมีความสุขกับคำถามการทำความเข้าใจการวิเคราะห์องค์ประกอบหลักและตอนนี้ฉันมีคำถามเดียวกันสำหรับการวิเคราะห์องค์ประกอบอิสระ ฉันหมายถึงฉันต้องการคำถามที่ครอบคลุมเกี่ยวกับวิธีการที่เข้าใจง่ายในการทำความเข้าใจ ICA หรือไม่

ฉันต้องการที่จะเข้าใจมัน ฉันต้องการได้รับวัตถุประสงค์ของมัน ฉันต้องการรับความรู้สึกของมัน ฉันเชื่ออย่างยิ่งว่า:

คุณไม่เข้าใจอะไรจริงๆเว้นแต่คุณจะอธิบายให้คุณยายฟัง
-- Albert Einstein

ฉันไม่สามารถอธิบายแนวคิดนี้กับคนธรรมดาหรือยายได้

1. ทำไมต้องเป็น ICA แนวคิดนี้จำเป็นสำหรับอะไร?
2. คุณจะอธิบายเรื่องนี้กับคนธรรมดาได้อย่างไร

นี่คือความพยายามของฉัน

พื้นหลัง

พิจารณาสองกรณีต่อไปนี้

1. คุณเป็นคนที่มีความเป็นส่วนตัวในงานปาร์ตี้ ทันใดนั้นคุณเห็นลูกค้าเก่าของคุณคุยกับใครสักคนและคุณสามารถได้ยินบางคำ แต่ไม่มากเพราะคุณยังได้ยินคนอื่นที่อยู่ถัดจากเขาเข้าร่วมในการสนทนาที่ไม่เกี่ยวข้องกับกีฬา คุณไม่ต้องการเข้ามาใกล้ - เขาจะหาคุณ คุณตัดสินใจที่จะใช้โทรศัพท์ของคู่ของคุณ (ที่ไม่ว่างเชื่อว่าเบียร์บาร์เทนเดอร์ที่ไม่มีแอลกอฮอล์เป็นสิ่งที่ดี) และปลูกไว้ข้างๆคุณ โทรศัพท์กำลังบันทึกและโทรศัพท์ยังบันทึกการพูดคุยของลูกค้าเก่าเช่นเดียวกับผู้เล่นกีฬาที่รบกวน คุณถือโทรศัพท์ของคุณเองและเริ่มบันทึกด้วยเช่นกันจากที่ที่คุณยืน หลังจากผ่านไปประมาณ 15 นาทีคุณจะกลับบ้านด้วยการอัดเสียงสองครั้ง: หนึ่งอันจากตำแหน่งของคุณและอีกอันห่างจากกันประมาณ 10 เมตร ทั้งสองรายการมีลูกค้าเก่าของคุณและ Mr. Sporty
2. คุณถ่ายภาพสุนัขลาบราดอร์น่ารัก ๆ ที่คุณเห็นนอกหน้าต่าง คุณเช็คเอาท์ภาพและโชคไม่ดีที่คุณเห็นภาพสะท้อนจากหน้าต่างที่อยู่ระหว่างคุณกับสุนัข คุณไม่สามารถเปิดหน้าต่างได้ (เป็นหนึ่งในนั้นใช่) และคุณไม่สามารถออกไปข้างนอกได้เพราะคุณกลัวว่าเขาจะวิ่งหนีไป ดังนั้นคุณจึงถ่ายอีกภาพ (ด้วยเหตุผลที่ไม่ชัดเจน) จากตำแหน่งที่แตกต่างออกไปเล็กน้อย คุณยังคงเห็นภาพสะท้อนและสุนัข แต่พวกเขาอยู่ในตำแหน่งที่แตกต่างกันในขณะนี้เนื่องจากคุณกำลังถ่ายภาพจากที่อื่น นอกจากนี้โปรดทราบว่าตำแหน่งเปลี่ยนไปอย่างสม่ำเสมอสำหรับแต่ละพิกเซลในภาพเนื่องจากหน้าต่างแบนและไม่เว้า / นูน

คำถามคือในทั้งสองกรณีวิธีการคืนค่าการสนทนา (ใน 1) หรือภาพของสุนัข (ใน 2) ให้ภาพสองภาพที่มี "แหล่งที่มา" สองที่เหมือนกัน แต่มีส่วนร่วมญาติแตกต่างกันเล็กน้อยจากแต่ละ . หลานที่ได้รับการศึกษาของฉันสามารถเข้าใจสิ่งนี้ได้!

โซลูชันที่ใช้งานง่าย

อย่างน้อยที่สุดแล้วเราจะได้ภาพลักษณ์ของสุนัขกลับมาจากส่วนผสมได้อย่างไร แต่ละพิกเซลมีค่าที่รวมเป็นสองค่า! ถ้าแต่ละพิกเซลได้รับโดยไม่มีพิกเซลอื่น ๆ สัญชาตญาณของเราก็จะถูกต้อง - เราจะไม่สามารถคาดเดาการมีส่วนร่วมที่แน่นอนของแต่ละพิกเซลได้

อย่างไรก็ตามเราได้รับชุดพิกเซล (หรือจุดในกรณีของการบันทึก) ที่เรารู้ว่ามีความสัมพันธ์แบบเดียวกัน ตัวอย่างเช่นหากในภาพแรกสุนัขจะแข็งแกร่งกว่าการสะท้อนสองเท่าเสมอและในภาพที่สองมันเป็นสิ่งที่ตรงกันข้ามเราอาจสามารถได้รับการช่วยเหลือที่ถูกต้องหลังจากทั้งหมด จากนั้นเราสามารถหาวิธีที่ถูกต้องในการลบภาพสองภาพในมือเพื่อให้การสะท้อนถูกยกเลิกอย่างแน่นอน! [ทางคณิตศาสตร์นี่หมายถึงการค้นหาเมทริกซ์การผสมผกผัน]

ดำน้ำเข้าไปในรายละเอียด

$S_1$$Y_1,Y_2$$S_1=b_{11} Y_1 + b_{12} Y_2$$(b_{11},b_{12})$$S_2$$(b_{21},b_{22})$

แต่คุณจะหาสัญญาณทั่วไปได้อย่างไร พวกเขาอาจมีลักษณะคล้ายกันมีสถิติที่คล้ายกัน ฯลฯ ดังนั้นสมมติว่าพวกเขาเป็นอิสระ มันสมเหตุสมผลถ้าคุณมีสัญญาณรบกวนเช่นสัญญาณรบกวนหรือหากสัญญาณทั้งสองเป็นภาพสัญญาณรบกวนอาจเป็นภาพสะท้อนของสิ่งอื่น (และคุณถ่ายภาพสองภาพจากมุมที่แตกต่างกัน)

$Y_1$$Y_2$$S_1,S_2$$X_1,X_2$

$X_1,X_2$$S_1,S_2$$X_1,X_2$$b_{ij}$$\{a_{ij}\}$$\{b_{ij}\}$สิ่งนั้นจะเป็นการพลิกกลับการดำเนินการผสม (และถ้ามันไม่สามารถย้อนกลับได้เราสามารถเข้าใกล้) และถ้าเราทำให้มันเป็นอิสระโอกาสที่ดีที่เราจะคืนของเรา$S_i$

$\{b_{ij}\}$$X_1,X_2$

ดังนั้นก่อนอื่นให้พิจารณาสิ่งนี้: ถ้าเรารวมสัญญาณอิสระแบบไม่เสียแบบเกาส์หลาย ๆ ตัวเราจะสร้างผลรวม "แบบเกาส์เพิ่มเติม" มากกว่าองค์ประกอบ ทำไม? เนื่องจากทฤษฎีบทขีด จำกัด กลางและคุณยังสามารถคิดถึงความหนาแน่นของผลรวมของสอง indep ตัวแปรซึ่งเป็นความหนาแน่นของความหนาแน่น ถ้าเรารวม indep หลาย ๆ ตัวแปรเบอร์นูลลีการกระจายเชิงประจักษ์จะมีรูปร่างแบบเกาส์เซียนมากขึ้นเรื่อย ๆ มันจะเป็น Gaussian จริงหรือไม่? อาจไม่ใช่ (ไม่ได้ใช้การคำนวณ) แต่เราสามารถวัด Gaussianity ของสัญญาณโดยจำนวนที่มันคล้ายกับการแจกแจงแบบเกาส์ ตัวอย่างเช่นเราสามารถวัดความโด่งเกิน ถ้ามันสูงจริง ๆ มันก็อาจเป็นเกาส์เซียนน้อยกว่าหนึ่งที่มีความแปรปรวนเดียวกัน แต่มีความหนาเกินใกล้กับศูนย์

ดังนั้นหากเราต้องหาตุ้มน้ำหนักผสมเราอาจลองค้นหา $\{b_{ij}\}$$X_1,X_2$$\{b_{ij}\}$

แน่นอนว่านี่เป็นการเพิ่มข้อสันนิษฐานอีกข้อหนึ่ง - สัญญาณทั้งสองจะต้องไม่ใช่แบบเกาส์ - เนเริ่ม

ง่ายมาก. ลองนึกภาพคุณยายและสมาชิกครอบครัวรวมตัวกันรอบโต๊ะ กลุ่มคนที่มีขนาดใหญ่ขึ้นมักจะแยกกันว่าหัวข้อการแชทนั้นมีความเฉพาะเจาะจงกับกลุ่มย่อยนั้น คุณยายของคุณนั่งที่นั่นและได้ยินเสียงของทุกคนพูดสิ่งที่ดูเหมือนจะเป็นเพียงเสียงขรม หากเธอหันไปหากลุ่มใดกลุ่มหนึ่งเธอสามารถแยกการสนทนาในกลุ่มวัยรุ่น / วัยรุ่นได้อย่างชัดเจนหากเธอหันไปหากลุ่มอื่นเธอสามารถแยกคนแชทเป็นผู้ใหญ่ได้

เพื่อสรุป ICA กำลังแยกหรือแยกสัญญาณเฉพาะ (หนึ่งคนหรือกลุ่มคนที่พูด) จากส่วนผสมของสัญญาณ (ฝูงชนพูด)