ฉันจะเลือกจำนวนส่วนประกอบสำหรับการวิเคราะห์ส่วนประกอบอิสระได้อย่างไร

ในกรณีที่ไม่มีการคาดเดาที่ดีเกี่ยวกับจำนวนขององค์ประกอบที่จะร้องขอในการวิเคราะห์ส่วนประกอบอิสระฉันกำลังมองหากระบวนการคัดเลือกโดยอัตโนมัติ ฉันคิดว่าเกณฑ์ที่สมเหตุสมผลอาจเป็นจำนวนที่ลดหลักฐานระดับโลกสำหรับความสัมพันธ์ระหว่างองค์ประกอบที่คำนวณได้ นี่คือรหัสเทียมของวิธีการนี้:

for each candidate number of components, n:
    run ICA specifying n as requested number of components
    for each pair (c1,c2) of resulting components:
        compute a model, m1: lm(c1 ~ 1)
        compute a model, m2: lm(c1 ~ c2)
        compute log likelihood ratio ( AIC(m2)-AIC(m1) ) representing the relative likelihood of a correlation between c1 & c2
    compute mean log likelihood ratio across pairs
Choose the final number of components as that which minimizes the mean log likelihood of component relatedness

ฉันคิดว่าสิ่งนี้ควรลงโทษผู้สมัครที่ใหญ่กว่าจำนวนองค์ประกอบ "ของจริง" โดยอัตโนมัติเพราะ ICAs ที่เกิดจากผู้สมัครดังกล่าวควรถูกบังคับให้เผยแพร่ข้อมูลจากองค์ประกอบที่แท้จริงเพียงครั้งเดียวในหลาย ๆ องค์ประกอบโดยประมาณเพิ่มหลักฐานโดยเฉลี่ย

มันสมเหตุสมผลหรือไม่ ถ้าเป็นเช่นนั้นจะมีวิธีการที่เร็วกว่าในการบรรลุตัวชี้วัดรวมของความเกี่ยวข้องข้ามส่วนประกอบที่ประมาณไว้กว่าวิธีบันทึกความน่าจะเป็นหมายถึงบันทึกที่แนะนำข้างต้นหรือไม่ หากวิธีนี้ไม่สมเหตุสมผลขั้นตอนทางเลือกที่ดีอาจเป็นอย่างไร

วิธีการเรียนรู้ชุด Variational Ensemble ไปยัง ICA สามารถทำได้ "การตรวจจับความเกี่ยวข้องอัตโนมัติ" มันจะปิดส่วนประกอบโดยอัตโนมัติซึ่งไม่จำเป็นต้องปรับปรุงขอบเขตของหลักฐาน Bayesian

ดูที่วิทยานิพนธ์ของ James Miskin ที่นี่ซึ่งแนะนำเทคนิค

สิ่งนี้ถูกนำมาใช้อย่างมากใน Java โดยJohn Winn (ปริญญาเอกอีกอันหนึ่งที่ใช้การเรียนแบบ Ensemble Bayesian ผ่านทางอัลกอริธึมการส่งข้อความ)

เพื่อเรียนรู้เทคนิคฉันตัดสินใจใช้อัลกอริทึมของ Winn ใน c ++ ซึ่งหาได้จากที่นี่ (การพัฒนาที่ใช้งานอยู่)

ดังที่ Tom กล่าวว่าการกำหนดความเกี่ยวข้องอัตโนมัติเป็นวิธีการที่ดีในการเลือกชุดย่อยของส่วนประกอบในโมเดลที่น่าจะเป็น

อีกวิธีหนึ่งสำหรับ ICA คือการใช้กระบวนการบุฟเฟ่ต์แบบอินเดียก่อน - Knowles และ Ghahramani ทำสิ่งนี้ใน "การวิเคราะห์ปัจจัย Sparse Sparse และการวิเคราะห์องค์ประกอบอิสระที่ไม่มีที่สิ้นสุด"