ICA จำเป็นต้องใช้ PCA ก่อนหรือไม่

ฉันตรวจสอบเอกสารที่ใช้แอปพลิเคชันโดยบอกว่าใช้ PCA ก่อนที่จะใช้ ICA (ใช้แพ็คเกจ FastICA) คำถามของฉันคือ ICA (fastICA) ต้องการให้ PCA ทำงานก่อนหรือไม่

บทความนี้กล่าวถึง

... มันยังเป็นที่ถกเถียงกันอยู่ว่าการใช้ PCA ล่วงหน้าจะช่วยเพิ่มประสิทธิภาพการทำงานของ ICA โดย (1) การละทิ้งค่าลักษณะเฉพาะขนาดเล็กก่อนที่จะฟอกสีฟันและ (2) ลดความซับซ้อนในการคำนวณโดยลดการพึ่งพาคู่ PCA decorrelates ข้อมูลอินพุต; การพึ่งพาการสั่งซื้อที่สูงขึ้นที่เหลืออยู่จะถูกคั่นด้วย ICA

นอกจากนี้ยังมีเอกสารอื่น ๆ จะใช้ PCA ก่อน ICA เช่นนี้

มีข้อดีและข้อเสียอื่น ๆ ในการใช้งาน PCA ก่อน ICA หรือไม่ โปรดระบุทฤษฎีพร้อมด้วยการอ้างอิง

วิธี FastICA นั้นต้องใช้ขั้นตอนก่อนการฟอกสีฟัน: ข้อมูลจะถูกเปลี่ยนเป็นครั้งแรกโดยใช้ PCA ซึ่งนำไปสู่เมทริกซ์ความแปรปรวนร่วมในแนวทแยงมุมและจากนั้นแต่ละมิติจะถูกทำให้เป็นมาตรฐานเช่นเมทริกซ์ความแปรปรวนร่วม

มีการแปลงอนันต์ของข้อมูลซึ่งส่งผลให้เมทริกซ์ความแปรปรวนร่วมเอกลักษณ์และถ้าแหล่งข้อมูลของคุณเป็นแบบเกาส์เซียนคุณจะหยุดที่นั่น (สำหรับการแจกแจงแบบหลายตัวแปรแบบเกาส์ค่าเฉลี่ยและความแปรปรวนร่วมเป็นสถิติที่เพียงพอ) การวัดการพึ่งพาข้อมูลสีขาวดังนั้นคุณจึงมองหาการหมุนของข้อมูลสีขาวที่เพิ่มความเป็นอิสระสูงสุด FastICA ประสบความสำเร็จในเรื่องนี้โดยใช้มาตรการทางทฤษฎีสารสนเทศและโครงการกำหนดจุดคงที่

ฉันอยากจะแนะนำงานของHyvärinenเพื่อทำความเข้าใจปัญหาให้ลึกซึ้งยิ่งขึ้น:

• A. Hyvärinen อัลกอริธึมคงที่ที่รวดเร็วและแข็งแกร่งสำหรับการวิเคราะห์องค์ประกอบอิสระ ธุรกรรม IEEE บนโครงข่ายประสาทเทียม 10 (3): 626-634, 1999
• A. Hyvärinen, J. Karhunen, E. Oja, การวิเคราะห์องค์ประกอบอิสระ, Wiley & Sons 2001

โปรดทราบว่าการทำ PCA และการลดขนาดนั้นไม่เหมือนกัน: เมื่อคุณมีการสังเกต (ต่อสัญญาณ) มากกว่าสัญญาณคุณสามารถทำการ PCA ที่รักษาความแปรปรวนที่อธิบายไว้ 100% แล้วดำเนินการฟอกสีฟันและการทำซ้ำจุดคงที่ เพื่อรับการประมาณการขององค์ประกอบอิสระ ไม่ว่าคุณควรลดขนาดหรือไม่นั้นขึ้นอยู่กับบริบทอย่างมากและขึ้นอยู่กับสมมติฐานการสร้างแบบจำลองและการกระจายข้อมูลของคุณ

การใช้ PCA กับข้อมูลของคุณมีผลเฉพาะการหมุนแกนพิกัดเดิมเท่านั้น มันคือการแปลงเชิงเส้นเหมือนกับการแปลงฟูริเยร์ ดังนั้นมันจึงไม่สามารถทำอะไรกับข้อมูลของคุณได้

อย่างไรก็ตามข้อมูลที่แสดงในพื้นที่ PCA ใหม่มีคุณสมบัติที่น่าสนใจ หลังจากการหมุนพิกัดด้วย PCA คุณสามารถละทิ้งมิติตามเกณฑ์ที่กำหนดเช่นเปอร์เซ็นต์ของความแปรปรวนทั้งหมดที่อธิบายโดยแกนใหม่ ขึ้นอยู่กับสัญญาณของคุณคุณอาจประสบความสำเร็จในการลดมิติด้วยวิธีนี้และจะเพิ่มประสิทธิภาพของ ICA ต่อไปนี้อย่างแน่นอน การทำ ICA โดยไม่ยกเลิกส่วนประกอบ PCA ใด ๆ จะไม่มีผลกระทบต่อผลลัพธ์ของ ICA ต่อไปนี้

นอกจากนี้เรายังสามารถทำให้ข้อมูลในพื้นที่ PCA เป็นสีขาวได้อย่างง่ายดายเนื่องจากมีมุมฉากของแกนพิกัด ไวท์เทนนิ่งมีผลต่อการปรับความแปรปรวนในทุกมิติ ฉันจะยืนยันว่านี่เป็นสิ่งจำเป็นสำหรับ ICA ในการทำงานอย่างถูกต้อง มิฉะนั้นมีเพียงองค์ประกอบ PCA เพียงไม่กี่องค์ประกอบที่มีความแปรปรวนมากที่สุดจะเป็นผู้ควบคุมผลลัพธ์ของ ICA

ฉันไม่เห็นข้อเสียใด ๆ สำหรับการประมวลผลล่วงหน้าตาม PCA ก่อน ICA

Giancarlo อ้างแหล่งอ้างอิงที่ดีที่สุดสำหรับ ICA แล้ว

การได้มาของอัลกอริทึม fastICA นั้นต้องการการฟอกสีฟันเพียงขั้นตอนเดียว ขั้นแรกให้คุณเลือกทิศทางของขั้นตอน (เช่นการไล่ระดับสี) และสิ่งนี้ไม่ต้องการข้อมูลที่มีสีขาว จากนั้นเราต้องเลือกขนาดขั้นตอนซึ่งขึ้นอยู่กับการผกผันของ Hessian หากข้อมูลเป็นสีขาว Hessian นี้จะเป็นแนวทแยงและกลับด้านได้

ดังนั้นมันจำเป็นต้องใช้? หากคุณคงขนาดขั้นตอนเป็นค่าคงที่ (ดังนั้นไม่ต้องการการฟอกสีฟัน) คุณจะมีการไล่ระดับสีมาตรฐาน เชื้อสายการไล่ระดับสีที่มีขนาดก้าวเล็ก ๆ คงที่โดยทั่วไปจะมาบรรจบกัน แต่อาจช้ากว่าวิธีดั้งเดิมมาก ในทางตรงกันข้ามถ้าคุณมีเมทริกซ์ข้อมูลขนาดใหญ่การฟอกสีฟันอาจมีราคาค่อนข้างสูง คุณอาจจะดีกว่าแม้ว่าการบรรจบที่ช้ากว่าที่คุณได้รับโดยไม่ต้องฟอกสีฟัน

ฉันรู้สึกประหลาดใจที่ไม่เห็นการพูดถึงเรื่องนี้ในวรรณกรรมใด ๆ บทความหนึ่งกล่าวถึงปัญหา: อัลกอริธึม Fast-ICA ใหม่สำหรับการแยกแหล่งที่มาตาบอดโดยไม่ต้องมีการ Prewhitening โดย Jimin Ye และ Ting Huang

พวกเขาแนะนำตัวเลือกที่ค่อนข้างถูกกว่าการฟอกสีฟัน ฉันหวังว่าพวกเขาได้รวมการเปรียบเทียบที่ชัดเจนของการใช้ ICA โดยไม่ทำให้ผิวขาวเป็นพื้นฐาน แต่พวกเขาไม่ได้ทำ ในฐานะที่เป็นจุดข้อมูลอีกจุดหนึ่งฉันได้ลองใช้ fastICA โดยไม่ต้องฟอกสีฟันเกี่ยวกับปัญหาของเล่นและทำงานได้ดี

ปรับปรุง: อื่นอ้างอิงความสุขที่อยู่ไวท์เทนนิ่งอยู่ที่นี่: ประสิทธิภาพการวิเคราะห์องค์ประกอบอิสระ Zaroso และ Comon พวกเขามีอัลกอริทึมที่ไม่ต้องฟอกสีฟัน