เทคนิคที่ไม่ใช่มุมฉากคล้ายกับ PCA

สมมติว่าฉันมีชุดข้อมูลจุด 2D และฉันต้องการตรวจสอบทิศทางของความแปรปรวนสูงสุดในท้องถิ่นของข้อมูลตัวอย่างเช่น:

PCA ไม่ได้ช่วยในสถานการณ์นี้เนื่องจากเป็นการสลายตัวแบบมุมฉากดังนั้นจึงไม่สามารถตรวจจับทั้งสองเส้นที่ฉันระบุเป็นสีน้ำเงินได้ แต่เอาต์พุตอาจมีลักษณะเหมือนเส้นที่แสดงโดยเส้นสีเขียว

กรุณาแนะนำเทคนิคใด ๆ ที่อาจเหมาะสำหรับวัตถุประสงค์นี้ ขอบคุณ

การวิเคราะห์องค์ประกอบอิสระควรจะให้ทางออกที่ดีแก่คุณ มันสามารถย่อยสลายส่วนประกอบที่ไม่ใช่มุมฉาก (เช่นในกรณีของคุณ) โดยสมมติว่าการวัดของคุณเป็นผลมาจากการผสมผสานของตัวแปรอิสระทางสถิติ

มีบทช่วยสอนที่ดีมากมายในอินเทอร์เน็ตและใช้งานได้เงียบ ๆ เพื่อทดลองใช้ (ตัวอย่างเช่นscikitหรือMDP )

ICA ไม่ทำงานเมื่อใด

เช่นเดียวกับอัลกอริธึมอื่น ๆ ICA นั้นเหมาะสมที่สุดเมื่อมีการใช้สมมติฐานที่ได้รับมา รูปธรรม

1. แหล่งที่มาเป็นอิสระทางสถิติ
2. ส่วนประกอบอิสระไม่ใช่แบบเกาส์เซียน
3. เมทริกซ์ผสมกลับด้านได้

ICA ส่งคืนการประมาณค่าของเมทริกซ์การผสมและส่วนประกอบอิสระ

เมื่อแหล่งที่มาของคุณเป็นแบบเกาส์นั้น ICA จะไม่สามารถค้นหาส่วนประกอบได้ ลองนึกภาพคุณมีสององค์ประกอบอิสระและซึ่งเป็นI) จากนั้น $x_{1}$$x_{2}$$N(0,I)$

โดยที่. เป็นบรรทัดฐานของเวกเตอร์สองมิติ หากพวกมันถูกผสมกับการแปลงฉาก (ตัวอย่างเช่นการหมุน ) เรามีซึ่งหมายความว่าการกระจายความน่าจะไม่เปลี่ยนแปลงภายใต้การหมุน ดังนั้น ICA จึงไม่สามารถหาเมทริกซ์ผสมจากข้อมูลได้$||.||$$R$$||R\mathbf{x}|| = ||\mathbf{x}||$

มีขั้นตอนเหมือน PCA สำหรับกรณีที่เรียกว่า "เฉียง" ในซอฟท์แวร์สถิติเช่น SPSS (และอาจเป็นในโคลนฟรีแวร์) PSPP หนึ่งพบว่า "การหมุนวนทางอ้อม" อย่างเท่าเทียมกันและกรณีของพวกเขาที่ชื่อว่า หากฉันเข้าใจสิ่งต่าง ๆ อย่างถูกต้องซอฟต์แวร์พยายาม "จัดรูปแบบ" การโหลดตัวประกอบปัจจัยโดยคำนวณพิกัดของพวกมันอีกครั้งในพื้นที่มุมฉาก euclidean space (ตามตัวอย่างที่แสดงในรูปภาพของคุณ) เป็นพิกัดของพื้นที่ที่แกนไม่ใช่แบบ orthogonal เทคนิคบางอย่างที่รู้จักจากการถดถอยหลายครั้ง ยิ่งกว่านั้นฉันคิดว่ามันใช้งานได้อย่างซ้ำ ๆ และสิ้นเปลืองอิสระอย่างน้อยหนึ่งองศาในการทดสอบทางสถิติของแบบจำลอง

ของ PCA เปรียบเทียบและเอียงหมุนอ้างอิงคู่มือการใช้โปรแกรม SPSS (ที่ IBM-site) สำหรับเฉียง-ผลัดประกอบด้วยสูตรแม้สำหรับการคำนวณ

[อัปเดต] (อัปเดตขออภัยเพิ่งตรวจสอบว่า PSPP ไม่ได้ให้ "การหมุน" ของประเภทเอียง)

ฉันไม่ได้มีประสบการณ์กับมันมากนัก แต่PCA ทั่วไปของ Vidal, Ma และ Sastry ถูกสร้างขึ้นมาเพื่อปัญหาที่คล้ายกันมาก

คำตอบอื่น ๆ ได้ให้คำแนะนำที่เป็นประโยชน์เกี่ยวกับเทคนิคที่คุณสามารถพิจารณาได้ แต่ดูเหมือนว่าไม่มีใครชี้ให้เห็นว่าการสันนิษฐานของคุณนั้นผิด: เส้นที่แสดงเป็นสีน้ำเงินในภาพแผนผังของคุณไม่ใช่ความแปรปรวนสูงสุดในท้องถิ่น

หากต้องการดูมันสังเกตเห็นว่าความแปรปรวนในทิศทาง $\mathbf{w}$ ได้รับจาก $\mathbf{w}^\top\mathbf{\Sigma}\mathbf{w}$ที่ไหน $\mathbf{\Sigma}$หมายถึงเมทริกซ์ความแปรปรวนร่วมของข้อมูล ในการหาค่าสูงสุดในท้องถิ่นเราจำเป็นต้องใส่อนุพันธ์ของนิพจน์นี้เป็นศูนย์ เช่น$\mathbf{w}$ ถูก จำกัด ให้มีความยาวหน่วยเราจำเป็นต้องเพิ่มคำ $\lambda(\mathbf{w}^\top\mathbf{w}-1)$ ที่ไหน $\lambda$เป็นตัวคูณของ Lagrange เราได้รับสมการต่อไปนี้:

ซึ่งหมายความว่า $\mathbf{w}$ควรเป็นไอเก็คเวกเตอร์ของเมทริกซ์ความแปรปรวนร่วมนั่นคือหนึ่งในพาหะหลัก กล่าวอีกนัยหนึ่ง PCA ให้คุณสูงสุดในพื้นที่ทั้งหมดไม่มีคนอื่น