PCA แบบเบาบางดีกว่า PCA อย่างไร

ฉันเรียนรู้เกี่ยวกับ PCA ไม่กี่ครั้งที่ผ่านมาในชั้นเรียนและด้วยการขุดเพิ่มเติมเกี่ยวกับแนวคิดที่น่าสนใจนี้ฉันได้รู้เกี่ยวกับ PCA กระจัดกระจาย

ผมอยากจะถามว่าถ้าฉันไม่ได้ผิดนี่คือสิ่งที่เบาบาง PCA คือใน PCA ถ้าคุณมีจุดข้อมูลกับตัวแปรคุณสามารถเป็นตัวแทนของแต่ละจุดข้อมูลในมิติก่อนที่จะใช้ PCA หลังจากใช้ PCA คุณจะสามารถนำเสนอในพื้นที่มิติเดียวกันอีกครั้ง แต่คราวนี้องค์ประกอบหลักแรกจะมีความแปรปรวนมากที่สุดส่วนที่สองจะมีทิศทางความแปรปรวนมากที่สุดที่สองและอื่น ๆ ดังนั้นคุณสามารถกำจัดองค์ประกอบหลักบางส่วนที่ผ่านมาเนื่องจากจะไม่ทำให้เกิดการสูญเสียข้อมูลจำนวนมากและคุณสามารถบีบอัดข้อมูล ขวา?$n$$p$$p$

Sparse PCA กำลังเลือกส่วนประกอบหลักซึ่งส่วนประกอบเหล่านี้มีค่าที่ไม่เป็นศูนย์น้อยในค่าสัมประสิทธิ์เวคเตอร์

สิ่งนี้จะช่วยให้คุณตีความข้อมูลได้ดีขึ้นอย่างไร ใครสามารถยกตัวอย่างได้บ้าง

ว่าการกระจัดกระจาย PCA นั้นตีความง่ายกว่า PCA มาตรฐานหรือไม่ขึ้นอยู่กับชุดข้อมูลที่คุณกำลังตรวจสอบอยู่ นี่คือวิธีที่ฉันคิดเกี่ยวกับมัน: บางครั้งมีความสนใจในการประมาณการ PCA (การแสดงข้อมูลในระดับต่ำ) และบางครั้ง - ในแกนหลัก มันเป็นเพียงในกรณีหลังที่หร็อมแหร็ม PCA สามารถมีประโยชน์สำหรับการตีความ ขอยกตัวอย่างสักสองสามข้อ

ฉันกำลังทำงานกับข้อมูลระบบประสาท (การบันทึกพร้อมกันของเซลล์ประสาทจำนวนมาก) และกำลังใช้ PCA และ / หรือเทคนิคการลดขนาดที่เกี่ยวข้องเพื่อรับการแสดงกิจกรรมของประชากรประสาทในมิติต่ำ ฉันอาจมี 1,000 เซลล์ประสาท (เช่นข้อมูลของฉันอาศัยอยู่ในพื้นที่ 1,000 มิติ) และต้องการฉายภาพในแกนนำหลักทั้งสาม แกนเหล่านี้คืออะไรฉันไม่เกี่ยวข้องเลยและฉันก็ไม่ได้ตั้งใจที่จะ "ตีความ" แกนเหล่านี้ในทางใดทางหนึ่ง สิ่งที่ฉันสนใจคือการฉายภาพ 3 มิติ (เนื่องจากกิจกรรมขึ้นอยู่กับเวลาฉันได้รับวิถีในพื้นที่ 3 มิตินี้) ดังนั้นฉันก็โอเคถ้าแต่ละแกนมีค่าสัมประสิทธิ์ไม่เป็นศูนย์ 1,000 ทั้งหมด

ในทางกลับกันบางคนอาจทำงานกับข้อมูล "ที่จับต้องได้" มากกว่านี้ซึ่งแต่ละมิติมีความหมายที่ชัดเจน (ต่างจากเซลล์ประสาทส่วนบุคคลด้านบน) เช่นชุดข้อมูลของรถยนต์ต่าง ๆ ที่มีขนาดต่าง ๆ ตั้งแต่น้ำหนักจนถึงราคา ในกรณีนี้เราอาจสนใจแกนนำหลักด้วยตนเองเพราะอาจต้องการพูดอะไรบางอย่าง: ดูแกนหลักที่ 1 สอดคล้องกับ "ความเพ้อฝัน" ของรถ (ตอนนี้ฉันกำลังทำสิ่งนี้ทั้งหมดแล้ว) หากการฉายภาพกระจัดกระจายการตีความดังกล่าวโดยทั่วไปจะทำได้ง่ายกว่าเนื่องจากตัวแปรหลายตัวจะมีค่าสัมประสิทธิ์และเห็นได้ชัดว่าไม่เกี่ยวข้องกับแกนนี้โดยเฉพาะ ในกรณีของ PCA มาตรฐานมักจะได้รับค่าสัมประสิทธิ์ที่ไม่เป็นศูนย์สำหรับตัวแปรทั้งหมด$0$

คุณสามารถหาตัวอย่างเพิ่มเติมและการอภิปรายกรณีหลังในกระดาษ Sparse PCAปี 2549 โดย Zou et al ความแตกต่างระหว่างอดีตและกรณีหลัง แต่ฉันไม่เห็นการพูดคุยอย่างชัดเจนทุกที่ (แม้ว่ามันอาจจะเป็น)

ดังนั้นคุณสามารถกำจัดองค์ประกอบหลักบางส่วนที่ผ่านมาเนื่องจากจะไม่ทำให้เกิดการสูญเสียข้อมูลจำนวนมากและคุณสามารถบีบอัดข้อมูล ขวา?

$N$$V_1, V_2, \cdots , V_N$$N$$PC_1, PC_2, \cdots , PC_N$$V_i$$PC_i$

$PC_i$$V_j, V_l, \cdots$

$(PC_i, PC_{j})$$N$

เพื่อให้เข้าใจถึงข้อดีของการกระจัดกระจายใน PCA คุณต้องแน่ใจว่าคุณทราบถึงความแตกต่างระหว่าง "การโหลด" และ "ตัวแปร" (สำหรับฉันชื่อเหล่านี้ค่อนข้างจะไม่เจาะจง แต่ก็ไม่สำคัญ)

สมมติว่าคุณมีเมทริกซ์ข้อมูลnxp Xโดยที่nคือจำนวนตัวอย่าง SVD ของX = USV 'ให้คุณสามเมทริกซ์ การรวมสองZแรกเข้าด้วยกันจะให้เมทริกซ์ของส่วนประกอบหลัก สมมติว่าอันดับที่ลดลงของคุณkแล้วZเป็นnxk Zเป็นหลักคือเมทริกซ์ข้อมูลของคุณหลังจากการลดขนาด ประวัติศาสตร์

รายการส่วนประกอบหลักของคุณ (aka Z = US ) เรียกว่าตัวแปร

ในทางกลับกันV (ซึ่งคือpxk ) มีเวกเตอร์โหลดหลักและรายการของมันจะเรียกว่าโหลดหลัก ที่กำหนดคุณสมบัติของ PCA เป็นเรื่องง่ายที่จะแสดงให้เห็นว่าZ = XV ซึ่งหมายความว่า:

ส่วนประกอบหลักจะได้มาโดยการใช้แรงเงินต้นเป็นค่าสัมประสิทธิ์ในการรวมกันของข้อมูลเชิงเส้นเมทริกซ์ของคุณX

เมื่อคำจำกัดความเหล่านี้หมดไปเราจะดูที่ sparsity เอกสารส่วนใหญ่ (หรืออย่างน้อยที่สุดที่ฉันเคยพบ) บังคับใช้ sparsity กับการโหลดหลัก (aka V ) ข้อดีของ sparsity ก็คือ

sparse Vจะบอกให้เราทราบว่าตัวแปรใด (จากพื้นที่คุณลักษณะp -dimensional ดั้งเดิม) น่าจะคุ้มค่า สิ่งนี้เรียกว่าการตีความ

นอกจากนี้ยังมีการตีความเพื่อบังคับใช้ sparsity ในรายการของZซึ่งฉันเคยเห็นผู้คนเรียกว่า "sparse variable PCA" "แต่ก็ไม่ค่อยได้รับความนิยมและพูดตามตรงฉันไม่ได้คิดอะไรมากมาย