คำถามติดแท็ก pca

Biplot มักใช้เพื่อแสดงผลลัพธ์ของการวิเคราะห์องค์ประกอบหลัก (และเทคนิคที่เกี่ยวข้อง) เป็นรูปแบบการกระจายแบบสองทางหรือแบบซ้อนทับซึ่งแสดงการโหลดส่วนประกอบและคะแนนส่วนประกอบพร้อมกัน ฉันได้รับแจ้งจาก @amoeba วันนี้ว่าเขาได้รับคำตอบจากความคิดเห็นของฉันไปยังคำถามที่ถามเกี่ยวกับวิธีการสร้าง / ปรับขนาดพิกัด biplot; และคำตอบของเขาพิจารณาหลายวิธีในรายละเอียดบางอย่าง และ @amoeba ถามว่าฉันจะแบ่งปันประสบการณ์ของฉันกับ biplot หรือไม่ ประสบการณ์ของฉัน (ทั้งทางทฤษฎีและโดยการทดลอง) ถึงแม้จะค่อนข้างเรียบง่าย nevetherless เน้นสองสิ่งที่ไม่ได้รับการยอมรับบ่อย: (1) biplot ควรจัดเป็นเทคนิคการวิเคราะห์มากกว่า scatterplot ในเครือ (2) PCA การวิเคราะห์การติดต่อ (และเทคนิคอื่น ๆ ที่รู้จักกันดี) เป็นกรณีเฉพาะของ biplot หรืออย่างน้อยพวกเขาทั้งคู่เกือบจะเป็นแฝด หากคุณสามารถทำ biplot คุณสามารถทำอีกสอง คำถามของฉันคือคุณ: พวกเขาเชื่อมต่อ (PCA, CA, Biplot) ได้อย่างไร? ได้โปรดแบ่งปันความคิดของคุณ ในขณะที่ฉันกำลังโพสต์บัญชีของตัวเองเกี่ยวกับเรื่องนี้ ฉันอยากจะขอให้เพิ่มคำตอบและพูดอย่างมีวิจารณญาณ

38 pca  multivariate-analysis  svd  correspondence-analysis  biplot 

นี่คือข้อความจากหนังสือ "การจดจำรูปแบบและการเรียนรู้ของเครื่อง" ของบิชอปส่วนที่ 12.2.4 "การวิเคราะห์ปัจจัย": ตามที่เป็นส่วนหนึ่งที่เน้นการวิเคราะห์ปัจจัยที่จับความแปรปรวนระหว่างตัวแปรในเมทริกซ์WWW Wฉันสงสัยวิธี ? นี่คือวิธีที่ฉันเข้าใจ สมมติว่าเป็นตัวแปรมิติที่สังเกตได้คือเมทริกซ์การโหลดปัจจัยและคือเวกเตอร์คะแนนปัจจัย จากนั้นเรามีนั่นคือ และแต่ละคอลัมน์ในเป็นตัวประกอบการโหลดเวกเตอร์ ที่นี่ฉันเขียนมีxxxพีppWWWZzzx = μ + WZ+ ϵ ,x=μ+Wz+ϵ,x=\mu+Wz+\epsilon,⎛⎝⎜⎜x1⋮xพี⎞⎠⎟⎟= ⎛⎝⎜⎜μ1⋮μพี⎞⎠⎟⎟+ ⎛⎝⎜|W1|...|Wม.|⎞⎠⎟⎛⎝⎜⎜Z1⋮Zม.⎞⎠⎟⎟+ ϵ ,(x1⋮xp)=(μ1⋮μp)+(||w1…wm||)(z1⋮zm)+ϵ,\begin{align*} \begin{pmatrix} x_1\\ \vdots\\ x_p \end{pmatrix} = \begin{pmatrix} \mu_1\\ \vdots\\ \mu_p \end{pmatrix} + \begin{pmatrix} \vert & & \vert\\ w_1 & \ldots & w_m\\ \vert & & \vert \end{pmatrix} …

37 pca  factor-analysis  geometry 

ฉันทำการวิเคราะห์องค์ประกอบหลัก (PCA) ด้วย R โดยใช้สองฟังก์ชันที่แตกต่างกัน ( prcompและprincomp) และสังเกตว่าคะแนน PCA นั้นแตกต่างกันในการลงชื่อ มันจะเป็นอย่างไร พิจารณาสิ่งนี้: set.seed(999) prcomp(data.frame(1:10,rnorm(10)))$x PC1 PC2 [1,] -4.508620 -0.2567655 [2,] -3.373772 -1.1369417 [3,] -2.679669 1.0903445 [4,] -1.615837 0.7108631 [5,] -0.548879 0.3093389 [6,] 0.481756 0.1639112 [7,] 1.656178 -0.9952875 [8,] 2.560345 -0.2490548 [9,] 3.508442 0.1874520 [10,] 4.520055 0.1761397 set.seed(999) princomp(data.frame(1:10,rnorm(10)))$scores Comp.1 Comp.2 …

37 r  pca  factor-analysis 

PCA ถือเป็นกระบวนการเชิงเส้นอย่างไรก็ตาม: P C A (X) ≠ P C A ( X1) + P C A ( X2) + … + P C A ( Xn) ,PCA(X)≠PCA(X1)+PCA(X2)+…+PCA(Xn),\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n), ที่ n นี้คือจะบอกว่า eigenvectors ที่ได้รับจากการฝึกอบรมใน PCAS ข้อมูลX ฉันไม่สรุปให้เท่ากับ eigenvectors ที่ได้จาก PCA ในผลรวมของข้อมูลการฝึกอบรมXฉัน แต่ไม่ใช่นิยามของฟังก์ชันเชิงเส้นfที่:X= X1+ X2+ … + XnX=X1+X2+…+XnX=X_1+X_2+\ldots+X_nXผมXiX_iXผมXiX_iฉff ฉ( x + y) …

35 pca  linear 

ฉันมีชุดข้อมูลที่ฉันมีฉลากไบนารีหลายชุด สำหรับฉลากแต่ละชุดฉันจะฝึกอบรมตัวจําแนกโดยประเมินจากการตรวจสอบความถูกต้องข้าม ฉันต้องการลดมิติข้อมูลโดยใช้การวิเคราะห์องค์ประกอบหลัก (PCA) คำถามของฉันคือ: เป็นไปได้ไหมที่จะทำ PCA หนึ่งครั้งสำหรับชุดข้อมูลทั้งหมดแล้วใช้ชุดข้อมูลใหม่ที่มีมิติข้อมูลต่ำกว่าสำหรับการตรวจสอบข้ามตามที่อธิบายไว้ข้างต้น หรือฉันต้องทำPCA แยกต่างหากสำหรับชุดฝึกอบรมทุกชุด (ซึ่งหมายถึงการทำ PCA แยกต่างหากสำหรับตัวแยกประเภทและสำหรับการตรวจสอบข้าม) ในอีกด้านหนึ่ง PCA ไม่ได้ใช้ฉลากใด ๆ ในทางกลับกันมันใช้ข้อมูลทดสอบเพื่อทำการเปลี่ยนแปลงดังนั้นฉันจึงกลัวว่ามันจะทำให้เกิดอคติได้ ฉันควรพูดถึงว่านอกเหนือจากการบันทึกงานบางอย่างให้ฉันทำ PCA เพียงครั้งเดียวในชุดข้อมูลทั้งหมดจะช่วยให้ฉันเห็นภาพชุดข้อมูลสำหรับชุดฉลากทั้งหมดในครั้งเดียว หากฉันมี PCA ที่แตกต่างกันสำหรับแต่ละชุดฉลากฉันจะต้องเห็นภาพชุดฉลากแต่ละชุดแยกกัน

35 machine-learning  classification  pca  cross-validation 

ในการมอบหมายเมื่อเร็ว ๆ นี้เราได้รับคำสั่งให้ใช้ PCA บนตัวเลข MNIST เพื่อลดขนาดจาก 64 (8 x 8 ภาพ) เป็น 2 จากนั้นเราต้องจัดกลุ่มตัวเลขโดยใช้แบบจำลองส่วนผสมของเกาส์เซียน PCA ที่ใช้ 2 องค์ประกอบหลักเท่านั้นไม่ได้ให้ผลที่แตกต่างกันของคลัสเตอร์และเป็นผลให้แบบจำลองไม่สามารถสร้างการจัดกลุ่มที่มีประโยชน์ได้ อย่างไรก็ตามการใช้ t-SNE พร้อมด้วย 2 องค์ประกอบกลุ่มจะถูกแยกออกจากกันได้ดีกว่ามาก แบบจำลองการผสมแบบเกาส์ผลิตกลุ่มที่แตกต่างกันมากขึ้นเมื่อนำไปใช้กับส่วนประกอบ t-SNE ความแตกต่างใน PCA ที่มี 2 องค์ประกอบและ t-SNE ที่มี 2 ส่วนประกอบสามารถมองเห็นได้ในภาพคู่ต่อไปนี้ที่มีการใช้การแปลงกับชุดข้อมูล MNIST ฉันได้อ่านแล้วว่า t-SNE ใช้สำหรับการสร้างภาพข้อมูลมิติสูงเท่านั้นเช่นในคำตอบนี้แต่ได้รับกลุ่มที่แตกต่างกันแล้วทำไมมันไม่ใช้เป็นเทคนิคการลดขนาดที่ใช้สำหรับแบบจำลองการจำแนกหรือ วิธีการทำคลัสเตอร์แบบสแตนด์อโลน

34 classification  clustering  pca  dimensionality-reduction  tsne 

คำถามของฉัน อะไรคือเหตุผลที่เข้าใจง่ายที่อยู่เบื้องหลังการหมุนของปัจจัยในการวิเคราะห์ปัจจัย (หรือส่วนประกอบใน PCA) ความเข้าใจของฉันคือถ้าตัวแปรถูกโหลดอย่างเท่าเทียมกันในองค์ประกอบด้านบน (หรือปัจจัย) แล้วแน่นอนว่ามันยากที่จะแยกความแตกต่างขององค์ประกอบ ดังนั้นในกรณีนี้เราสามารถใช้การหมุนเพื่อให้ได้ความแตกต่างของส่วนประกอบที่ดีขึ้น ถูกต้องหรือไม่ ผลที่ตามมาจากการหมุนคืออะไร สิ่งนี้มีผลกระทบอะไรบ้าง วิธีการเลือกการหมุนที่เหมาะสม? มีการหมุนมุมฉากและการหมุนเอียง วิธีเลือกระหว่างสิ่งเหล่านี้กับความหมายของตัวเลือกนี้คืออะไร กรุณาอธิบายโดยใช้สมการทางคณิตศาสตร์อย่างน้อยที่สุด คำตอบที่แพร่กระจายเพียงไม่กี่คำคือคณิตศาสตร์อย่างหนัก แต่ฉันกำลังมองหาเหตุผลและกฎง่ายๆ

33 pca  interpretation  factor-analysis  dimensionality-reduction  factor-rotation 

ความเป็นมา : ฉันต้องการแบ่งเขตที่อยู่อาศัยของเมืองออกเป็นกลุ่มตามลักษณะทางเศรษฐกิจสังคมรวมถึงความหนาแน่นของที่อยู่อาศัยความหนาแน่นของประชากรพื้นที่สีเขียวราคาที่อยู่อาศัยจำนวนโรงเรียน / ศูนย์สุขภาพ / ศูนย์ดูแลเด็กเล็ก ฯลฯ ฉันต้องการที่จะเข้าใจว่ากลุ่มที่แตกต่างกันสามารถแบ่งออกเป็นพื้นที่ที่อยู่อาศัยและสิ่งที่เป็นเอกลักษณ์ของพวกเขา ข้อมูลนี้สามารถอำนวยความสะดวกในการวางแผนเมือง จากตัวอย่างบางส่วน (เปรียบเทียบบล็อกโพสต์นี้: PCA และ K-mean Clustering ของ Delta Aircraft ) ฉันคิดวิธีการวิเคราะห์: ก่อนทำการวิเคราะห์ PCA กำหนดจำนวนของกลุ่มที่ไม่ซ้ำกัน (กลุ่ม) ขึ้นอยู่กับผล PCA (เช่นใช้วิธี "ข้อศอก" หรืออีกทางหนึ่งจำนวนขององค์ประกอบที่อธิบายถึง 80 ถึง 90% ของความแปรปรวนทั้งหมด) หลังจากพิจารณาจำนวนของคลัสเตอร์ให้ใช้การจัดกลุ่ม k-mean เพื่อทำการจำแนก คำถามของฉัน:ดูเหมือนว่าจำนวนขององค์ประกอบ PCA เกี่ยวข้องกับการวิเคราะห์กลุ่ม นั่นคือความจริงถ้าเราพบ 5 ส่วนประกอบ PCA อธิบายมากกว่า 90% ของการเปลี่ยนแปลงของคุณสมบัติทั้งหมดจากนั้นเราจะใช้การจัดกลุ่ม k-mean และรับ 5 …

32 clustering  pca  k-means  dimensionality-reduction 

ในการวิเคราะห์องค์ประกอบหลัก (PCA) เราสามารถเลือกเมทริกซ์ความแปรปรวนร่วมหรือเมทริกซ์สหสัมพันธ์เพื่อค้นหาส่วนประกอบ (จาก eigenvectors ที่เกี่ยวข้อง) สิ่งเหล่านี้ให้ผลลัพธ์ที่แตกต่าง (การโหลด PC และคะแนน) เนื่องจาก eigenvector ระหว่างเมทริกซ์ทั้งสองไม่เท่ากัน ความเข้าใจของฉันคือว่าสิ่งนี้เกิดจากความจริงที่ว่าเวกเตอร์ข้อมูลดิบและมาตรฐานไม่สามารถเกี่ยวข้องผ่านการแปลงมุมฉาก ศาสตร์คณิตศาสตร์, การฝึกอบรมที่คล้ายกัน (เช่นที่เกี่ยวข้องโดยการเปลี่ยนแปลงมุมฉาก) มีค่าลักษณะเดียวกัน แต่ไม่จำเป็นต้อง eigenvectors เดียวกันZXXXZZZ สิ่งนี้ทำให้เกิดความยุ่งยากในใจของฉัน: PCA เข้าท่าจริงหรือไม่ถ้าคุณได้คำตอบที่ต่างกันสองชุดสำหรับชุดข้อมูลเริ่มต้นเดียวกันทั้งคู่พยายามทำสิ่งเดียวกัน (= ค้นหาทิศทางของความแปรปรวนสูงสุด) เมื่อใช้วิธีเมทริกซ์สหสัมพันธ์ตัวแปรแต่ละตัวจะถูกทำให้เป็นมาตรฐาน (ย่อส่วน) โดยค่าเบี่ยงเบนมาตรฐานของตนเองก่อนที่จะคำนวณพีซี ถ้าเช่นนั้นข้อมูลจะถูกปรับขนาด / บีบอัดให้แตกต่างกันไปก่อนแล้วยังคงเหมาะสมหรือไม่ที่จะหาทิศทางของความแปรปรวนสูงสุด ฉันรู้ว่า PCA ที่ใช้ความสัมพันธ์นั้นสะดวกมาก (ตัวแปรมาตรฐานไม่มีมิติดังนั้นจึงสามารถเพิ่มการผสมเชิงเส้นของพวกเขาข้อดีอื่น ๆ ยังขึ้นอยู่กับลัทธิปฏิบัตินิยม) แต่มันถูกต้องหรือไม่ สำหรับฉันแล้วดูเหมือนว่า PCA ที่ใช้ความแปรปรวนร่วมเป็นสิ่งเดียวที่ถูกต้องอย่างแท้จริง (แม้ว่าความแปรปรวนของตัวแปรจะแตกต่างกันอย่างมาก) และเมื่อใดก็ตามที่ไม่สามารถใช้เวอร์ชันนี้ได้ ฉันรู้ว่ามีหัวข้อนี้: PCA ในความสัมพันธ์หรือความแปรปรวนร่วม? - แต่ดูเหมือนว่าจะมุ่งเน้นเฉพาะในการหาวิธีแก้ปัญหาในทางปฏิบัติซึ่งอาจหรืออาจจะไม่ใช่วิธีที่ถูกต้องเกี่ยวกับพีชคณิต

32 pca  factor-analysis 

อัลกอริทึม PCA สามารถกำหนดได้ในรูปของเมทริกซ์สหสัมพันธ์ (สมมติว่าข้อมูลได้ถูกทำให้เป็นมาตรฐานแล้วและเรากำลังพิจารณาการฉายภาพบนพีซีเครื่องแรกเท่านั้น) ฟังก์ชั่นวัตถุประสงค์สามารถเขียนได้เป็น:XXX maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. นี่เป็นเรื่องปกติและเราใช้ตัวคูณแบบลากรองจ์เพื่อแก้ปัญหานั่นคือเขียนใหม่เป็น: maxw[(Xw)T(Xw)−λwTw],maxw[(Xw)T(Xw)−λwTw], \max_w [(Xw)^T(Xw) - \lambda w^Tw], ซึ่งเทียบเท่ากับ maxw(Xw)T(Xw)wTw,maxw(Xw)T(Xw)wTw, \max_w \frac{ (Xw)^T(Xw) }{w^Tw}, และด้วยเหตุนี้ ( ดูที่นี่ใน Mathworld ) ดูเหมือนจะเท่ากับmaxw∑i=1n(distance from point xi to line w)2.maxw∑i=1n(distance from point xi to line w)2.\max_w \sum_{i=1}^n \text{(distance from point $x_i$ …

32 pca  optimization 

Hinton และ Salakhutdinov ในการลดมิติข้อมูลด้วย Neural Networks, Science 2006เสนอ PCA แบบไม่เชิงเส้นผ่านการใช้ autoencoder แบบลึก ฉันพยายามสร้างและฝึกอบรมโปรแกรมสร้างรหัสอัตโนมัติ PCA ด้วย Tensorflow หลายครั้ง แต่ฉันไม่เคยได้รับผลลัพธ์ที่ดีกว่า linear PCA ฉันจะฝึกอบรมตัวเข้ารหัสอัตโนมัติได้อย่างมีประสิทธิภาพได้อย่างไร (แก้ไขในภายหลังโดย @amoeba: เวอร์ชันเดิมของคำถามนี้มีรหัส Python Tensorflow ที่ทำงานไม่ถูกต้องสามารถพบได้ในประวัติการแก้ไข)

31 pca  python  deep-learning  tensorflow  autoencoders 

/ แก้ไข: ติดตามเพิ่มเติมตอนนี้คุณสามารถใช้irlba :: prcomp_irlba / แก้ไข: ติดตามโพสต์ของฉันเอง irlbaขณะนี้มีอาร์กิวเมนต์ "กลาง" และ "สเกล" ซึ่งให้คุณใช้ในการคำนวณส่วนประกอบหลักเช่น: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v ฉันมีMatrixคุณสมบัติเบาบางขนาดใหญ่ที่ฉันต้องการใช้ในอัลกอริทึมการเรียนรู้ของเครื่อง: library(Matrix) set.seed(42) rows <- 500000 cols <- 10000 i <- unlist(lapply(1:rows, function(i) rep(i, sample(1:5,1)))) j <- sample(1:cols, length(i), replace=TRUE) M <- sparseMatrix(i, j) เนื่องจากเมทริกซ์นี้มีหลายคอลัมน์ฉันต้องการลดขนาดของมันเป็นสิ่งที่จัดการได้มากกว่า ฉันสามารถใช้แพ็คเกจ irlba ที่ยอดเยี่ยมเพื่อทำ …

31 r  pca  dimensionality-reduction  svd  matrix-decomposition 

ในชุดข้อมูลของประชากรสองกลุ่มที่ไม่ทับซ้อนกัน (ผู้ป่วย & สุขภาพดี, รวม ) ฉันต้องการค้นหา (จากตัวแปรอิสระ) ตัวทำนายที่สำคัญสำหรับตัวแปรที่ขึ้นต่อเนื่อง มีความสัมพันธ์ระหว่างตัวทำนาย ฉันสนใจที่จะทราบว่าตัวทำนายใด ๆ ที่เกี่ยวข้องกับตัวแปรตาม "ในความเป็นจริง" (แทนที่จะทำนายตัวแปรตามให้มากที่สุด) ในขณะที่ฉันมีวิธีการมากมายที่เป็นไปได้ฉันอยากจะถามว่าวิธีไหนที่แนะนำมากที่สุดn = 60n=60n=60300300300 จากความเข้าใจของฉันไม่แนะนำให้รวมหรือแยกตัวทำนายแบบเป็นขั้นตอน เช่นใช้การถดถอยเชิงเส้นแยกกันสำหรับตัวทำนายทุกตัวและแก้ไขค่า p สำหรับการเปรียบเทียบหลาย ๆ ครั้งโดยใช้ FDR (อาจจะอนุรักษ์นิยมมาก?) การถดถอยส่วนประกอบหลัก: ยากที่จะตีความเพราะฉันจะไม่สามารถบอกเกี่ยวกับพลังการทำนายของตัวทำนายส่วนบุคคล แต่เกี่ยวกับส่วนประกอบเท่านั้น ข้อเสนอแนะอื่น ๆ ?

31 regression  pca  feature-selection  stepwise-regression  underdetermined 

เป็นไปได้หรือไม่ที่จะเห็นภาพผลลัพธ์ของการวิเคราะห์องค์ประกอบหลักในรูปแบบที่ให้ข้อมูลเชิงลึกมากกว่าแค่ตารางสรุป? เป็นไปได้ไหมที่จะทำเมื่อจำนวนการสังเกตมีขนาดใหญ่พูด ~ 1e4 และเป็นไปได้หรือไม่ที่จะทำใน R [สภาพแวดล้อมอื่น ๆ ยินดีต้อนรับ]?

31 r  data-visualization  pca  biplot 

ฉันมีชุดข้อมูลขนาดใหญ่และฉันต้องการลดขนาดข้อมูล ตอนนี้ทุกที่ฉันอ่านว่าฉันสามารถใช้ PCA สำหรับสิ่งนี้ อย่างไรก็ตามฉันยังดูเหมือนจะไม่ได้สิ่งที่ต้องทำหลังจากการคำนวณ / การแสดง PCA princompในการวิจัยนี้จะกระทำได้อย่างง่ายดายด้วยคำสั่ง แต่จะทำอย่างไรหลังจากคำนวณ PCA หากฉันตัดสินใจว่าจะใช้ส่วนประกอบหลักแรกฉันจะลดชุดข้อมูลของฉันได้อย่างไร100100100

30 r  pca