คำถามติดแท็ก pca

ในบทความนี้ ผู้เขียนเชื่อมโยงการวิเคราะห์จำแนกเชิงเส้น (LDA) กับการวิเคราะห์องค์ประกอบหลัก (PCA) ด้วยความรู้ที่ จำกัด ของฉันฉันไม่สามารถทำตามวิธี LDA ได้ค่อนข้างคล้ายกับ PCA ฉันคิดเสมอว่า LDA เป็นรูปแบบของอัลกอริทึมการจำแนกประเภทซึ่งคล้ายกับการถดถอยโลจิสติก ฉันจะซาบซึ้งในความช่วยเหลือในการทำความเข้าใจว่า LDA คล้ายกับ PCA อย่างไรเช่นเป็นเทคนิคการลดขนาด

19 classification  pca  dimensionality-reduction  discriminant-analysis  canonical-correlation 

ฉันพยายามที่จะได้รับความเข้าใจที่ง่ายของการวิเคราะห์องค์ประกอบวิธีการหลัก (PCA) ทำงานในเรื่อง (คู่) พื้นที่ พิจารณาชุดข้อมูล 2D ที่มีตัวแปรสองตัวคือและและจุดข้อมูล (เมทริกซ์ข้อมูลคือคูณและถือว่าอยู่กึ่งกลาง) การนำเสนอตามปกติของ PCA คือเราพิจารณาคะแนนในเขียนเมทริกซ์ความแปรปรวนร่วมและหาค่าลักษณะเฉพาะของมัน สอดคล้องเครื่องแรกกับทิศทางของความแปรปรวนสูงสุด ฯลฯ นี่คือตัวอย่างที่มีความแปรปรวนเดอะเมทริกซ์ขวา) เส้นสีแดงแสดงค่าไอเกนผู้ประเมินโดยสแควร์รูทของค่าลักษณะเฉพาะนั้น ๆx 2 n X n × 2 n R 2 2 × 2 C = ( 4 2 2 2 )x1x1x_1x2x2x_2nnnXX\mathbf Xn×2n×2n\times 2nnnR2R2\mathbb R^22×22×22\times 2C=(4222)C=(4222)\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right) \hskip 1in ตอนนี้ให้พิจารณาสิ่งที่เกิดขึ้นในพื้นที่หัวเรื่อง (ฉันเรียนรู้คำศัพท์นี้จาก @ttnphns) หรือที่เรียกว่าช่องว่างคู่ …

19 pca  linear-algebra  intuition  geometry 

ฉันกำลังพยายามที่จะเข้าใจการใช้ PCA ในบทความวารสารล่าสุดเรื่อง "การทำแผนที่สมองในระดับที่มีการประมวลผลแบบกลุ่ม" Freeman et al., 2014 (pdf ฟรีมีให้บริการบนเว็บไซต์แล็บ ) พวกเขาใช้ข้อมูลอนุกรมเวลา PCA และใช้น้ำหนัก PCA เพื่อสร้างแผนที่ของสมอง ข้อมูลนี้เป็นข้อมูลการถ่ายภาพแบบทดลองโดยเฉลี่ยเก็บไว้เป็นเมทริกซ์ (เรียกว่าในกระดาษ) โดยมี voxels (หรือตำแหน่งถ่ายภาพในสมอง)เวลาชี้ (ความยาวของเดี่ยว กระตุ้นให้สมอง) n× TY^Y^\hat {\mathbf Y}nnn×t^×t^\times \hat t พวกเขาใช้ SVD ส่งผลให้ (บ่งชี้ว่าการเคลื่อนย้ายของเมทริกซ์ )V⊤VY^=USV⊤Y^=USV⊤\hat {\mathbf Y} = \mathbf{USV}^\topV⊤V⊤\mathbf V^\topVV\mathbf V ผู้เขียนกล่าวว่า องค์ประกอบหลัก (คอลัมน์ของ ) เป็นเวกเตอร์ของความยาวและคะแนน (คอลัมน์ของ ) เป็นเวกเตอร์ของความยาว (จำนวน voxels) …

19 time-series  pca  state-space-models  neuroimaging  neuroscience 

ฉันทำให้ชุดข้อมูลของฉันเป็นปกติจากนั้นเรียกใช้ PCA 3 องค์ประกอบเพื่อรับอัตราส่วนความแปรปรวนเล็ก ๆ ([0.50, 0.1, 0.05]) เมื่อฉันไม่ได้ทำให้ปกติ แต่ทำให้ชุดข้อมูลของฉันขาวขึ้นจากนั้นก็วิ่ง PCA 3 component ฉันได้อัตราส่วนความแปรปรวนที่อธิบายไว้สูง ([0.86, 0.06,0.01]) เนื่องจากฉันต้องการเก็บข้อมูลให้มากที่สุดเป็น 3 องค์ประกอบฉันไม่ควรทำให้ข้อมูลเป็นมาตรฐานหรือไม่ จากความเข้าใจของฉันเราควรทำให้ปกติก่อน PCA โดย normalizing: การตั้งค่าหมายถึง 0 และมีความแปรปรวนของหน่วย

19 pca 

ฉันอยากรู้ว่ามันสมเหตุสมผลหรือไม่ที่จะทำการวิเคราะห์องค์ประกอบหลัก (PCA) และการวิเคราะห์ปัจจัยเชิงสำรวจ (EFA) ในชุดข้อมูลเดียวกัน ฉันเคยได้ยินผู้เชี่ยวชาญแนะนำอย่างชัดเจน: ทำความเข้าใจว่าเป้าหมายของการวิเคราะห์คืออะไรและเลือก PCA หรือ EFA สำหรับการวิเคราะห์ข้อมูล เมื่อทำการวิเคราะห์หนึ่งครั้งแล้วไม่จำเป็นต้องทำการวิเคราะห์อื่นอีก ฉันเข้าใจความแตกต่างของแรงบันดาลใจระหว่างทั้งสอง แต่ฉันแค่สงสัยว่ามีอะไรผิดปกติในการตีความผลลัพธ์ที่ได้จาก PCA และ EFA ในเวลาเดียวกันหรือไม่

19 pca  factor-analysis 

ฉันจำได้ว่ามีการอ่านการเชื่อมต่อระหว่างสันเขา (กับการทำให้เป็นมาตรฐานℓ2ℓ2\ell_2 ) และการถดถอย PCA: ในขณะที่ใช้การถดถอยปกติกับ hyperparameterถ้าแล้วการถดถอยนั้นเทียบเท่ากับการลบ ตัวแปร PC ที่มีค่าลักษณะเฉพาะน้อยที่สุด λ λ →การ0ℓ2ℓ2\ell_2λλ\lambdaλ→0λ→0\lambda \to 0 ทำไมเรื่องนี้ถึงเป็นจริง? สิ่งนี้เกี่ยวข้องกับกระบวนการเพิ่มประสิทธิภาพหรือไม่ ฉันจะคาดหวังให้เทียบเท่ากับ OLS อย่างไร้เดียงสา ใครบ้างมีการอ้างอิงสำหรับเรื่องนี้?

19 regression  pca  regularization  ridge-regression 

ฉันต้องการใช้ biplot สำหรับการวิเคราะห์องค์ประกอบหลัก (PCA) ใน JavaScript คำถามของฉันคือฉันจะกำหนดพิกัดของลูกศรจากเอาต์พุตของการแยกสลายเวกเตอร์เอกพจน์ (SVD) ของเมทริกซ์ข้อมูลได้อย่างไรU,V,DU,V,DU,V,D นี่คือตัวอย่าง biplot ที่ผลิตโดย R: biplot(prcomp(iris[,1:4])) ฉันลองค้นหามันในบทความ Wikipedia บน biplotแต่มันไม่มีประโยชน์มาก หรือถูกต้อง ไม่แน่ใจว่าอันไหน

18 pca  svd  biplot 

สมมติว่าฉันมีแหล่งที่มาอิสระ ,และฉันสังเกตการผสมนูน: X 1 , X 2 , . . , X n m Y 1nnnX1,X2,...,XnX1,X2,...,XnX_1, X_2, ..., X_nmmmY1...Ym=a11X1+a12X2+⋯+a1nXn=am1X1+am2X2+⋯+amnXnY1=a11X1+a12X2+⋯+a1nXn...Ym=am1X1+am2X2+⋯+amnXn\begin{align} Y_1 &= a_{11}X_1 + a_{12}X_2 + \cdots + a_{1n}X_n\\ ...&\\ Y_m &= a_{m1}X_1 + a_{m2}X_2 + \cdots + a_{mn}X_n \end{align} กับสำหรับทุกและสำหรับทุก j∑jaij=1∑jaij=1\sum_j a_{ij} = 1iiiaij≥0aij≥0a_{ij} \ge 0i,ji,ji,j สถานะของศิลปะในการกู้คืนXXXจากYYYคืออะไร PCA ไม่เป็นปัญหาเพราะฉันต้องการส่วนประกอบที่สามารถระบุตัวตนได้ ฉันดูที่ …

18 pca  ica 

ฉันต้องการแปลงข้อมูลของฉันXX\mathbf Xเพื่อให้ความแปรปรวนเป็นหนึ่งและความแปรปรวนร่วมจะเป็นศูนย์ (เช่นฉันต้องการทำให้ข้อมูลขาวขึ้น) นอกจากนี้ค่าเฉลี่ยควรเป็นศูนย์ ฉันรู้ว่าฉันจะไปถึงที่นั่นด้วยการทำมาตรฐาน Z และการแปลง PCA แต่ฉันควรทำตามลำดับใด ฉันควรเพิ่มว่าประกอบด้วยการเปลี่ยนแปลงไวท์เทนนิ่งควรจะมีรูปแบบ{ข}x↦Wx+bx↦Wx+b\mathbf{x} \mapsto W\mathbf{x} + \mathbf{b} มีวิธีการคล้ายกับ PCA ซึ่งทำการเปลี่ยนแปลงทั้งสองอย่างนี้และให้สูตรของแบบฟอร์มด้านบนหรือไม่

18 pca  linear-algebra 

สมมติว่าเป็นเวกเตอร์ที่เพิ่มความแปรปรวนของการประมาณการของข้อมูลที่มีการออกแบบเมทริกซ์XXuuuXXX ตอนนี้ฉันได้เห็นวัสดุที่อ้างถึงว่าเป็นองค์ประกอบหลัก (แรก) ของข้อมูลซึ่งเป็นไอเก็นเวกเตอร์ที่มีค่าลักษณะเฉพาะที่ใหญ่ที่สุดuuu แต่ผมยังได้เห็นว่าองค์ประกอบหลักของข้อมูลที่เป็นยูXuXuX u เห็นได้ชัดว่ากับเป็นคนละเรื่องกัน ใครสามารถช่วยฉันออกจากที่นี่และบอกฉันว่าอะไรคือความแตกต่างระหว่างคำจำกัดความสององค์ประกอบหลักX คุณuuuXuXuXu

18 pca  terminology  definition 

ฉันกำลังพยายามตัดสินใจว่าจะรักษาส่วนประกอบของ PCA หรือไม่ มี gazillion ของเกณฑ์ขึ้นอยู่กับขนาดของค่าเฉพาะที่อธิบายและเปรียบเทียบเช่นที่นี่หรือที่นี่ อย่างไรก็ตามในใบสมัครของฉันฉันรู้ว่า eigenvalue ขนาดเล็ก (est) จะมีขนาดเล็กเมื่อเทียบกับ eigenvalue ขนาดใหญ่ (st) และเกณฑ์ตามขนาดจะปฏิเสธคนที่มีขนาดเล็ก นี่ไม่ใช่สิ่งที่ฉันต้องการ สิ่งที่ฉันสนใจ: มีวิธีการใดที่รู้จักกันซึ่งคำนึงถึงองค์ประกอบที่สอดคล้องกันจริงของค่าลักษณะเฉพาะขนาดเล็กในแง่: มันเป็นเสียง "เพียง" จริง ๆ ตามนัยในตำราทั้งหมดหรือมีบางสิ่งที่มีศักยภาพ เหลือดอกเบี้ย ถ้าเป็นเสียงรบกวนให้เอาออกหรือเก็บไว้โดยไม่คำนึงถึงขนาดของค่าลักษณะเฉพาะ มีการสุ่มหรือการทดสอบการกระจายสำหรับส่วนประกอบใน PCA ที่ฉันหาไม่พบหรือไม่? หรือใครรู้เหตุผลที่จะเป็นความคิดที่โง่? ปรับปรุง ฮิสโทแกรม (สีเขียว) และการประมาณค่าปกติ (สีน้ำเงิน) ของส่วนประกอบในสองกรณีการใช้งาน: ครั้งหนึ่งอาจเป็นเสียงจริง, ครั้งหนึ่งอาจไม่ใช่เสียง "แค่" (ใช่, ค่ามีขนาดเล็ก แต่อาจไม่สุ่ม) ค่าเอกพจน์ที่ใหญ่ที่สุดคือ ~ 160 ในทั้งสองกรณีค่าที่เล็กที่สุดนั่นคือค่าเอกพจน์นี้คือ 0.0xx - เล็กเกินไปสำหรับวิธีการตัดค่าใด ๆ สิ่งที่ฉันกำลังมองหาคือวิธีที่จะทำให้เป็นระเบียบนี้ …

18 pca 

เมื่อคุณสร้าง biplot สำหรับการวิเคราะห์ PCA คุณจะได้คะแนนองค์ประกอบหลัก PC1 จากคะแนน x-axis และ PC2 บนแกน y แต่อีกสองแกนทางด้านขวาและด้านบนของหน้าจอคืออะไร?

18 r  pca  biplot 

ฉันต้องการใช้อัลกอริทึมในกระดาษซึ่งใช้เคอร์เนล SVD เพื่อแยกเมทริกซ์ข้อมูล ดังนั้นฉันได้อ่านเนื้อหาเกี่ยวกับวิธีเคอร์เนลและเคอร์เนล PCA เป็นต้น แต่มันก็ยังคลุมเครือสำหรับฉันโดยเฉพาะเมื่อพูดถึงรายละเอียดทางคณิตศาสตร์และฉันมีคำถามสองสามข้อ ทำไมวิธีเคอร์เนล หรือประโยชน์ของวิธีการเคอร์เนลคืออะไร? จุดประสงค์ที่เข้าใจง่ายคืออะไร? มันสมมติว่าพื้นที่มิติที่สูงขึ้นมากเป็นจริงในปัญหาโลกแห่งความจริงและสามารถเปิดเผยความสัมพันธ์ที่ไม่เชิงเส้นในข้อมูลเมื่อเทียบกับวิธีการที่ไม่ใช่เคอร์เนล? ตามวัสดุวิธีการเคอร์เนลฉายข้อมูลลงในพื้นที่คุณลักษณะมิติสูง แต่พวกเขาไม่จำเป็นต้องคำนวณพื้นที่คุณลักษณะใหม่อย่างชัดเจน แต่ก็เพียงพอที่จะคำนวณเฉพาะผลิตภัณฑ์ภายในระหว่างรูปภาพของจุดข้อมูลทั้งหมดในพื้นที่คุณลักษณะ เหตุใดจึงต้องฉายลงในพื้นที่มิติที่สูงขึ้น ในทางตรงกันข้าม SVD ลดพื้นที่คุณสมบัติ ทำไมพวกเขาทำมันในทิศทางที่แตกต่างกัน? วิธีการเคอร์เนลค้นหาขนาดที่สูงขึ้นในขณะที่ SVD แสวงหามิติที่ต่ำกว่า สำหรับฉันมันฟังดูแปลก ๆ ที่จะรวมมันเข้าด้วยกัน จากบทความที่ฉันกำลังอ่าน ( Symeonidis et al. 2010 ) การแนะนำ Kernel SVD แทน SVD สามารถแก้ไขปัญหาการกระจัดกระจายในข้อมูลและปรับปรุงผลลัพธ์ จากการเปรียบเทียบในรูปเราจะเห็นว่า KPCA ได้รับ eigenvector ที่มีความแปรปรวนสูงกว่า (eigenvalue) มากกว่า PCA ฉันคิดว่า? เนื่องจากความแตกต่างที่ใหญ่ที่สุดของการประมาณค่าของจุดบน eigenvector (พิกัดใหม่) …

18 pca  svd  kernel-trick 

ฉันกำลังอ่านเหตุผลต่อไปนี้ (จากบันทึกหลักสูตร cs229) ว่าทำไมเราแบ่งข้อมูลดิบด้วยค่าเบี่ยงเบนมาตรฐาน: แม้ว่าฉันจะเข้าใจสิ่งที่คำอธิบายพูด แต่ก็ไม่ชัดเจนสำหรับฉันว่าทำไมการหารด้วยค่าเบี่ยงเบนมาตรฐานจะบรรลุเป้าหมายดังกล่าว มันบอกว่าเพื่อให้ทุกคนอยู่ใน "ระดับ" มากกว่าเดิม อย่างไรก็ตามมันไม่ชัดเจนเลยว่าทำไมการหารด้วยค่าเบี่ยงเบนมาตรฐานจึงทำได้ ชอบมีอะไรผิดปกติกับการหารด้วยความแปรปรวน? ทำไมไม่ลองปริมาณอื่นล่ะ ชอบ ... ผลรวมของค่าสัมบูรณ์? หรือบรรทัดฐานอื่น ๆ ... มีเหตุผลทางคณิตศาสตร์ในการเลือก STD หรือไม่? การอ้างสิทธิ์ในสารสกัดนี้เป็นข้อความเชิงทฤษฎีที่สามารถได้มา / พิสูจน์ผ่านทางคณิตศาสตร์ (และ / หรือสถิติ) หรือเป็นอีกหนึ่งประโยคที่เราทำเพราะดูเหมือนจะทำงานใน "ฝึกหัด" หรือไม่? โดยพื้นฐานแล้วเราสามารถให้คำอธิบายทางคณิตศาสตร์อย่างเข้มงวดว่าทำไมสัญชาตญาณนั้นเป็นความจริง หรือถ้าเป็นเพียงการสังเกตเชิงประจักษ์ทำไมเราคิดว่ามันใช้งานได้ทั่วไปก่อนทำ PCA นอกจากนี้ในบริบทของ PCA นี่คือกระบวนการของการทำให้เป็นมาตรฐานหรือทำให้เป็นมาตรฐานหรือไม่ ความคิดอื่น ๆ ที่ฉันมีที่อาจ "อธิบาย" ทำไม STD: เนื่องจาก PCA สามารถหาได้จากการเพิ่มความแปรปรวนให้มากที่สุดฉันเดาว่าการหารด้วยปริมาณที่เกี่ยวข้องเช่น STD อาจเป็นหนึ่งในเหตุผลที่เราหารด้วย STD แต่ฉันก็คิดว่าบางทีถ้าเรานิยาม "ความแปรปรวน" …

17 machine-learning  pca  mathematical-statistics 

หลังจากการค้นหาบางอย่างฉันพบข้อผิดพลาดเล็กน้อยเกี่ยวกับการรวมตัวกันของน้ำหนัก / การวัดในการวิเคราะห์องค์ประกอบหลัก สิ่งที่ฉันพบมักใช้วิธีวนซ้ำเพื่อรวมน้ำหนัก (เช่นที่นี่ ) คำถามของฉันคือเหตุใดจึงจำเป็นต้องใช้วิธีการนี้ ทำไมเราไม่สามารถใช้ eigenvector ของเมทริกซ์ความแปรปรวนร่วมแบบถ่วงน้ำหนักได้?

17 pca  measurement-error  weighted-data