คำถามติดแท็ก eigenvalues

ในชั้นเรียนรู้รูปแบบวันนี้อาจารย์ของฉันพูดคุยเกี่ยวกับ PCA, eigenvectors และค่าลักษณะเฉพาะ ฉันเข้าใจคณิตศาสตร์ของมัน ถ้าฉันถูกขอให้หาค่าลักษณะเฉพาะ ฯลฯ ฉันจะทำอย่างถูกต้องเหมือนเครื่อง แต่ผมไม่เข้าใจมัน ฉันไม่ได้รับวัตถุประสงค์ของมัน ฉันไม่ได้รับความรู้สึกของมัน ฉันเชื่อมั่นในคำพูดต่อไปนี้: คุณไม่เข้าใจอะไรจริงๆเว้นแต่คุณจะอธิบายให้คุณยายฟัง -- Albert Einstein ฉันไม่สามารถอธิบายแนวคิดเหล่านี้กับคนธรรมดาหรือยายได้ ทำไมต้องเลือก PCA, eigenvectors & eigenvalues อะไรคือสิ่งที่จำเป็นสำหรับแนวคิดเหล่านี้ คุณจะอธิบายเรื่องนี้กับคนธรรมดาได้อย่างไร?

976 pca  intuition  eigenvalues  canonical-question 

ฉันได้ค้นคว้าความหมายของคุณสมบัติกึ่งบวกแน่นอนของสหสัมพันธ์หรือเมทริกซ์ความแปรปรวนร่วม ฉันกำลังมองหาข้อมูลใด ๆ นิยามของความแน่นอนกึ่งบวก คุณสมบัติที่สำคัญของมันผลกระทบในทางปฏิบัติ; ผลที่ตามมาของการมีปัจจัยลบผลกระทบต่อการวิเคราะห์หลายตัวแปรหรือผลการจำลอง ฯลฯ

34 covariance-matrix  eigenvalues  determinant  correlation-matrix 

ฉันมีคำถามแปลก ๆ เมื่อฉันทดลองการเพิ่มประสิทธิภาพของนูน คำถามคือ: สมมติว่าฉันสุ่ม (พูดการแจกแจงแบบปกติมาตรฐาน) สร้างเมทริกซ์สมมาตร (ตัวอย่างเช่นฉันสร้างเมทริกซ์สามเหลี่ยมด้านบนและเติมครึ่งล่างเพื่อให้แน่ใจว่ามันสมมาตร) โอกาสที่จะเป็นบวกแน่นอน เมทริกซ์? อย่างไรก็ตามมีการคำนวณความน่าจะเป็นหรือไม่?N×NN×NN \times N

32 probability  matrix  random-generation  eigenvalues  random-matrix 

การจัดกึ่งกลาง (หรือลบความหมาย) ข้อมูลของคุณมีความแตกต่างจาก PCA อย่างไร ฉันได้ยินมาว่ามันทำให้คณิตศาสตร์ง่ายขึ้นหรือป้องกันพีซีเครื่องแรกไม่ให้ถูกครอบงำด้วยค่าเฉลี่ยของตัวแปร แต่ฉันรู้สึกว่าฉันยังไม่สามารถเข้าใจแนวคิดได้อย่างมั่นคง ตัวอย่างเช่นคำตอบยอดนิยมที่นี่ข้อมูลที่อยู่ตรงกลางกำจัดการสกัดกั้นในการถดถอยและ PCA ได้อย่างไร อธิบายวิธีที่การไม่อยู่ตรงกลางจะดึง PCA แรกผ่านจุดเริ่มต้นแทนที่จะเป็นแกนหลักของคลาวด์พอยต์ จากความเข้าใจของฉันเกี่ยวกับวิธีที่พีซีได้รับจาก eigenvectors เมทริกซ์ความแปรปรวนร่วมฉันไม่สามารถเข้าใจได้ว่าทำไมสิ่งนี้จึงเกิดขึ้น ยิ่งกว่านั้นการคำนวณของฉันเองที่มีและไม่มีการกำหนดกึ่งกลางดูเหมือนจะไม่สมเหตุสมผล พิจารณาดอกไม้ setosa ในirisชุดข้อมูลใน R. ฉันคำนวณค่าลักษณะเฉพาะและค่าลักษณะเฉพาะของเมทริกซ์ความแปรปรวนร่วมตัวอย่างดังนี้ data(iris) df <- iris[iris$Species=='setosa',1:4] e <- eigen(cov(df)) > e $values [1] 0.236455690 0.036918732 0.026796399 0.009033261 $vectors [,1] [,2] [,3] [,4] [1,] -0.66907840 0.5978840 0.4399628 -0.03607712 [2,] -0.73414783 -0.6206734 …

30 r  pca  svd  eigenvalues  centering 

ฉันกำลังศึกษา PCA จากหลักสูตร Coursera ของ Andrew Ng และสื่ออื่น ๆ ในการมอบหมายครั้งแรกของ Stanford NLP แน่นอน cs224n และในวิดีโอการบรรยายจาก Andrew Ngพวกเขาทำการสลายตัวของค่าเอกพจน์แทนการสลายตัว eigenvector ของเมทริกซ์ความแปรปรวนร่วมและ Ng บอกว่า SVD มีความเสถียรเชิงตัวเลขมากกว่า eigendecomposition จากความเข้าใจของฉันสำหรับ PCA เราควรทำ SVD ของเมทริกซ์ข้อมูล(m,n)ขนาดไม่ใช่เมทริกซ์ความแปรปรวนร่วมของ(n,n)ขนาด และการสลายตัวของไอเก็นเวกเตอร์ของเมทริกซ์ความแปรปรวนร่วม ทำไมพวกเขาถึงทำ SVD ของเมทริกซ์ความแปรปรวนร่วมไม่ใช่เมทริกซ์ข้อมูล?

29 pca  linear-algebra  svd  eigenvalues  numerics 

ใน PCA เมื่อจำนวนมิติมากกว่า (หรือเท่ากับ) จำนวนตัวอย่างทำไมคุณถึงมีeigenvector ที่ไม่ใช่ศูนย์มากที่สุดในคำอื่น ๆ ยศแปรปรวนเมทริกซ์ในหมู่ที่มิติคือN-1N N - 1 d ≥ N N - 1dddยังไม่มีข้อความNNยังไม่มีข้อความ- 1N−1N-1d≥ Nd≥Nd\ge Nยังไม่มีข้อความ- 1N−1N-1 ตัวอย่าง: ตัวอย่างของคุณเป็นภาพเวกเตอร์ซึ่งมีขนาดแต่คุณมีเพียงภาพN = 10d= 640 × 480 = 307200d=640×480=307200d = 640\times480 = 307\,200ยังไม่มีข้อความ= 10N=10N=10

22 pca  dimensionality-reduction  eigenvalues 

เมื่อมองไปที่ไอเก็นเวกเตอร์ของเมทริกซ์ความแปรปรวนร่วมเราจะได้คำแนะนำของความแปรปรวนสูงสุด (ไอเกนวีคตัวแรกคือทิศทางที่ข้อมูลแตกต่างกันมากที่สุด ฯลฯ ); สิ่งนี้เรียกว่าการวิเคราะห์องค์ประกอบหลัก (PCA) ฉันสงสัยว่าการดู eigenvector / คุณค่าของเมทริกซ์ข้อมูลร่วมหมายความว่าพวกเขาจะชี้ไปในทิศทางของเอนโทรปีสูงสุดหรือไม่

14 pca  entropy  mutual-information  eigenvalues 

คำถามของฉันที่เกี่ยวข้องกับเทคนิคการคำนวณใช้ประโยชน์ในหรือgeoR:::.negloglik.GRFgeoR:::solve.geoR ในการตั้งค่าโมเดลเชิงเส้นผสม: โดยที่และเป็นเอฟเฟกต์แบบคงที่และแบบสุ่มตามลำดับ นอกจากนี้β b Σ = cov ( Y )Y=Xβ+Zb+eY=Xβ+Zb+e Y=X\beta+Zb+e ββ\betabbbΣ=cov(Y)Σ=cov(Y)\Sigma=\text{cov}(Y) เมื่อประเมินผลกระทบมีความจำเป็นต้องคำนวณ ซึ่งปกติสามารถทำได้โดยใช้สิ่งที่ชอบแต่บางครั้งเกือบจะไม่สามารถย้อนกลับได้ดังนั้นให้ใช้เล่ห์เหลี่ยม(X′Σ−1X)−1X′Σ−1Y(X′Σ−1X)−1X′Σ−1Y (X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1} Y solve(XtS_invX,XtS_invY)(X′Σ−1X)(X′Σ−1X)(X'\Sigma^{-1}X)geoR t.ei=eigen(XtS_invX) crossprod(t(t.ei$vec)/sqrt(t.ei$val))%*%XtS_invY (สามารถเห็นได้ในgeoR:::.negloglik.GRFและgeoR:::.solve.geoR) ซึ่งจำนวนเงินที่จะเน่าเฟะ ที่และดังนั้น (X′Σ−1X)=ΛDΛ−1(X′Σ−1X)=ΛDΛ−1 (X'\Sigma^{-1}X)=\Lambda D \Lambda^{-1}\\ Λ′=Λ−1Λ′=Λ−1\Lambda'=\Lambda^{-1}(X′Σ−1X)−1=(D−1/2Λ−1)′(D−1/2Λ−1)(X′Σ−1X)−1=(D−1/2Λ−1)′(D−1/2Λ−1) (X'\Sigma^{-1}X)^{-1}=(D^{-1/2}\Lambda^{-1})'(D^{-1/2}\Lambda^{-1}) สองคำถาม: วิธีการที่ไม่สลายตัวไอเกนนี้จะช่วยให้กลับหัว ?(X′Σ−1X)(X′Σ−1X)(X'\Sigma^{-1}X) มีทางเลือกอื่น ๆ (ที่แข็งแกร่งและมั่นคง) หรือไม่? (เช่นqr.solveหรือchol2inv?)

13 r  eigenvalues  matrix-decomposition  matrix-inverse  cholesky 

ฉันกำลังพยายามสลายเมทริกซ์ความแปรปรวนร่วมโดยยึดตามชุดข้อมูลที่กระจัดกระจาย / มีความสุข ฉันสังเกตเห็นว่าผลรวมของแลมบ์ดา (อธิบายความแปรปรวน) ตามที่คำนวณด้วยsvdกำลังถูกขยายด้วยข้อมูลที่มีความสุขมากขึ้น โดยไม่มีช่องว่างsvdและeigenผลลัพธ์ที่เหมือนกัน ดูเหมือนจะไม่เกิดขึ้นกับการeigenสลายตัว ฉันโน้มตัวไปใช้svdเพราะค่าแลมบ์ดาเป็นบวกอยู่เสมอ แต่แนวโน้มนี้น่าเป็นห่วง มีการแก้ไขบางอย่างที่ต้องนำไปใช้หรือฉันควรหลีกเลี่ยงsvdปัญหาดังกล่าวทั้งหมด ###Make complete and gappy data set set.seed(1) x <- 1:100 y <- 1:100 grd <- expand.grid(x=x, y=y) #complete data z <- matrix(runif(dim(grd)[1]), length(x), length(y)) image(x,y,z, col=rainbow(100)) #gappy data zg <- replace(z, sample(seq(z), length(z)*0.5), NaN) image(x,y,zg, col=rainbow(100)) ###Covariance matrix decomposition …

12 r  svd  eigenvalues 

ฉันกำลังพูดถึงที่นี่เกี่ยวกับเมทริกซ์ของเพียร์สันสหสัมพันธ์ ฉันมักจะได้ยินว่ามันบอกว่าการฝึกอบรมความสัมพันธ์ทั้งหมดจะต้องเป็น semidefinite บวก ความเข้าใจของฉันอยู่ที่การฝึกอบรมที่ชัดเจนในเชิงบวกจะต้องมีลักษณะเฉพาะในขณะที่การฝึกอบรม semidefinite บวกจะต้องมีลักษณะเฉพาะ0 นี่ทำให้ฉันคิดว่าคำถามของฉันสามารถใช้ถ้อยคำใหม่เป็น "เป็นไปได้ไหมที่เมทริกซ์สหสัมพันธ์จะมีค่า eigenvalue "≥ 0 = 0&gt; 0&gt;0> 0≥ 0≥0\ge 0= 0=0= 0 เป็นไปได้สำหรับเมทริกซ์สหสัมพันธ์ (สร้างจากข้อมูลเชิงประจักษ์โดยไม่มีข้อมูลขาดหายไป) เพื่อให้มีค่าลักษณะเฉพาะหรือค่าลักษณะเฉพาะหรือไม่ จะเป็นอย่างไรถ้าเป็นเมทริกซ์สหสัมพันธ์ของประชากรแทน&lt; 0= 0=0= 0&lt; 0&lt;0< 0 ฉันอ่านคำตอบที่ดีที่สุดสำหรับคำถามนี้เกี่ยวกับเมทริกซ์ความแปรปรวนร่วมนั้น พิจารณาสามตัวแปร, ,และ Y เมทริกซ์ความแปรปรวนร่วมของพวกเขา, , ไม่ใช่บวกแน่นอนเนื่องจากมีเวกเตอร์ ( ) ซึ่งมีค่าไม่เป็นบวกY Z = X + Y M z = ( 1 , …

11 covariance-matrix  eigenvalues  correlation-matrix 

Christopher Bishop เขียนในการจดจำรูปแบบในหนังสือของเขาและการเรียนรู้ของเครื่องเพื่อพิสูจน์ว่าแต่ละองค์ประกอบหลักติดต่อกันช่วยเพิ่มความแปรปรวนของการฉายภาพให้เป็นมิติหนึ่งหลังจากข้อมูลถูกฉายไปยังพื้นที่มุมฉากกับองค์ประกอบที่เลือกไว้ก่อนหน้านี้ คนอื่น ๆ แสดงหลักฐานที่คล้ายกัน อย่างไรก็ตามสิ่งนี้พิสูจน์ให้เห็นว่าแต่ละองค์ประกอบที่ต่อเนื่องกันเป็นโครงที่ดีที่สุดสำหรับหนึ่งมิติในแง่ของการเพิ่มความแปรปรวนให้สูงสุด เหตุใดสิ่งนี้จึงบอกเป็นนัยถึงความแปรปรวนของการฉายภาพที่จะบอกว่า 5 มิตินั้นถูกเลือกให้มากที่สุดสำหรับส่วนประกอบแรก

11 machine-learning  variance  pca  dimensionality-reduction  eigenvalues 

ตำราสถิติจำนวนมากให้ภาพตัวอย่างที่เข้าใจง่ายว่า eigenvectors ของเมทริกซ์ความแปรปรวนร่วมคืออะไร: เวกเตอร์uและzเป็นค่า eigenvectors (ดี, eigenaxes) มันสมเหตุสมผลแล้ว แต่สิ่งหนึ่งที่ทำให้ฉันสับสนก็คือเราแยก eigenvectors จากเมทริกซ์สหสัมพันธ์ไม่ใช่ข้อมูลดิบ นอกจากนี้ชุดข้อมูลดิบที่แตกต่างกันมากอาจมีเมทริกซ์สหสัมพันธ์เหมือนกัน ตัวอย่างเช่นทั้งคู่มีเมทริกซ์สหสัมพันธ์ของ: [10.970.971][10.970.971]\left[\begin{array}{} 1 & 0.97 \\ 0.97 &1\end{array}\right] ดังนั้นพวกเขาจึงมี eigenvectors ชี้ไปในทิศทางเดียวกัน: [.71.71−.71.71][.71−.71.71.71]\left[\begin{array}{} .71 & -.71 \\ .71 & .71\end{array}\right] แต่ถ้าคุณต้องใช้การตีความภาพแบบเดียวกันกับที่ทิศทางของข้อมูลผู้ใช้ในข้อมูลดิบคุณจะได้เวกเตอร์ชี้ไปในทิศทางที่ต่างกัน ใครช่วยบอกฉันทีว่าฉันทำผิดไปได้ไหม การแก้ไขที่สอง : หากฉันกล้าหาญมากด้วยคำตอบที่ดีเยี่ยมด้านล่างฉันสามารถเข้าใจความสับสนและแสดงให้เห็นได้ คำอธิบายด้วยภาพสอดคล้องกับความจริงที่ว่า eigenvector สกัดจากเมทริกซ์ความแปรปรวนร่วมนั้นแตกต่างกัน Covariances และ Eigenvectors (สีแดง): [1111][.7.72−.72.7][1111][.7−.72.72.7]\left[\begin{array}{} 1 & 1 \\ 1 & …

10 correlation  pca  covariance-matrix  eigenvalues 

ฉันกำลังทำการวิเคราะห์ Matlab กับข้อมูล MRI ที่ฉันได้ทำ PCA บนเมทริกซ์ขนาด 10304x236 โดยที่ 10304 คือจำนวน voxels (คิดว่าเป็นพิกเซล) และ 236 คือจำนวนของ timepoints PCA ให้ฉัน 236 ค่าลักษณะเฉพาะและค่าสัมประสิทธิ์ที่เกี่ยวข้อง ทั้งหมดนี้เป็นเรื่องปกติ อย่างไรก็ตามเมื่อถึงเวลาที่ต้องตัดสินใจว่าต้องเก็บส่วนประกอบกี่ชิ้นกระดาษที่ฉันลอกเลียนแบบจะกล่าวต่อไปนี้ (โปรดแจ้งให้เราทราบหากต้องการคำชี้แจงใด ๆ เนื่องจากนี่เป็นเพียงส่วนสั้น ๆ ของกระดาษทั้งหมด): จากนั้นเราทำการจำลอง Monte Carlo เพื่อกำหนดจำนวนขององค์ประกอบหลัก (พีซี) เพื่อแยกจากข้อมูล ROI ที่น่ารำคาญสำหรับการสแกนแต่ละครั้ง การกระจายตัวของค่าลักษณะเฉพาะที่คาดหวังถูกสร้างขึ้นแยกต่างหากสำหรับการเข้ารหัสและข้อมูลส่วนที่เหลือสำหรับแต่ละเรื่องโดยดำเนินการ PCA กับข้อมูลที่กระจายตามปกติในระดับที่เท่าเทียมกันกับการเข้ารหัสและข้อมูล ROI ที่น่ารำคาญ พีซีจากข้อมูล ROI ที่น่ารำคาญจริงนั้นถูกเลือกสำหรับการพักผ่อนหรือเข้ารหัสการสแกนหากค่าลักษณะเฉพาะที่เกี่ยวข้องมีค่าเกินช่วงความเชื่อมั่น 99% ของค่าลักษณะเฉพาะจากการจำลอง Monte Carlo Tambini &amp; …

10 pca  eigenvalues  neuroimaging 

ฉันพยายามทำ SVD ด้วยมือ: m&lt;-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3) U=eigen(m%*%t(m))$vector V=eigen(t(m)%*%m)$vector D=sqrt(diag(eigen(m%*%t(m))$values)) U1=svd(m)$u V1=svd(m)$v D1=diag(svd(m)$d) U1%*%D1%*%t(V1) U%*%D%*%t(V) แต่บรรทัดสุดท้ายไม่กลับmมา ทำไม? ดูเหมือนว่าจะมีบางอย่างที่เกี่ยวข้องกับสัญญาณของ eigenvector ...

9 r  svd  eigenvalues 

อะไรคือความสัมพันธ์ระหว่างองค์ประกอบหลักแรกและความสัมพันธ์เฉลี่ยในเมทริกซ์ความสัมพันธ์ ตัวอย่างเช่นในแอปพลิเคชันเชิงประจักษ์ฉันสังเกตว่าความสัมพันธ์โดยเฉลี่ยเกือบจะเหมือนกับอัตราส่วนของความแปรปรวนขององค์ประกอบหลักตัวแรก (ค่าเริ่มต้นแรก) ต่อความแปรปรวนทั้งหมด (ผลรวมของค่าลักษณะเฉพาะทั้งหมด) มีความสัมพันธ์ทางคณิตศาสตร์หรือไม่? ด้านล่างคือแผนภูมิของผลลัพธ์เชิงประจักษ์ โดยที่ correlation คือค่าสหสัมพันธ์โดยเฉลี่ยระหว่างองค์ประกอบดัชนีหุ้น DAX ที่คำนวณได้จากการคำนวณในช่วงเวลา 15 วันและความแปรปรวนที่อธิบายคือส่วนแบ่งความแปรปรวนที่อธิบายโดยองค์ประกอบหลักตัวแรกที่คำนวณด้วยหน้าต่างกลิ้ง 15 วัน สิ่งนี้สามารถอธิบายได้ด้วยตัวแบบปัจจัยความเสี่ยงทั่วไปเช่น CAPM หรือไม่?

9 correlation  pca  mathematical-statistics  eigenvalues