คำถามติดแท็ก matrix

การวิเคราะห์องค์ประกอบหลัก (PCA) มักจะอธิบายผ่านการสลายตัวไอเก็นของเมทริกซ์ความแปรปรวนร่วม แต่ก็ยังสามารถดำเนินการผ่านการย่อยสลายมูลค่าเอกพจน์ (SVD) ของเมทริกซ์ข้อมูลXมันทำงานยังไง? การเชื่อมต่อระหว่างสองแนวทางนี้คืออะไร? ความสัมพันธ์ระหว่าง SVD และ PCA คืออะไร?XX\mathbf X หรือกล่าวอีกนัยหนึ่งว่าจะใช้ SVD ของ data matrix เพื่อลดมิติข้อมูลได้อย่างไร?

351 pca  dimensionality-reduction  matrix  svd 

ฉันได้สังเกตเห็นเมื่อเร็ว ๆ นี้ว่าผู้คนจำนวนมากกำลังพัฒนาเทนเซอร์เทียบเท่าวิธีการหลายอย่าง (การแยกตัวประกอบเทนเซอร์, เมล็ดเทนเซอร์, เทนเซอร์สำหรับการสร้างแบบจำลองหัวข้อ ฯลฯ ) ฉันสงสัยว่าทำไมโลกถึงหลงใหลเทนเซอร์ มีเอกสาร / ผลมาตรฐานล่าสุดที่น่าประหลาดใจเป็นพิเศษหรือไม่ มันคำนวณได้ถูกกว่าที่คาดไว้มากก่อนหน้านี้ไหม? ฉันไม่ได้เป็นคนที่มีเสน่ห์ฉันมีความสนใจอย่างจริงใจและหากมีคำแนะนำใด ๆ เกี่ยวกับเรื่องนี้ฉันก็อยากอ่าน

171 machine-learning  references  matrix  linear-algebra  tensor 

สำหรับเมทริกซ์ข้อมูล (พร้อมตัวแปรในคอลัมน์และจุดข้อมูลในแถว) ดูเหมือนว่าA T Aมีบทบาทสำคัญในสถิติ ตัวอย่างเช่นมันเป็นส่วนสำคัญของโซลูชันการวิเคราะห์ของกำลังสองน้อยสุดธรรมดา หรือสำหรับ PCA eigenvector นั้นเป็นองค์ประกอบหลักของข้อมูลAAAATAATAA^TA ฉันเข้าใจวิธีคำนวณแต่ฉันสงสัยว่ามีการตีความที่เข้าใจง่ายเกี่ยวกับความหมายของเมทริกซ์นี้หรือไม่ซึ่งนำไปสู่บทบาทที่สำคัญATAATAA^TA

107 matrix  covariance-matrix  correlation-matrix 

สำหรับการศึกษาการจำลองฉันต้องสร้างตัวแปรสุ่มที่แสดง prefined (ประชากร) ความสัมพันธ์กับตัวแปรที่มีอยู่YYYY ฉันดูในRแพ็คเกจcopulaและCDVineสามารถสร้างการแจกแจงหลายตัวแปรแบบสุ่มด้วยโครงสร้างการพึ่งพาที่กำหนด อย่างไรก็ตามเป็นไปไม่ได้ที่จะแก้ไขหนึ่งในตัวแปรที่เป็นผลลัพธ์ของตัวแปรที่มีอยู่ ความคิดและลิงก์ไปยังฟังก์ชั่นที่มีอยู่นั้นได้รับการชื่นชม! สรุป: คำตอบที่ถูกต้องสองคำขึ้นมาพร้อมกับโซลูชันที่แตกต่าง: R สคริปต์โดย Caracal ซึ่งจะคำนวณตัวแปรสุ่มกับที่แน่นอน (ตัวอย่าง) ความสัมพันธ์กับตัวแปรที่กำหนดไว้ล่วงหน้า R ฟังก์ชั่นฉันพบตัวเองซึ่งจะคำนวณตัวแปรสุ่มที่มีการกำหนดประชากรความสัมพันธ์กับตัวแปรที่กำหนดไว้ล่วงหน้า [@ttnphns 'นอกจากนี้: ฉันใช้เสรีภาพในการขยายชื่อคำถามจากกรณีตัวแปรคงที่เดียวเป็นจำนวนคงที่ของตัวแปรคงที่; เช่นวิธีการสร้างตัวแปรที่มีคอร์เรชั่นที่กำหนดไว้ล่วงหน้าพร้อมกับตัวแปรคงที่บางตัวที่มีอยู่]

71 r  correlation  random-variable  random-generation  independence  assumptions  random-variable  unbiased-estimator  regression  hypothesis-testing  heteroscedasticity  generalized-least-squares  distributions  networks  data-visualization  sas  reproducible-research  philosophical  time-series  variance  outliers  quality-control  mean  multilevel-analysis  average  weighted-mean  regression  confidence-interval  prediction-interval  correlation  matlab  matrix  data-mining  maximum-likelihood  r  time-series  survival  predictive-models 

ฉันกำลังคำนวณบางอย่างกับเมทริกซ์ที่แตกต่างกัน (ส่วนใหญ่ในการถดถอยโลจิสติก) และฉันมักจะได้รับข้อผิดพลาด "เมทริกซ์คือเอกพจน์" ที่ฉันต้องย้อนกลับไปและลบตัวแปรที่เกี่ยวข้อง คำถามของฉันที่นี่คือสิ่งที่คุณจะพิจารณาเมทริกซ์ที่มีความสัมพันธ์ "สูง" มีค่าขีด จำกัด ของความสัมพันธ์เพื่อเป็นตัวแทนของคำนี้หรือไม่? เช่นเดียวกับตัวแปรที่มีความสัมพันธ์ 0.97 กับอีกอันหนึ่งมันสูงพอที่จะทำให้เมทริกซ์เอกพจน์หรือไม่? ขออภัยหากคำถามนี้เป็นพื้นฐานมากฉันไม่สามารถหาการอ้างอิงใด ๆ ที่พูดถึงปัญหานี้ (คำแนะนำเกี่ยวกับการอ้างอิงใด ๆ จะเป็นประโยชน์อย่างมาก!)

66 regression  correlation  matrix  multicollinearity  singular 

ฉันทำงานใน R มาแล้วและต้องเผชิญกับสิ่งต่าง ๆ เช่น PCA, SVD, การย่อยสลาย QR และผลลัพธ์พีชคณิตเชิงเส้นจำนวนมากเช่นนี้ (เมื่อตรวจสอบการประเมินการถ่วงน้ำหนักและอื่น ๆ ) ดังนั้นฉันอยากรู้ว่าใครมีคำแนะนำที่ดี หนังสือพีชคณิตเชิงเส้นที่มีเนื้อหาครอบคลุมซึ่งไม่เชิงทฤษฎี แต่มีความเข้มงวดทางด้านคณิตศาสตร์และครอบคลุมหัวข้อเหล่านี้ทั้งหมด

54 references  matrix  linear-algebra  weighted-regression 

ฉันได้อ่านเกี่ยวกับการสลายตัวของค่าเอกพจน์ (SVD) แล้ว ในหนังสือเกือบทุกเล่มมีการกล่าวถึงว่ามันทำให้เมทริกซ์แยกตัวเป็นเมทริกซ์สามตัวพร้อมการกำหนด แต่ปรีชาที่อยู่เบื้องหลังการแยกเมทริกซ์ในรูปแบบดังกล่าวคืออะไร? PCA และอัลกอริธึมอื่น ๆ สำหรับการลดขนาดนั้นใช้งานง่ายในแง่ที่ว่าอัลกอริทึมมีคุณสมบัติการสร้างภาพที่ดี แต่ด้วย SVD ไม่ใช่กรณี

50 matrix  linear-algebra  svd  intuition 

ฉันเดาว่าคำตอบควรเป็นใช่ แต่ฉันยังรู้สึกว่าบางสิ่งไม่ถูกต้อง ควรมีผลลัพธ์ทั่วไปในวรรณคดีมีใครช่วยฉันบ้าง

48 covariance  matrix  covariance-matrix  linear-algebra 

ฉันอยากรู้เกี่ยวกับธรรมชาติของΣ−1Σ−1\Sigma^{-1} 1 ใครสามารถบอกอะไรบางอย่างที่ใช้งานง่ายเกี่ยวกับ "อะไรΣ−1Σ−1\Sigma^{-1}พูดเกี่ยวกับข้อมูล?" แก้ไข: ขอบคุณสำหรับการตอบกลับ หลังจากเรียนจบหลักสูตรที่ยอดเยี่ยมฉันต้องการเพิ่มคะแนน: มันเป็นตัวชี้วัดของข้อมูลเช่นxTΣ−1xxTΣ−1xx^T\Sigma^{-1}xคือปริมาณของข้อมูลตามทิศทางxxxx ความเป็นคู่:เนื่องจากΣΣ\Sigmaเป็นค่าบวกแน่นอนดังนั้นจึงเป็นΣ−1Σ−1\Sigma^{-1}ดังนั้นพวกมันจึงเป็นบรรทัดฐานของดอทโปรดัคยิ่งแม่นยำกว่าพวกเขาจึงเป็นสองมาตรฐานของกันและกันดังนั้นเราสามารถหาเฟนเนลคู่สำหรับปัญหากำลังสองน้อยที่สุด ปัญหา. เราสามารถเลือกอย่างใดอย่างหนึ่งของพวกเขาขึ้นอยู่กับเงื่อนไขของพวกเขา พื้นที่ Hilbert:คอลัมน์ (และแถว) ของΣ−1Σ−1\Sigma^{-1}และΣΣ\Sigmaขยายพื้นที่เดียวกัน ดังนั้นจึงไม่มีข้อได้เปรียบใด ๆ (อื่น ๆ ที่เมื่อหนึ่งในเมทริกซ์เหล่านี้ไม่มีเงื่อนไข) ระหว่างการแสดงด้วยΣ−1Σ−1\Sigma^{-1}หรือΣΣ\Sigma Σ−1Σ−1\Sigma^{-1}∥Σ−1∥→0‖Σ−1‖→0\|\Sigma^{-1}\|\rightarrow 0 สถิติผู้ใช้บ่อย:มันเกี่ยวข้องอย่างใกล้ชิดกับข้อมูลฟิชเชอร์โดยใช้Cramér – Rao ในความเป็นจริงเมทริกซ์ข้อมูลการตกปลา (ผลิตภัณฑ์ชั้นนอกของการไล่ระดับสีของความน่าจะเป็นกับตัวมันเอง) คือCramér – Rao ผูกไว้นั่นคือ (wrt บวกกึ่งกรวยแน่นอน ellipsoids) ดังนั้นเมื่อตัวประมาณความเป็นไปได้สูงสุดนั้นมีประสิทธิภาพนั่นคือข้อมูลสูงสุดที่มีอยู่ในข้อมูล ในคำที่ง่ายขึ้นสำหรับฟังก์ชั่นความเป็นไปได้บางอย่าง (โปรดทราบว่ารูปแบบการทำงานของความน่าจะเป็นล้วนขึ้นอยู่กับแบบจำลอง probablistic ซึ่งสร้างข้อมูลที่รู้จักกันว่าแบบจำลองกำเนิด) aka ความน่าจะเป็นที่มีประสิทธิภาพสูงสุด (ขออภัยที่ทำให้มากเกินไป)Σ−1⪯FΣ−1⪯F\Sigma^{-1}\preceq \mathcal{F}Σ−1=FΣ−1=F\Sigma^{-1}=\mathcal{F}

46 bayesian  maximum-likelihood  covariance  matrix 

สมมติว่าฉันมีความหนาแน่นหลายตัวแปรปกติฉันต้องการที่จะได้รับที่สอง (บางส่วน) WRT อนุพันธ์\ไม่แน่ใจว่าจะหาอนุพันธ์ของเมทริกซ์ได้อย่างไรN(μ,Σ)N(μ,Σ)N(\mu, \Sigma)μμ\mu Wiki กล่าวว่านำองค์ประกอบอนุพันธ์โดยองค์ประกอบภายในเมทริกซ์ ฉันกำลังทำงานกับ Laplace ประมาณ โหมดคือ\θ = μlogPN(θ)=logPN−12(θ−θ^)TΣ−1(θ−θ^).log⁡PN(θ)=log⁡PN−12(θ−θ^)TΣ−1(θ−θ^).\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.θ^=μθ^=μ\hat\theta=\mu ฉันได้รับสิ่งนี้เกิดขึ้นได้อย่างไร?Σ−1=−∂2∂θ2logp(θ^|y),Σ−1=−∂2∂θ2log⁡p(θ^|y),{\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y), สิ่งที่ฉันได้ทำ: logP(θ|y)=−k2log2π−12log|Σ|−12(θ−θ^)TΣ−1(θ−θ^)log⁡P(θ|y)=−k2log⁡2π−12log⁡|Σ|−12(θ−θ^)TΣ−1(θ−θ^)\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta) ดังนั้นฉันเอาอนุพันธ์ wrt มาที่ก่อนอื่นมีการแปลงที่สองคือเมทริกซ์ ดังนั้นฉันติดอยู่θθ\theta หมายเหตุ: หากอาจารย์ของฉันพบสิ่งนี้ฉันหมายถึงการบรรยาย

35 self-study  normal-distribution  matrix 

ฉันมีคำถามแปลก ๆ เมื่อฉันทดลองการเพิ่มประสิทธิภาพของนูน คำถามคือ: สมมติว่าฉันสุ่ม (พูดการแจกแจงแบบปกติมาตรฐาน) สร้างเมทริกซ์สมมาตร (ตัวอย่างเช่นฉันสร้างเมทริกซ์สามเหลี่ยมด้านบนและเติมครึ่งล่างเพื่อให้แน่ใจว่ามันสมมาตร) โอกาสที่จะเป็นบวกแน่นอน เมทริกซ์? อย่างไรก็ตามมีการคำนวณความน่าจะเป็นหรือไม่?N×NN×NN \times N

32 probability  matrix  random-generation  eigenvalues  random-matrix 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามดังนั้นหัวข้อสำหรับการตรวจสอบข้าม ปิดให้บริการใน6 ปีที่ผ่านมา ฉันต้องการดำเนินการ normalization คอลัมน์ที่ชาญฉลาดของเมทริกซ์ในอาร์รับเมทริกซ์mฉันต้องการที่จะทำให้ปกติคอลัมน์แต่ละคอลัมน์โดยการหารแต่ละองค์ประกอบด้วยผลรวมของคอลัมน์ วิธีหนึ่ง (แฮ็ค) ที่ทำเช่นนี้มีดังนี้ m / t(replicate(nrow(m), colSums(m))) มีวิธีสังเขป / ฉลาด / มีประสิทธิภาพมากขึ้นในการบรรลุภารกิจเดียวกันหรือไม่?

25 r  data-transformation  normalization  matrix 

ดูคำถามนี้ที่ Math SE เรื่องสั้น: ฉันอ่านองค์ประกอบของการเรียนรู้ทางสถิติและรู้สึกหงุดหงิดเมื่อฉันพยายามตรวจสอบผลลัพธ์บางอย่างเช่นกำหนด จากนั้น I กำลังมองหาหนังสือแคลคูลัสเมทริกซ์ซึ่งเขียนเหมือนหนังสือแคลคูลัสแบบดั้งเดิมของคุณ (เช่นหลักฐานของทฤษฎีบทตัวอย่างแบบฝึกหัดในการคำนวณ ฯลฯ ) ฉันได้เห็นคำถามนี้แล้วRSS ( β) = ( y - X β)T( y - X β) ,RSS(β)=(Y-Xβ)T(Y-Xβ),\text{RSS}(\beta) = \left(\mathbf{y}-\mathbf{X}\beta\right)^{T}\left(\mathbf{y}-\mathbf{X}\beta\right)\text{,}∂RSS∂β= - 2 XT( y - X β)∂2RSS∂β ∂βT= 2 XTX∂RSS∂β=-2XT(Y-Xβ)∂2RSS∂β ∂βT=2XTX.\begin{align}&\dfrac{\partial\text{RSS}}{\partial \beta} = -2\mathbf{X}^{T}\left(\mathbf{y}-\mathbf{X}\beta\right) \\ &\dfrac{\partial^2\text{RSS}}{\partial \beta\text{ }\partial \beta^{T}} = 2\mathbf{X}^{T}\mathbf{X}\text{.} \end{align}และรู้สึกว่าข้อความโดย Magnus …

20 references  matrix  matrix-calculus 

หากคุณมีเมทริกซ์ที่มีคอลัมน์ n แถวและ m คุณสามารถใช้ SVD หรือวิธีอื่น ๆ ในการคำนวณการประมาณค่าต่ำของเมทริกซ์ที่กำหนด อย่างไรก็ตามการประมาณอันดับต่ำจะยังคงมี n แถวและคอลัมน์ m การประมาณอันดับต่ำจะมีประโยชน์สำหรับการเรียนรู้ของเครื่องและการประมวลผลภาษาธรรมชาติอย่างไรเนื่องจากคุณมีคุณสมบัติจำนวนเท่าเดิม

20 r  matrix  approximation 

มีคำภาษาอังกฤษคำเดียวที่แสดงถึง "จำนวนคอลัมน์" ของเมทริกซ์หรือไม่? ยกตัวอย่างเช่น "มิติ" ของเมทริกซ์3 ฉันต้องการคำศัพท์คำสำหรับตัวอย่างนี้ ฉันสามารถพูดได้เสมอว่า "จำนวนคอลัมน์" แต่ฉันจะมีคำเดียวได้ไหม?2×32×32\times 32×32×32\times 3333

18 terminology  matrix