คำถามติดแท็ก covariance-matrix

สำหรับเมทริกซ์ข้อมูล (พร้อมตัวแปรในคอลัมน์และจุดข้อมูลในแถว) ดูเหมือนว่าA T Aมีบทบาทสำคัญในสถิติ ตัวอย่างเช่นมันเป็นส่วนสำคัญของโซลูชันการวิเคราะห์ของกำลังสองน้อยสุดธรรมดา หรือสำหรับ PCA eigenvector นั้นเป็นองค์ประกอบหลักของข้อมูลAAAATAATAA^TA ฉันเข้าใจวิธีคำนวณแต่ฉันสงสัยว่ามีการตีความที่เข้าใจง่ายเกี่ยวกับความหมายของเมทริกซ์นี้หรือไม่ซึ่งนำไปสู่บทบาทที่สำคัญATAATAA^TA

107 matrix  covariance-matrix  correlation-matrix 

ฉันเริ่มตะลุยกับการใช้งานglmnetกับการถดถอยแบบ LASSOซึ่งผลลัพธ์ของความสนใจของฉันนั้นเป็นแบบขั้วคู่ ฉันได้สร้างกรอบข้อมูลจำลองขนาดเล็กด้านล่าง: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

ฉันสงสัยว่าใครสามารถชี้ให้ฉันดูการอ้างอิงบางอย่างที่อธิบายการตีความองค์ประกอบของเมทริกซ์ความแปรปรวนร่วมแบบผกผันหรือที่เรียกว่าเมทริกซ์ความเข้มข้นหรือเมทริกซ์ความแม่นยำ ฉันสามารถเข้าถึงการพึ่งพาหลายตัวแปรของ Cox และ Wermuth แต่สิ่งที่ฉันกำลังมองหาคือการตีความของแต่ละองค์ประกอบในเมทริกซ์ผกผัน วิกิพีเดียระบุ "องค์ประกอบของเมทริกซ์ความแม่นยำมีการตีความในแง่ของความสัมพันธ์บางส่วนและความแปรปรวนบางส่วน" ซึ่งทำให้ผมนี้หน้า มีการตีความโดยไม่ใช้การถดถอยเชิงเส้นหรือไม่? IE ในแง่ของความแปรปรวนร่วมหรือรูปทรงเรขาคณิต?

64 interpretation  covariance-matrix 

ฉันเดาว่าคำตอบควรเป็นใช่ แต่ฉันยังรู้สึกว่าบางสิ่งไม่ถูกต้อง ควรมีผลลัพธ์ทั่วไปในวรรณคดีมีใครช่วยฉันบ้าง

48 covariance  matrix  covariance-matrix  linear-algebra 

ฉันได้ค้นคว้าความหมายของคุณสมบัติกึ่งบวกแน่นอนของสหสัมพันธ์หรือเมทริกซ์ความแปรปรวนร่วม ฉันกำลังมองหาข้อมูลใด ๆ นิยามของความแน่นอนกึ่งบวก คุณสมบัติที่สำคัญของมันผลกระทบในทางปฏิบัติ; ผลที่ตามมาของการมีปัจจัยลบผลกระทบต่อการวิเคราะห์หลายตัวแปรหรือผลการจำลอง ฯลฯ

34 covariance-matrix  eigenvalues  determinant  correlation-matrix 

ผมได้ยินมาว่าบางส่วนความสัมพันธ์ระหว่างตัวแปรสุ่มสามารถพบได้โดย inverting เมทริกซ์ความแปรปรวนและการเซลล์ที่เหมาะสมจากที่เกิดเช่นความแม่นยำเมทริกซ์ (ความเป็นจริงนี้ถูกกล่าวถึงในhttp://en.wikipedia.org/wiki/Partial_correlationแต่ไม่มีหลักฐาน) . เหตุใดจึงเป็นเช่นนี้

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

สมมติว่าฉันมีการแจกแจงแบบเกาส์มิติหลายมิติ และฉันใช้เวลาสังเกต (แต่ละของพวกเขาเวกเตอร์) จากการจำหน่ายนี้และคำนวณตัวอย่างแปรปรวนเมทริกซ์Sในบทความนี้ผู้เขียนระบุว่าเมทริกซ์ความแปรปรวนร่วมตัวอย่างที่คำนวณด้วยนั้นเป็นเอกพจน์n p S p > npppnnnpppSSSp>np>np > n มันจริงหรือเป็นอย่างไร คำอธิบายใด ๆ

30 covariance-matrix  linear-algebra 

มีการวัดความคล้ายคลึงกันหรือระยะห่างระหว่างเมทริกซ์ความแปรปรวนร่วมแบบสมมาตรสองแบบหรือไม่ (ทั้งสองมีขนาดเท่ากัน)? ฉันกำลังคิดว่านี่ของ analogues กับ KL divergence ของการแจกแจงความน่าจะเป็นสองอันหรือระยะทางแบบยุคลิดระหว่างเวกเตอร์ยกเว้นการใช้กับเมทริกซ์ ฉันคิดว่าจะมีการวัดความคล้ายคลึงกันค่อนข้างน้อย เป็นการดีที่ฉันต้องการทดสอบสมมติฐานว่างว่าเมทริกซ์ความแปรปรวนร่วมสองตัวนั้นเหมือนกัน

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

ผมอยากจะสร้างสัมพันธ์เมทริกซ์แบบสุ่มของขนาดดังกล่าวว่ามีบางความสัมพันธ์ที่แข็งแกร่งในระดับปานกลางในปัจจุบัน:CC\mathbf Cn × nn×nn \times n ตารางเมทริกซ์สมมาตรจริงของขนาด, เช่น ;n × nn×nn \times nn = 100n=100n=100 ค่าบวกแน่นอนคือค่า eigenvalues ​​ทั้งจริงและบวก อันดับเต็ม องค์ประกอบแนวทแยงทั้งหมดเท่ากับ ;111 ปิดเส้นทแยงมุมองค์ประกอบควรจะมีเหตุผลเหมือนกันกระจายบน1) การแจกแจงที่แน่นอนนั้นไม่สำคัญ แต่ฉันต้องการมีจำนวนมากพอสมควร (เช่น ) ของค่าที่มีขนาดใหญ่พอสมควร (เช่นที่มีค่าสัมบูรณ์หรือสูงกว่า) โดยพื้นฐานแล้วฉันต้องการตรวจสอบให้แน่ใจว่านั้นแทบจะไม่ทแยงมุมกับองค์ประกอบนอกแนวทแยงทั้งหมด( - 1 , 1 )(−1,1)(-1, 1)10 %10%10\%0.50.50.5CC\mathbf C≈ 0≈0\approx 0 มีวิธีง่าย ๆ ที่จะทำมัน? จุดประสงค์คือใช้เมทริกซ์แบบสุ่มดังกล่าวเพื่อวัดมาตรฐานของอัลกอริทึมที่ทำงานกับเมทริกซ์สหสัมพันธ์ (หรือความแปรปรวนร่วม) วิธีการที่ใช้ไม่ได้ผล ต่อไปนี้เป็นวิธีสร้างเมทริกซ์สหสัมพันธ์แบบสุ่มที่ฉันรู้ แต่ไม่ได้ผลกับฉันที่นี่: สร้างแบบสุ่มของขนาด, ศูนย์มาตรฐานและรูปแบบเมทริกซ์สหสัมพันธ์X หากนี้โดยทั่วไปจะส่งผลในทุกความสัมพันธ์นอกเส้นทแยงมุมเป็นรอบ0ถ้าความสัมพันธ์บางอย่างจะแข็งแรง …

25 random-generation  covariance-matrix  correlation-matrix 

สำหรับการถดถอยเชิงเส้นอย่างง่ายสัมประสิทธิ์การถดถอยสามารถคำนวณได้โดยตรงจากความแปรปรวน - ความแปรปรวนร่วมเมทริกซ์โดย โดยที่คือดัชนีตัวแปรตามและคือดัชนีของตัวแปรอธิบายC d , eCCC deCd, ECe , eCd,อีCอี,อี C_{d, e}\over C_{e,e} dddอีอีe หากมีเพียงเมทริกซ์ความแปรปรวนร่วมเป็นไปได้หรือไม่ที่จะคำนวณค่าสัมประสิทธิ์สำหรับแบบจำลองที่มีตัวแปรอธิบายหลายค่า? ETA: สำหรับตัวแปรอธิบายสองตัวปรากฏว่า และ analogously สำหรับ\ฉันไม่ได้เห็นวิธีการขยายตัวแปรนี้เป็นตัวแปรสามตัวขึ้นไปทันทีβ1= Co v ( y, x1) v a r ( x2) - Co v ( y, x2) Co v ( x1, x2)v a r ( x1) v a r ( …

23 regression  regression-coefficients  covariance-matrix 

ได้รับเมทริกซ์ความแปรปรวนร่วมΣsΣs\boldsymbol \Sigma_sวิธีสร้างข้อมูลเช่นนั้นจะมีเมทริกซ์ความแปรปรวนร่วมตัวอย่างΣ^=ΣsΣ^=Σs\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s ? โดยทั่วไปเรามักจะมีความสนใจในข้อมูลที่สร้างจากความหนาแน่นของf(x|θ)f(x|θ) f(x \vert \boldsymbol\theta) กับข้อมูลxxxให้บางพารามิเตอร์เวกเตอร์\θθ\boldsymbol\thetaผลลัพธ์นี้เป็นตัวอย่างซึ่งเราอาจประมาณค่าθ^θ^\boldsymbol{\hat\theta}อีกครั้ง สิ่งที่ฉันสนใจคือปัญหาย้อนกลับ: เกิดอะไรขึ้นถ้าเราได้รับชุดพารามิเตอร์θsθs\boldsymbol\theta_{s}และเราต้องการสร้างตัวอย่างxxxเช่นนั้นθ^= θsθ^=θs \boldsymbol{\hat\theta} = \boldsymbol\theta_{s}{s} นี่เป็นปัญหาที่ทราบหรือไม่? วิธีการดังกล่าวมีประโยชน์หรือไม่? มีอัลกอริทึมหรือไม่

22 correlation  sampling  random-generation  covariance-matrix 

การวิเคราะห์ทางเคมีของตัวอย่างด้านสิ่งแวดล้อมมักจะถูกตรวจสอบด้านล่างที่ข้อ จำกัด การรายงาน หลังสามารถเปลี่ยนแปลงได้ตามสัดส่วนของค่าตัวแปรอื่น ๆ ตัวอย่างเช่นตัวอย่างที่มีความเข้มข้นสูงของสารประกอบหนึ่งอาจต้องทำให้เจือจางเพื่อการวิเคราะห์ส่งผลให้เกิดสัดส่วนเงินเฟ้อของการ จำกัด การเซ็นเซอร์สำหรับสารประกอบอื่น ๆ ทั้งหมดที่วิเคราะห์ในเวลาเดียวกันในตัวอย่างนั้น อีกตัวอย่างหนึ่งบางครั้งการปรากฏตัวของสารประกอบสามารถเปลี่ยนการตอบสนองของการทดสอบกับสารประกอบอื่น ๆ ("การแทรกแซงเมทริกซ์"); เมื่อตรวจพบโดยห้องปฏิบัติการมันจะขยายขีด จำกัด การรายงานตามที่กำหนด ฉันกำลังมองหาวิธีที่ใช้งานได้จริงเพื่อประเมินเมทริกซ์ความแปรปรวนร่วม -Vovance ทั้งหมดสำหรับชุดข้อมูลดังกล่าวโดยเฉพาะอย่างยิ่งเมื่อสารประกอบจำนวนมากประสบการเซ็นเซอร์มากกว่า 50% ซึ่งมักเป็นกรณี แบบจำลองการแจกแจงแบบดั้งเดิมคือลอการิทึมของความเข้มข้น (จริง) มีการกระจายแบบหลายช่วงและสิ่งนี้ดูเหมือนจะเหมาะสมในทางปฏิบัติดังนั้นวิธีแก้ปัญหาสำหรับสถานการณ์นี้จะเป็นประโยชน์ (โดย "ใช้งานจริง" ฉันหมายถึงวิธีการที่สามารถเข้ารหัสได้อย่างน่าเชื่อถือในสภาพแวดล้อมซอฟต์แวร์ที่มีอยู่อย่างน้อยหนึ่งอย่างเช่น R, Python, SAS และอื่น ๆ ในวิธีที่ดำเนินการอย่างรวดเร็วพอที่จะรองรับการคำนวณซ้ำซ้ำเช่นเกิดขึ้นในหลาย ๆ และสิ่งใดที่มีเสถียรภาพพอสมควร [ซึ่งเป็นเหตุผลที่ฉันลังเลที่จะสำรวจการใช้งานข้อผิดพลาดแม้ว่าวิธีการแบบเบย์โดยทั่วไปยินดีต้อนรับ] ขอบคุณล่วงหน้าสำหรับความคิดของคุณในเรื่องนี้

22 correlation  estimation  censoring  covariance-matrix  unbiased-estimator 

ยกตัวอย่างเช่นในRการMASS::mvrnorm()ฟังก์ชั่นจะเป็นประโยชน์สำหรับการสร้างข้อมูลที่แสดงให้เห็นถึงสิ่งต่างๆในสถิติ มันต้องใช้Sigmaอาร์กิวเมนต์ที่จำเป็นซึ่งเป็นเมทริกซ์สมมาตรซึ่งระบุเมทริกซ์ความแปรปรวนร่วมของตัวแปร ฉันจะสร้างเมทริกซ์สมมาตรด้วยรายการตามอำเภอใจได้อย่างไรn×nn×nn\times n

21 r  random-generation  covariance-matrix 

ฉันรู้ว่าคำจำกัดความของเมทริกซ์ definite positive (SPD) positive symmetric แต่ต้องการเข้าใจมากกว่านี้ ทำไมพวกเขาถึงมีความสำคัญอย่างสังหรณ์ใจ? นี่คือสิ่งที่ฉันรู้ มีอะไรอีกบ้าง? สำหรับข้อมูลที่กำหนดเมทริกซ์ความแปรปรวนร่วมคือ SPD เมทริกซ์ความแปรปรวนร่วมเป็นตัวชี้วัดที่สำคัญให้ดูโพสต์ที่ยอดเยี่ยมนี้สำหรับคำอธิบายที่เข้าใจง่าย รูปแบบสมการกำลังสองนูนออกหากคือ SPD Convexity เป็นคุณสมบัติที่ดีสำหรับฟังก์ชั่นที่สามารถตรวจสอบให้แน่ใจว่าโซลูชันในพื้นที่นั้นเป็นโซลูชันระดับโลก สำหรับปัญหานูนมีวิธีการแก้ปัญหาที่ดีมากมาย แต่ไม่ใช่สำหรับปัญหาที่ไม่ใช่ covex12x⊤Ax−b⊤x+c12x⊤Ax−b⊤x+c\frac 1 2 x^\top Ax-b^\top x +cAAA เมื่อคือ SPD โซลูชันเพิ่มประสิทธิภาพสำหรับรูปแบบสมการกำลังสองและโซลูชันสำหรับระบบเชิงเส้นเหมือนกัน ดังนั้นเราจึงสามารถทำการแปลงระหว่างสองปัญหาคลาสสิค สิ่งนี้มีความสำคัญเพราะช่วยให้เราสามารถใช้เทคนิคที่ค้นพบในโดเมนหนึ่งในอีกโดเมนหนึ่ง ตัวอย่างเช่นเราสามารถใช้วิธีการไล่ระดับสีแบบคอนจูเกตเพื่อแก้ปัญหาระบบเชิงเส้นAAAminimize 12x⊤Ax−b⊤x+cminimize 12x⊤Ax−b⊤x+c\text{minimize}~~~ \frac 1 2 x^\top Ax-b^\top x +cAx=bAx=bAx=b มีอัลกอริธึมที่ดีมากมาย (เร็วและเสถียรเป็นตัวเลข) ที่ทำงานได้ดีกว่าสำหรับเมทริกซ์ SPD เช่นการสลายตัวของ Cholesky แก้ไข: ฉันไม่ได้พยายามถามตัวตนของเมทริกซ์ SPD …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

โดยพื้นฐานสิ่งที่ฉันสงสัยว่าโครงสร้างความแปรปรวนร่วมนั้นมีการบังคับใช้แตกต่างกันอย่างไรและวิธีคำนวณค่าภายในเมทริกซ์เหล่านี้อย่างไร ฟังก์ชั่นเช่น lme () ช่วยให้เราสามารถเลือกโครงสร้างที่เราต้องการได้ แต่ฉันชอบที่จะรู้ว่ามันเป็นอย่างไร พิจารณาผลกระทบเชิงเส้นผสมรุ่นYY= Xβ+ Zคุณ+ ϵY=Xβ+Zยู+εY=X\beta+Zu+\epsilon ที่ไหนและR) นอกจากนี้:ϵ d ∼ N ( 0 , R )คุณ∼dยังไม่มีข้อความ( 0 , D )ยู~dยังไม่มีข้อความ(0,D)u \stackrel{d}{\sim} N(0,D)ϵ ∼dยังไม่มีข้อความ( 0 , R )ε~dยังไม่มีข้อความ(0,R)\epsilon \stackrel{d}{\sim} N(0,R) VR ( Y| X, Z, β, u ) = RVaR(Y|X,Z,β,ยู)=RVar(Y|X,Z,\beta,u)=R VR ( Y| X, β) = Z'D …

19 mixed-model  random-effects-model  covariance  covariance-matrix