คำถามติดแท็ก covariance-matrix

เมทริกซ์ข้อผิดพลาด var / cov คำนวณโดยใช้ชุดการวิเคราะห์ทางสถิติในทางปฏิบัติอย่างไร แนวคิดนี้ชัดเจนสำหรับฉันในทางทฤษฎี แต่ไม่ใช่ในทางปฏิบัติ ฉันหมายถึงถ้าฉันมีเวกเตอร์ของตัวแปรสุ่มฉันเข้าใจว่าความแปรปรวน / ความแปรปรวนร่วมเมทริกซ์Σจะได้รับผลิตภัณฑ์ภายนอกของความเบี่ยงเบนจาก --- เวกเตอร์เฉลี่ย: Σ = E [ ( X - E ( X ) ) ( X - E ( X ) ) ⊤ ]X =( X1, X2, … , Xn)⊤X=(X1,X2,…,Xn)⊤\textbf{X}=(X_{1}, X_{2}, \ldots, X_{n})^\topΣΣ\SigmaΣ = E [ ( X - E …

12 variance  error  covariance-matrix  beta-regression 

ฉันกำลังทำงานกับเทคนิคการจัดกลุ่มบางอย่างซึ่งสำหรับกลุ่ม d- มิติเวกเตอร์ที่กำหนดฉันถือว่าการแจกแจงปกติหลายตัวแปรและคำนวณตัวอย่างเวกเตอร์เฉลี่ยมิติสามมิติและเมทริกซ์ความแปรปรวนร่วมตัวอย่าง จากนั้นเมื่อพยายามที่จะตัดสินใจว่าเวกเตอร์ d-มิติใหม่ที่ยังไม่ถูกมองเป็นของกลุ่มนี้ฉันกำลังตรวจสอบระยะทางผ่านทางวัดนี้: (Xi−μ^X)′σ^−1X(Xi−μ^X)>B0.95(p2,−p2)(Xi−μ^X)′σ^X−1(Xi−μ^X)>B0.95(p2,−p2)\left(X_i-\hat{\mu}_X\right)'\hat{\sigma}_X^{-1}\left(X_i-\hat{\mu}_X\right)>B_{0.95}\left(\frac{p}{2},\frac{-p}{2}\right) ซึ่งจะต้องมีฉันในการคำนวณค่าผกผันของการแปรปรวนเมทริกซ์\แต่จากตัวอย่างบางอย่างที่ฉันไม่สามารถรับประกันได้ว่าเมทริกซ์ความแปรปรวนร่วมจะกลับกันได้ฉันควรทำอย่างไรในกรณีที่ไม่เป็นเช่นนั้นσ^Xσ^X\hat{\sigma}_X ขอบคุณ

12 clustering  multivariate-analysis  covariance  covariance-matrix  matrix-inverse 

พื้นหลังของการศึกษาของฉัน : ในการสุ่มตัวอย่างกิ๊บส์เมื่อเราสุ่มตัวอย่าง (ตัวแปรที่สนใจ) และจากและตามลำดับโดยที่และเป็นเวกเตอร์สุ่มมิติ เรารู้ว่ากระบวนการนั้นมักจะแบ่งออกเป็นสองขั้นตอน:XXXYYYP(X|Y)P(X|Y)P(X|Y)P(Y|X)P(Y|X)P(Y|X)XXXYYYkkk ระยะเวลาการเผาไหม้ที่เราทิ้งตัวอย่างทั้งหมด แสดงว่ากลุ่มตัวอย่างเป็นและY_tX1∼XtX1∼XtX_1\sim X_tY1∼YtY1∼YtY_1\sim Y_t "After-Burn-in" ประจำเดือนซึ่งเราทำการหาค่าเฉลี่ยตัวอย่างเป็นผลลัพธ์สุดท้ายที่เราต้องการX¯=1k∑ki=1Xt+iX¯=1k∑i=1kXt+i\bar{X} = \frac{1}{k}\sum_{i=1}^k X_{t+i} อย่างไรก็ตามตัวอย่างในลำดับ "after-burn-in"ไม่ได้ถูกแจกจ่ายอย่างอิสระ ดังนั้นหากฉันต้องการตรวจสอบความแปรปรวนของผลลัพธ์สุดท้ายมันก็จะกลายเป็นXt+1∼Xt+kXt+1∼Xt+kX_{t+1}\sim X_{t+k} Var[X¯]=Var[∑i=1kXt+i]=1k2(∑i=1kVar[Xt+i]+∑i=1k−1∑j=i+1kCov[Xt+i,Xt+j])Var⁡[X¯]=Var⁡[∑i=1kXt+i]=1k2(∑i=1kVar⁡[Xt+i]+∑i=1k−1∑j=i+1kCov⁡[Xt+i,Xt+j])\operatorname{Var}[\bar{X}] = \operatorname{Var}\left[\sum_{i=1}^k X_{t+i}\right] = \frac{1}{k^2}\left(\sum_{i=1}^k\operatorname{Var}[X_{t+i}] + \sum_{i=1}^{k-1} \sum_{j=i+1}^k \operatorname{Cov}[X_{t+i},X_{t+j}]\right) ที่นี่มีคำCov[ Xt + i, Xt + j]Cov⁡[Xt+i,Xt+j]\operatorname{Cov}[X_{t+i},X_{t+j}]เป็นk × kk×kk\times kข้ามแปรปรวนเมทริกซ์ใช้กับใด ๆ( i , j )(i,j)(i,j)กับฉัน&lt; ji&lt;ji<j&lt;J ตัวอย่างเช่นฉันมี Xt + 1= ( …

11 hypothesis-testing  covariance  covariance-matrix  gibbs 

ฉันมีชุดข้อมูลที่ประกอบด้วยการสังเกต 717 ครั้ง (แถว) ซึ่งอธิบายด้วย 33 ตัวแปร (คอลัมน์) ข้อมูลได้มาตรฐานโดย z- คะแนนตัวแปรทั้งหมด ไม่มีตัวแปรสองตัวที่ขึ้นต่อกันแบบเชิงเส้น ( ) ฉันได้ลบตัวแปรทั้งหมดที่มีความแปรปรวนต่ำมาก (น้อยกว่า0.1 ) รูปด้านล่างแสดงเมทริกซ์สหสัมพันธ์ที่สอดคล้องกัน (เป็นค่าสัมบูรณ์)r=1r=1r=10.10.10.1 เมื่อฉันพยายามเรียกใช้การวิเคราะห์ปัจจัยที่ใช้factoranใน Matlab ดังนี้ [Loadings1,specVar1,T,stats] = factoran(Z2,1); ฉันได้รับข้อผิดพลาดต่อไปนี้: The data X must have a covariance matrix that is positive definite. คุณช่วยบอกฉันทีว่าปัญหาอยู่ที่ไหน มันเป็นเพราะการพึ่งพาซึ่งกันและกันต่ำในหมู่ตัวแปรที่ใช้? นอกจากนี้ฉันจะทำอะไรได้บ้าง เมทริกซ์ความสัมพันธ์ของฉัน:

11 matlab  factor-analysis  covariance  covariance-matrix 

ความแปรปรวนร่วมระหว่างตัวแปรสุ่มสองตัวกำหนดการวัดว่าพวกมันเกี่ยวข้องกันอย่างไร แต่จะเกิดอะไรขึ้นถ้าการกระจายข้อต่อเป็นแบบวงกลม? แน่นอนว่ามีโครงสร้างในการกระจาย โครงสร้างนี้ถูกดึงออกมาได้อย่างไร?

11 covariance-matrix 

ฉันกำลังพูดถึงที่นี่เกี่ยวกับเมทริกซ์ของเพียร์สันสหสัมพันธ์ ฉันมักจะได้ยินว่ามันบอกว่าการฝึกอบรมความสัมพันธ์ทั้งหมดจะต้องเป็น semidefinite บวก ความเข้าใจของฉันอยู่ที่การฝึกอบรมที่ชัดเจนในเชิงบวกจะต้องมีลักษณะเฉพาะในขณะที่การฝึกอบรม semidefinite บวกจะต้องมีลักษณะเฉพาะ0 นี่ทำให้ฉันคิดว่าคำถามของฉันสามารถใช้ถ้อยคำใหม่เป็น "เป็นไปได้ไหมที่เมทริกซ์สหสัมพันธ์จะมีค่า eigenvalue "≥ 0 = 0&gt; 0&gt;0> 0≥ 0≥0\ge 0= 0=0= 0 เป็นไปได้สำหรับเมทริกซ์สหสัมพันธ์ (สร้างจากข้อมูลเชิงประจักษ์โดยไม่มีข้อมูลขาดหายไป) เพื่อให้มีค่าลักษณะเฉพาะหรือค่าลักษณะเฉพาะหรือไม่ จะเป็นอย่างไรถ้าเป็นเมทริกซ์สหสัมพันธ์ของประชากรแทน&lt; 0= 0=0= 0&lt; 0&lt;0< 0 ฉันอ่านคำตอบที่ดีที่สุดสำหรับคำถามนี้เกี่ยวกับเมทริกซ์ความแปรปรวนร่วมนั้น พิจารณาสามตัวแปร, ,และ Y เมทริกซ์ความแปรปรวนร่วมของพวกเขา, , ไม่ใช่บวกแน่นอนเนื่องจากมีเวกเตอร์ ( ) ซึ่งมีค่าไม่เป็นบวกY Z = X + Y M z = ( 1 , …

11 covariance-matrix  eigenvalues  correlation-matrix 

ฉันมีชุดข้อมูลซึ่งประกอบด้วยตัวแปร 10 ตัว ฉันวิ่งสี่เหลี่ยมน้อยที่สุดบางส่วน (PLS) เพื่อทำนายตัวแปรการตอบสนองเดียวโดยตัวแปร 10 ตัวเหล่านี้แยกส่วนประกอบ 10 PLS แล้วคำนวณความแปรปรวนของแต่ละองค์ประกอบ จากข้อมูลเดิมฉันได้รวมผลต่างของตัวแปรทั้งหมดซึ่งก็คือ 702 จากนั้นฉันก็แบ่งความแปรปรวนของส่วนประกอบ PLS แต่ละตัวด้วยผลรวมนี้เพื่อให้ได้เปอร์เซ็นต์ของความแปรปรวนที่อธิบายโดย PLS และส่วนประกอบทั้งหมดด้วยกันน่าประหลาดใจเพียงอธิบาย 44% ของความแปรปรวนดั้งเดิม คำอธิบายของสิ่งนั้นคืออะไร? ไม่ควรจะเป็น 100%

10 regression  pca  covariance-matrix  partial-least-squares 

ตำราสถิติจำนวนมากให้ภาพตัวอย่างที่เข้าใจง่ายว่า eigenvectors ของเมทริกซ์ความแปรปรวนร่วมคืออะไร: เวกเตอร์uและzเป็นค่า eigenvectors (ดี, eigenaxes) มันสมเหตุสมผลแล้ว แต่สิ่งหนึ่งที่ทำให้ฉันสับสนก็คือเราแยก eigenvectors จากเมทริกซ์สหสัมพันธ์ไม่ใช่ข้อมูลดิบ นอกจากนี้ชุดข้อมูลดิบที่แตกต่างกันมากอาจมีเมทริกซ์สหสัมพันธ์เหมือนกัน ตัวอย่างเช่นทั้งคู่มีเมทริกซ์สหสัมพันธ์ของ: [10.970.971][10.970.971]\left[\begin{array}{} 1 & 0.97 \\ 0.97 &1\end{array}\right] ดังนั้นพวกเขาจึงมี eigenvectors ชี้ไปในทิศทางเดียวกัน: [.71.71−.71.71][.71−.71.71.71]\left[\begin{array}{} .71 & -.71 \\ .71 & .71\end{array}\right] แต่ถ้าคุณต้องใช้การตีความภาพแบบเดียวกันกับที่ทิศทางของข้อมูลผู้ใช้ในข้อมูลดิบคุณจะได้เวกเตอร์ชี้ไปในทิศทางที่ต่างกัน ใครช่วยบอกฉันทีว่าฉันทำผิดไปได้ไหม การแก้ไขที่สอง : หากฉันกล้าหาญมากด้วยคำตอบที่ดีเยี่ยมด้านล่างฉันสามารถเข้าใจความสับสนและแสดงให้เห็นได้ คำอธิบายด้วยภาพสอดคล้องกับความจริงที่ว่า eigenvector สกัดจากเมทริกซ์ความแปรปรวนร่วมนั้นแตกต่างกัน Covariances และ Eigenvectors (สีแดง): [1111][.7.72−.72.7][1111][.7−.72.72.7]\left[\begin{array}{} 1 & 1 \\ 1 & …

10 correlation  pca  covariance-matrix  eigenvalues 

ในหนังสือเรียนฉันกำลังอ่านว่าพวกเขาใช้ความแน่นอนเชิงบวก (กึ่งบวกแน่นอน) เพื่อเปรียบเทียบเมทริกซ์ความแปรปรวนร่วมสองตัว ความคิดที่ว่าถ้า- Bเป็น PD แล้วBมีขนาดเล็กกว่า แต่ฉันพยายามดิ้นรนเพื่อให้ได้สัญชาติญาณของความสัมพันธ์นี้?A - BA−BA-BBBBAAA มีเธรดที่คล้ายกันที่นี่: /math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices สัญชาตญาณในการใช้ความแตกต่างเพื่อเปรียบเทียบเมทริกซ์คืออะไร แม้ว่าคำตอบจะดี แต่พวกเขาไม่ได้พูดปรีชา นี่คือตัวอย่างที่ฉันรู้สึกสับสน: [ 1612129] - [ 1224][1612129]−[1224]\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation} ตอนนี้ที่นี่ดีเทอร์มีแนนต์ของความแตกต่างคือ -25 ดังนั้นความสัมพันธ์ไม่ได้เป็น pd หรือแม้กระทั่ง psd และเมทริกซ์แรกไม่มากกว่าครั้งแรก? ฉันแค่ต้องการเปรียบเทียบเมทริกซ์ความแปรปรวนร่วม 3 …

10 covariance-matrix  matrix  intuition  linear-algebra  geometry 

ฉันมีแบบฟอร์ม GLMM: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) เมื่อฉันใช้drop1(model, test="Chi")ฉันได้รับผลลัพธ์ที่แตกต่างกว่าถ้าผมใช้จากแพคเกจรถหรือAnova(model, type="III") summary(model)สองหลังนี้ให้คำตอบเดียวกัน จากการใช้ข้อมูลที่ประดิษฐ์ขึ้นมาฉันพบว่าทั้งสองวิธีปกติไม่แตกต่างกัน พวกเขาให้คำตอบเดียวกันสำหรับแบบจำลองเชิงเส้นที่มีความสมดุลแบบจำลองเชิงเส้นที่ไม่สมดุล (ซึ่งไม่เท่ากันในกลุ่มต่าง ๆ ) และสำหรับแบบจำลองเชิงเส้นที่สมดุลแบบทั่วไป ดังนั้นจึงปรากฏว่าเฉพาะในกรณีที่มีการรวมปัจจัยแบบสุ่มเข้าด้วยกัน ทำไมจึงมีความคลาดเคลื่อนระหว่างสองวิธีนี้? เมื่อใช้ GLMM ควรAnova()หรือdrop1()จะใช้งานอย่างไร ความแตกต่างระหว่างสองสิ่งนี้ค่อนข้างเล็กน้อยอย่างน้อยสำหรับข้อมูลของฉัน มันมีความสำคัญต่อการใช้งานหรือไม่?

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

ใครสามารถอธิบายให้ฉันในแง่ง่ายว่าเมทริกซ์ความแปรปรวนร่วม isotropic คืออะไร? ฉันไม่พบสิ่งใดทางออนไลน์

10 terminology  covariance-matrix  definition 

โครงสร้างความแปรปรวนร่วมแปรปรวนเริ่มต้นสำหรับผลแบบสุ่มในglmerหรือlmerในlme4แพคเกจคืออะไร? หนึ่งจะระบุโครงสร้างความแปรปรวนร่วมแปรปรวนอื่นสำหรับผลสุ่มในรหัสได้อย่างไร ฉันไม่พบข้อมูลใด ๆ เกี่ยวกับสิ่งนี้ในlme4เอกสารประกอบ

10 mixed-model  lme4-nlme  covariance-matrix 

ลองนึกภาพคุณมีรูปหลายเหลี่ยมที่กำหนดโดยชุดพิกัด (x1,y1)...(xn,yn)(x1,y1)...(xn,yn)(x_1,y_1)...(x_n,y_n) และศูนย์กลางของมวลอยู่ที่ (0,0)(0,0)(0,0). คุณสามารถถือว่ารูปหลายเหลี่ยมเป็นการกระจายแบบสม่ำเสมอด้วยขอบเขตรูปหลายเหลี่ยม ฉันหลังจากวิธีการที่จะได้พบกับการเมทริกซ์ความแปรปรวนของรูปหลายเหลี่ยม ฉันสงสัยว่าเมทริกซ์ความแปรปรวนร่วมของรูปหลายเหลี่ยมนั้นเกี่ยวข้องอย่างใกล้ชิดกับช่วงเวลาที่สองของพื้นที่แต่ไม่ว่าพวกมันจะเท่ากันหรือไม่ฉันไม่แน่ใจ สูตรที่พบในบทความวิกิพีเดียที่ฉันเชื่อมโยงดูเหมือน (คาดเดาที่นี่มันไม่ชัดเจนโดยเฉพาะอย่างยิ่งกับฉันจากบทความ) เพื่ออ้างถึงความเฉื่อยหมุนรอบแกน x, y และ z มากกว่าแกนหลักของรูปหลายเหลี่ยม (บังเอิญถ้าใครสามารถชี้ให้ฉันถึงวิธีการคำนวณแกนหลักของรูปหลายเหลี่ยมนั้นจะเป็นประโยชน์กับฉันด้วย) เป็นที่น่าดึงดูดใจที่จะเพียงแค่ทำการ PCA บนพิกัดแต่การทำเช่นนี้จะทำให้เกิดปัญหาที่พิกัดไม่จำเป็นต้องกระจายทั่วรูปหลายเหลี่ยมอย่างสม่ำเสมอและดังนั้นจึงไม่ได้เป็นตัวแทนของความหนาแน่นของรูปหลายเหลี่ยม ตัวอย่างสุดขั้วคือโครงร่างของนอร์ทดาโคตาซึ่งรูปหลายเหลี่ยมถูกกำหนดโดยจุดจำนวนมากที่ตามแม่น้ำแดงรวมทั้งอีกสองจุดที่กำหนดขอบตะวันตกของรัฐ

9 pca  covariance-matrix  polygon 

ไม่ใช่เรื่องแปลกที่เกิดขึ้นเมื่อต้องรับมือกับตัวแบบผสมที่ซับซ้อนสูงสุด (การประมาณค่าเอฟเฟกต์แบบสุ่มที่เป็นไปได้ทั้งหมดสำหรับข้อมูลและตัวแบบที่กำหนด) นั้นสมบูรณ์แบบ (+1 หรือ -1) หรือสัมพันธ์ที่สมบูรณ์แบบ สำหรับวัตถุประสงค์ของการสนทนาเรามาดูรูปแบบและสรุปแบบจำลองต่อไปนี้ Model: Y ~ X*Cond + (X*Cond|subj) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects …

9 r  correlation  mixed-model  lme4-nlme  covariance-matrix