คำถามติดแท็ก linear-algebra

สำหรับเวกเตอร์นอร์มค่า L2 norm หรือ "Euclidean distance" เป็นคำจำกัดความที่ใช้กันอย่างแพร่หลายและเป็นธรรมชาติ แต่ทำไมนิยาม "บรรทัดฐาน" ที่ใช้มากที่สุด "หรือ" เริ่มต้น "สำหรับเมทริกซ์จึงเป็นบรรทัดฐานสเปกตรัมแต่ไม่ใช่มาตรฐาน Frobenius (ซึ่งคล้ายกับบรรทัดฐาน L2 สำหรับเวกเตอร์) นั่นมีบางอย่างเกี่ยวข้องกับอัลกอริทึมซ้ำ / พลังเมทริกซ์ (ถ้ารัศมีสเปกตรัมน้อยกว่า 1 ดังนั้นอัลกอริทึมจะมาบรรจบกัน)? มันมักจะโต้แย้งสำหรับคำเช่น "ใช้มากที่สุด", "เริ่มต้น" คำว่า "เริ่มต้น" ดังกล่าวข้างต้นจะมาจากชนิดกลับเริ่มต้นในฟังก์ชั่นMatlab normในRบรรทัดฐานเริ่มต้นสำหรับเมทริกซ์คือ L1 norm ทั้งสองเป็น "ผิดธรรมชาติ" เพื่อฉัน (สำหรับเมทริกซ์ก็ดูเหมือนว่า "ธรรมชาติ" ที่จะทำ∑i,ja2i,j−−−−−−√∑i,jai,j2\sqrt{\sum_{i,j}a^{2}_{i,j}}ชอบในเวกเตอร์) (ขอบคุณสำหรับ @ usεr11852และความคิดเห็นของ @ whuber และขออภัยในความสับสน) อาจจะขยายการใช้งานของเมทริกซ์บรรทัดฐานจะช่วยให้ฉันเข้าใจเพิ่มเติมหรือไม่

17 matrix  linear-algebra 

สมมติว่าผมมีความหนาแน่นเมทริกซ์ของขนาดที่มีการสลายตัว SVDในฉันสามารถคำนวณ SVD ได้ดังนี้: .AA \textbf{A}m × nม.×nm \times nA = U S V⊤.A=ยูSV⊤.\mathbf{A}=\mathbf{USV}^\top.Rsvd(A) หากมีการเพิ่ม -th ใหม่ลงในสามารถคำนวณการแยกย่อย SVD ใหม่ตามแบบเก่า (เช่นโดยใช้ , , และ ) โดยไม่ต้องคำนวณใหม่ SVD ตั้งแต่ต้น?( m + 1 )(ม.+1)(m+1)AA\mathbf Aยูยู\mathbf USS\mathbf SVV\mathbf V

17 algorithms  svd  linear-algebra  matrix-decomposition  numerics 

ตามที่ระบุในคำถามนี้อันดับสูงสุดของเมทริกซ์ความแปรปรวนร่วมคือn−1n−1n-1โดยที่nnnคือขนาดตัวอย่างและดังนั้นหากมิติของเมทริกซ์ความแปรปรวนร่วมเท่ากับขนาดตัวอย่างมันจะเป็นเอกพจน์ ผมไม่เข้าใจว่าทำไมเราลบ111จากการจัดอันดับสูงสุดnnnความแปรปรวนร่วมเมทริกซ์

17 covariance-matrix  linear-algebra 

พิจารณา PCA biplot ต่อไปนี้: library(mvtnorm) set.seed(1) x <- rmvnorm(2000, rep(0, 6), diag(c(5, rep(1,5)))) x <- scale(x, center=T, scale=F) pc <- princomp(x) biplot(pc) มีลูกศรสีแดงจำนวนหนึ่งพล็อตพวกมันหมายถึงอะไร ฉันรู้ว่าลูกศรแรกที่มีป้ายกำกับ "Var1" ควรชี้ทิศทางที่แตกต่างกันมากที่สุดของชุดข้อมูล (ถ้าเราคิดว่ามันเป็นจุดข้อมูล 2,000 จุดแต่ละอันเป็นเวกเตอร์ขนาด 6) ฉันอ่านจากที่อื่นทิศทางที่แตกต่างกันมากที่สุดควรเป็นทิศทางของเวกเตอร์ไอเกนลำดับที่ 1 อย่างไรก็ตามการอ่านรหัส biplot ใน R บรรทัดเกี่ยวกับลูกศรคือ: if(var.axes) arrows(0, 0, y[,1L] * 0.8, y[,2L] * 0.8, col = col[2L], yเมทริกการโหลดอยู่ที่ไหน, …

14 r  pca  linear-algebra  biplot 

สมมุติว่าเรามีรูปร่าง X (2, 5) และรูปร่าง y (2,) งานนี้: np.linalg.lstsq(X, y) เราคาดหวังว่าสิ่งนี้จะทำงานได้ก็ต่อเมื่อ X มีรูปร่าง (N, 5) โดยที่ N> = 5 แต่ทำไมและอย่างไร เราได้รับน้ำหนักกลับมา 5 เท่าตามที่คาดไว้ แต่วิธีนี้แก้ไขได้อย่างไร มันไม่เหมือนเรามี 2 สมการและ 5 ไม่รู้จักใช่ไหม วิธีแก้ปัญหาแบบนี้ได้ดีแค่ไหน? มันต้องทำอะไรซักอย่างเพื่อการสร้างสมการประดิษฐ์ขึ้นมาอีก ..

14 least-squares  linear-algebra  numpy 

ฉันเคยใช้การจูนโมเดลcaretแต่แล้วก็รันโมเดลอีกครั้งโดยใช้gbmแพ็คเกจ ฉันเข้าใจว่าcaretแพ็กเกจที่ใช้gbmและเอาต์พุตควรเหมือนกัน อย่างไรก็ตามการทดสอบการทำงานอย่างรวดเร็วโดยใช้data(iris)แสดงความแตกต่างในรูปแบบประมาณ 5% โดยใช้ RMSE และ R ^ 2 เป็นตัวชี้วัดการประเมินผล ฉันต้องการค้นหาประสิทธิภาพของแบบจำลองที่ดีที่สุดโดยใช้caretแต่เรียกใช้อีกครั้งgbmเพื่อใช้ประโยชน์จากแผนการพึ่งพาบางส่วน รหัสด้านล่างสำหรับการทำซ้ำ คำถามของฉันจะเป็น: 1) เหตุใดฉันจึงเห็นความแตกต่างระหว่างแพ็คเกจทั้งสองนี้ถึงแม้ว่าพวกเขาจะเหมือนกัน (ฉันเข้าใจว่าพวกมันสุ่ม แต่ 5% ค่อนข้างแตกต่างกันมากโดยเฉพาะอย่างยิ่งเมื่อฉันไม่ได้ใช้ชุดข้อมูลที่ดีirisสำหรับการสร้างแบบจำลองของฉัน) . 2) มีข้อดีหรือข้อเสียในการใช้ทั้งสองแพคเกจหรือไม่ 3) ไม่เกี่ยวข้อง: การใช้irisชุดข้อมูลที่ดีที่สุดinteraction.depthคือ 5 แต่สูงกว่าที่ฉันได้อ่านควรจะใช้สูงสุดfloor(sqrt(ncol(iris)))ซึ่งควรจะเป็น 2 นี่เป็นกฎง่ายๆหรือเข้มงวดหรือไม่? library(caret) library(gbm) library(hydroGOF) library(Metrics) data(iris) # Using caret caretGrid <- expand.grid(interaction.depth=c(1, 3, 5), n.trees = (0:50)*50, shrinkage=c(0.01, 0.001), n.minobsinnode=10) metric …

13 r  caret  gbm  matrix  linear-algebra  logistic  modeling  logit  ordered-logit  r  confidence-interval  survival  population  weibull  classification  separation  hypothesis-testing  correlation  statistical-significance  p-value  python  r  data-visualization  r  regression  multiple-regression  chi-squared  multivariate-analysis  distributions  random-variable  experiment-design  distributions  poisson-regression  residuals  excel  time-series  garch  var  survival  modeling  cox-model  interaction  r  pca  normality-assumption 

ฉันกำลังทำ ML ที่มหาวิทยาลัยของฉันและอาจารย์พูดถึงคำว่า Expectation (E) ในขณะที่เขาพยายามอธิบายบางอย่างเกี่ยวกับกระบวนการแบบเกาส์ แต่จากวิธีที่เขาอธิบายฉันเข้าใจว่า E นั้นเหมือนกับค่าเฉลี่ยμ ฉันเข้าใจถูกมั้ย ถ้าเหมือนกันคุณรู้หรือไม่ว่าทำไมจึงใช้สัญลักษณ์ทั้งสอง ฉันก็เห็นว่า E สามารถใช้เป็นฟังก์ชั่นเช่น E ( ) แต่ฉันไม่เห็นว่าสำหรับμx2x2x^2 ใครสามารถช่วยฉันเข้าใจความแตกต่างระหว่างทั้งสองได้ดีกว่ากัน?

11 machine-learning  gaussian-process  linear-algebra 

ฉันต้องการใช้การถดถอยแบบเกาส์แบบขั้นตอนแบบเพิ่มโดยใช้หน้าต่างแบบเลื่อนผ่านจุดข้อมูลที่มาถึงแบบทีละรายการผ่านสตรีม ให้แทนมิติของพื้นที่อินพุต ดังนั้นทุกจุดข้อมูลมีองค์ประกอบจำนวนdddxixix_iddd ให้เป็นขนาดของหน้าต่างเลื่อนnnn ในการคาดคะเนฉันต้องคำนวณค่าผกผันของแกรมเมทริกซ์โดยที่และ k เป็นเคอร์เนลเอ็กซ์เชียลกำลังสองKKKKij=k(xi,xj)Kij=k(xi,xj)K_{ij} = k(x_i, x_j) เพื่อหลีกเลี่ยงการเพิ่มขึ้นของ K กับจุดข้อมูลใหม่ทุกจุดฉันคิดว่าฉันสามารถลบจุดข้อมูลที่เก่าที่สุดก่อนที่จะเพิ่มจุดใหม่และด้วยวิธีนี้ฉันจะป้องกันไม่ให้กรัมเติบโตขึ้น ยกตัวอย่างเช่นปล่อยให้โดยที่คือความแปรปรวนร่วมของน้ำหนักและเป็นฟังก์ชันการทำแผนที่โดยปริยายโดยเคอร์เนล exponential กำลังสองK=ϕ(X)TΣϕ(X)K=ϕ(X)TΣϕ(X)K = \phi(X)^{T}\Sigma\phi(X)ΣΣ\Sigmaϕϕ\phi ตอนนี้ให้ ] และโดยที่คือคูณคอลัมน์เมทริกซ์X=[xt−n+1|xt−n+2|...|xtX=[xt−n+1|xt−n+2|...|xtX=[x_{t-n+1}|x_{t-n+2}|...|x_{t}Xnew=[xt−n+2|...|xt|xt+1]Xnew=[xt−n+2|...|xt|xt+1]X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]xxxddd111 ฉันจำเป็นต้องใช้วิธีที่มีประสิทธิภาพเพื่อหาสิ่งที่อาจใช้Kสิ่งนี้ดูเหมือนจะไม่ตรงกันข้ามกับปัญหาเมทริกซ์ที่ได้รับการปรับปรุงอันดับ 1 ที่สามารถจัดการกับสูตร Sherman-Morrison ได้อย่างมีประสิทธิภาพK−1newKnew−1K_{new}^{-1}KKK

11 regression  covariance  gaussian-process  linear-algebra  online 

การใช้งานปัจจุบันของอัลกอริธึมการฉายแบบสุ่มลดมิติข้อมูลตัวอย่างโดยการแมปจากถึงโดยใช้เมทริกซ์การฉายซึ่งรายการนั้นมีการกระจายที่เหมาะสม (เช่นจาก ):RdRd\mathbb R^dRkRk\mathbb R^kd× kd×kd\times kRRRยังไม่มีข้อความ( 0 , 1 )N(0,1)\mathcal N(0,1) x′=1k√xRx′=1kxRx^\prime = \frac{1}{\sqrt k}xR สะดวกพิสูจน์หลักฐานทางทฤษฎีที่มีอยู่แสดงให้เห็นว่าการทำแผนที่นี้ประมาณรักษาระยะทางคู่ อย่างไรก็ตามเมื่อเร็ว ๆ นี้ฉันพบบันทึกเหล่านี้ที่ผู้เขียนอ้างว่าการแมปนี้ด้วยเมทริกซ์แบบสุ่มไม่ใช่การฉายภาพในความหมายเชิงพีชคณิตเชิงเส้นที่เข้มงวดของคำ (หน้า 6) จากคำอธิบายที่ให้มีนี้เป็นเพราะคอลัมน์ของไม่ได้ฉากอย่างเคร่งครัดเมื่อรายการของตนได้รับการแต่งตั้งเป็นอิสระจาก(0,1) ดังนั้นรุ่นก่อนหน้าของ RP ที่มีการบังคับใช้มุมฉากของคอลัมน์ถูกบังคับให้ถือเป็นเส้นโครงRRRN(0,1)N(0,1)\mathcal N(0,1)RRR คุณสามารถให้คำอธิบายโดยละเอียดเพิ่มเติมเกี่ยวกับ (1) คำจำกัดความของการฉายภาพในแง่ที่เข้มงวดนี้คืออะไรและ (2) เหตุใด RP จึงไม่ฉายภายใต้คำจำกัดความนี้

10 terminology  dimensionality-reduction  linear-algebra  random-projection 

ผมเห็นเครื่องหมายนี้สำหรับสองน้อยสามัญที่นี่ นาทีW∥ Xw - y∥22minw‖Xw−y‖22 \min_w \left\| Xw - y \right\|^2_2 ฉันไม่เคยเห็นแถบคู่และ 2 ที่ด้านล่าง สัญลักษณ์เหล่านี้หมายถึงอะไร พวกเขามีคำศัพท์เฉพาะสำหรับพวกเขาหรือไม่?

10 regression  least-squares  linear-model  linear-algebra  notation 

ฉันต้องการที่จะเข้าใจว่าฉันจะได้รับเปอร์เซ็นต์ความแปรปรวนของชุดข้อมูลไม่ใช่ในพื้นที่พิกัดที่จัดทำโดย PCA แต่เทียบกับเวกเตอร์ (หมุน) ชุดที่แตกต่างกันเล็กน้อย set.seed(1234) xx <- rnorm(1000) yy <- xx * 0.5 + rnorm(1000, sd = 0.6) vecs <- cbind(xx, yy) plot(vecs, xlim = c(-4, 4), ylim = c(-4, 4)) vv <- eigen(cov(vecs))$vectors ee <- eigen(cov(vecs))$values a1 <- vv[, 1] a2 <- vv[, 2] theta = pi/10 rotmat …

10 r  variance  pca  linear-algebra 

ในหนังสือเรียนฉันกำลังอ่านว่าพวกเขาใช้ความแน่นอนเชิงบวก (กึ่งบวกแน่นอน) เพื่อเปรียบเทียบเมทริกซ์ความแปรปรวนร่วมสองตัว ความคิดที่ว่าถ้า- Bเป็น PD แล้วBมีขนาดเล็กกว่า แต่ฉันพยายามดิ้นรนเพื่อให้ได้สัญชาติญาณของความสัมพันธ์นี้?A - BA−BA-BBBBAAA มีเธรดที่คล้ายกันที่นี่: /math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices สัญชาตญาณในการใช้ความแตกต่างเพื่อเปรียบเทียบเมทริกซ์คืออะไร แม้ว่าคำตอบจะดี แต่พวกเขาไม่ได้พูดปรีชา นี่คือตัวอย่างที่ฉันรู้สึกสับสน: [ 1612129] - [ 1224][1612129]−[1224]\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation} ตอนนี้ที่นี่ดีเทอร์มีแนนต์ของความแตกต่างคือ -25 ดังนั้นความสัมพันธ์ไม่ได้เป็น pd หรือแม้กระทั่ง psd และเมทริกซ์แรกไม่มากกว่าครั้งแรก? ฉันแค่ต้องการเปรียบเทียบเมทริกซ์ความแปรปรวนร่วม 3 …

10 covariance-matrix  matrix  intuition  linear-algebra  geometry 

Supose AA\mathbf Aเป็นเมทริกซ์ของข้อมูลที่มีค่าเฉลี่ยกึ่งกลาง เมทริกซ์S =cov( A )S=cov(A)\mathbf S=\text{cov}(\mathbf A) คือ m × mm×mm\times mมี ม.mm ค่าลักษณะเฉพาะที่แตกต่างและค่าลักษณะเฉพาะ s1s1\mathbf s_1, s2s2\mathbf s_2 ... sม.sm\mathbf s_mซึ่งเป็นมุมฉาก ผมiiองค์ประกอบหลักที่ (บางคนเรียกพวกเขาว่า "คะแนน") เป็นเวกเตอร์ Zผม= Asผมzi=Asi\mathbf z_i = \mathbf A\mathbf s_i. มันคือการรวมกันเชิงเส้นของคอลัมน์ของAA\mathbf Aโดยที่ค่าสัมประสิทธิ์เป็นองค์ประกอบของ ผมii- ไอเกนวิคเตอร์ของ SS\mathbf S. ฉันไม่เข้าใจว่าทำไม Zผมzi\mathbf z_i และ ZJzj\mathbf z_j กลายเป็นไม่เกี่ยวข้องกับทุกคน ฉัน≠ ji≠ji\neq j. …

10 correlation  pca  linear-algebra 

นี่เป็นเพียงตัวอย่างที่ฉันเจอหลายครั้งดังนั้นฉันจึงไม่มีข้อมูลตัวอย่าง ใช้แบบจำลองการถดถอยเชิงเส้นใน R: a.lm = lm(Y ~ x1 + x2) x1เป็นตัวแปรต่อเนื่อง x2เป็นหมวดหมู่และมีสามค่าเช่น "ต่ำ", "ปานกลาง" และ "สูง" อย่างไรก็ตามเอาต์พุตที่กำหนดโดย R จะเป็นดังนี้: summary(a.lm) Estimate Std. Error t value Pr(>|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 ฉันเข้าใจว่า R แนะนำการเข้ารหัสแบบหลอกบางอย่างเกี่ยวกับปัจจัยดังกล่าว ( …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

มีความสัมพันธ์ทางคณิตศาสตร์ระหว่าง: ความคล้ายคลึงกันของโคไซน์ ของเวกเตอร์สองตัวและBและsim(A,B)sim⁡(A,B)\operatorname{sim}(A, B)AAABBB ความคล้ายคลึงกันของโคไซน์sim(MA,MB)sim⁡(MA,MB)\operatorname{sim}(MA, MB)ของAAAและBBB , การปรับขนาดที่ไม่สม่ำเสมอผ่านเมทริกซ์M ที่กำหนดMMM? นี่MMMคือเมทริกซ์ทแยงมุมที่กำหนดที่มีองค์ประกอบไม่เท่ากันบนเส้นทแยงมุม ฉันพยายามคำนวณมากกว่า แต่ไม่สามารถไปถึงลิงก์ที่น่าสนใจ / ง่าย (แสดงออก) ฉันสงสัยว่ามีหรือไม่ เช่นมุมที่ไม่ได้รับการเก็บรักษาไว้ในสเกลที่ไม่สม่ำเสมอ แต่ความสัมพันธ์ระหว่างมุมดั้งเดิมกับมุมมองหลังการปรับสเกลไม่เท่ากันคืออะไร อะไรที่สามารถพูดได้เกี่ยวกับการเชื่อมโยงระหว่างชุดของเวกเตอร์ S1 และชุดของเวกเตอร์ S2 อีกชุดหนึ่ง - ที่ซึ่ง S2 จะได้รับจากการปรับขนาด S1 ที่ไม่สม่ำเสมอ?

9 linear-algebra  cosine-similarity