คำถามติดแท็ก geometry

Canonical correlation analysis (CCA) เป็นเทคนิคที่เกี่ยวข้องกับการวิเคราะห์องค์ประกอบหลัก (PCA) ในขณะที่มันง่ายที่จะสอน PCA หรือการถดถอยเชิงเส้นโดยใช้พล็อตกระจาย (ดูตัวอย่างสองสามพันตัวอย่างจากการค้นหารูปภาพของ Google) ฉันไม่เคยเห็นตัวอย่างสองมิติที่ใช้งานง่ายของ CCA จะอธิบายได้อย่างไรว่า CCA เชิงเส้นทำอะไรได้บ้าง

70 regression  data-visualization  pca  canonical-correlation  geometry 

ตัวแปรตัวยับยั้งในการถดถอยหลายครั้งและอะไรคือวิธีที่จะแสดงผลการปราบปรามด้วยสายตา (กลไกหรือหลักฐานในผลลัพธ์) ฉันต้องการเชิญทุกคนที่มีความคิดมาแบ่งปัน

40 multiple-regression  data-visualization  geometry  suppressor 

นี่คือข้อความจากหนังสือ "การจดจำรูปแบบและการเรียนรู้ของเครื่อง" ของบิชอปส่วนที่ 12.2.4 "การวิเคราะห์ปัจจัย": ตามที่เป็นส่วนหนึ่งที่เน้นการวิเคราะห์ปัจจัยที่จับความแปรปรวนระหว่างตัวแปรในเมทริกซ์WWW Wฉันสงสัยวิธี ? นี่คือวิธีที่ฉันเข้าใจ สมมติว่าเป็นตัวแปรมิติที่สังเกตได้คือเมทริกซ์การโหลดปัจจัยและคือเวกเตอร์คะแนนปัจจัย จากนั้นเรามีนั่นคือ และแต่ละคอลัมน์ในเป็นตัวประกอบการโหลดเวกเตอร์ ที่นี่ฉันเขียนมีxxxพีppWWWZzzx = μ + WZ+ ϵ ,x=μ+Wz+ϵ,x=\mu+Wz+\epsilon,⎛⎝⎜⎜x1⋮xพี⎞⎠⎟⎟= ⎛⎝⎜⎜μ1⋮μพี⎞⎠⎟⎟+ ⎛⎝⎜|W1|...|Wม.|⎞⎠⎟⎛⎝⎜⎜Z1⋮Zม.⎞⎠⎟⎟+ ϵ ,(x1⋮xp)=(μ1⋮μp)+(||w1…wm||)(z1⋮zm)+ϵ,\begin{align*} \begin{pmatrix} x_1\\ \vdots\\ x_p \end{pmatrix} = \begin{pmatrix} \mu_1\\ \vdots\\ \mu_p \end{pmatrix} + \begin{pmatrix} \vert & & \vert\\ w_1 & \ldots & w_m\\ \vert & & \vert \end{pmatrix} …

37 pca  factor-analysis  geometry 

ฉันรู้ว่าการถดถอยเชิงเส้นสามารถคิดได้ว่า"เส้นที่ใกล้เคียงที่สุดในทุกจุด" : แต่มีวิธีอื่นในการดูโดยการแสดงพื้นที่คอลัมน์ในขณะที่"การฉายภาพลงบนพื้นที่ที่ทอดโดยคอลัมน์ของเมทริกซ์สัมประสิทธิ์" : คำถามของฉันคือในทั้งสองการตีความสิ่งที่เกิดขึ้นเมื่อเราใช้การถดถอยเชิงเส้นลงโทษเช่นการถดถอยสันเขาและ เชือก ? เกิดอะไรขึ้นกับบรรทัดในการตีความครั้งแรก และจะเกิดอะไรขึ้นกับการประมาณการในการตีความครั้งที่สอง? UPDATE: @JohnSmith แสดงความคิดเห็นว่ามีการลงโทษเกิดขึ้นในพื้นที่ของสัมประสิทธิ์ มีการตีความในพื้นที่นี้ด้วยหรือไม่

26 regression  intuition  geometry 

ฉันสนใจในความหมายทางเรขาคณิตของค่าสหสัมพันธ์และสัมประสิทธิ์การตัดสินใจในการถดถอยหรือในสัญกรณ์เวกเตอร์RRRR2R2R^2yi=β1+β2x2,i+⋯+βkxk,i+ϵiyi=β1+β2x2,i+⋯+βkxk,i+ϵiy_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i y=Xβ+ϵy=Xβ+ϵ\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon} นี่คือการออกแบบเมทริกซ์มีแถวและคอลัมน์ที่แรกคือ , เวกเตอร์ของ 1s ที่สอดคล้องกับการตัด\XX\mathbf{X}nnnkkkx1=1nx1=1n\mathbf{x}_1 = \mathbf{1}_nβ1β1\beta_1 รูปทรงเรขาคณิตน่าสนใจยิ่งขึ้นในพื้นที่หัวเรื่อง -dimensional มากกว่าในพื้นที่ตัวแปร -dimensional กำหนดเมทริกซ์หมวก:nnnkkk H=X(X⊤X)−1X⊤H=X(X⊤X)−1X⊤\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top นี่คือการฉายฉากบนพื้นที่คอลัมน์ของคือแบน ผ่านกำเนิดทอดโดยเวกเตอร์เป็นตัวแทนของแต่ละตัวแปรคนแรกซึ่งเป็น\จากนั้นโครงการเวกเตอร์ของการตอบสนองที่สังเกตบน "เงา" ของมันบนพื้นราบเวกเตอร์ของค่าติดตั้งและถ้าเรา มองไปตามเส้นทางของเส้นโครงที่เราเห็นเวกเตอร์ของเศษเหลือสร้างด้านที่สามของรูปสามเหลี่ยม สิ่งนี้น่าจะให้ทางเราสองทางในการตีความทางเรขาคณิตของXX\mathbf{X}xฉัน1 n H Y Y = H …

24 regression  correlation  multiple-regression  r-squared  geometry 

ฉันพยายามที่จะได้รับความเข้าใจที่ง่ายของการวิเคราะห์องค์ประกอบวิธีการหลัก (PCA) ทำงานในเรื่อง (คู่) พื้นที่ พิจารณาชุดข้อมูล 2D ที่มีตัวแปรสองตัวคือและและจุดข้อมูล (เมทริกซ์ข้อมูลคือคูณและถือว่าอยู่กึ่งกลาง) การนำเสนอตามปกติของ PCA คือเราพิจารณาคะแนนในเขียนเมทริกซ์ความแปรปรวนร่วมและหาค่าลักษณะเฉพาะของมัน สอดคล้องเครื่องแรกกับทิศทางของความแปรปรวนสูงสุด ฯลฯ นี่คือตัวอย่างที่มีความแปรปรวนเดอะเมทริกซ์ขวา) เส้นสีแดงแสดงค่าไอเกนผู้ประเมินโดยสแควร์รูทของค่าลักษณะเฉพาะนั้น ๆx 2 n X n × 2 n R 2 2 × 2 C = ( 4 2 2 2 )x1x1x_1x2x2x_2nnnXX\mathbf Xn×2n×2n\times 2nnnR2R2\mathbb R^22×22×22\times 2C=(4222)C=(4222)\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right) \hskip 1in ตอนนี้ให้พิจารณาสิ่งที่เกิดขึ้นในพื้นที่หัวเรื่อง (ฉันเรียนรู้คำศัพท์นี้จาก @ttnphns) หรือที่เรียกว่าช่องว่างคู่ …

19 pca  linear-algebra  intuition  geometry 

สำหรับรูปแบบเชิงเส้นเราสามารถมีการตีความทางเรขาคณิตที่ดีของรุ่นประมาณผ่าน OLS:{E} คือการฉายภาพของ y ลงบนพื้นที่ที่ถูกทอดโดย x และส่วนที่เหลือตั้งฉากกับพื้นที่นี้ซึ่งถูกขยายโดย xY = x β + E Y อีY= x β+ ey=xβ+ey=x\beta+eY^= x β^+ e^y^=xβ^+e^\hat{y}=x\hat{\beta}+\hat{e}Y^y^\hat{y}อี^e^\hat{e} ตอนนี้คำถามของฉันคือ: มีการตีความทางเรขาคณิตของโมเดลเชิงเส้นทั่วไป (การถดถอยโลจิสติก, การเป็นพิษ, การอยู่รอด) หรือไม่ ฉันอยากรู้มากเกี่ยวกับวิธีการตีความรูปแบบการถดถอยโลจิสติกส์ไบนารีโดยประมาณเรขาคณิตในลักษณะเดียวกันกับแบบจำลองเชิงเส้น มันยังไม่ได้มีข้อผิดพลาด พี^= logistic ( x β^)p^=logistic(xβ^)\hat{p} = \textrm{logistic}(x\hat{\beta}) ฉันพบหนึ่งพูดคุยเกี่ยวกับการตีความทางเรขาคณิตสำหรับโมเดลเชิงเส้นทั่วไป http://statweb.stanford.edu/~lpekelis/talks/13_obs_studies.html#(7) น่าเสียดายที่ตัวเลขไม่พร้อมใช้งานและค่อนข้างยากที่จะถ่ายภาพ ความช่วยเหลือการอ้างอิงและข้อเสนอแนะใด ๆ จะได้รับการชื่นชมอย่างมาก !!!

13 regression  model  geometry 

Kurtosis คือการวัดความแหลมและความเรียบของการแจกแจง ฟังก์ชันความหนาแน่นของการแจกแจงหากมีอยู่สามารถดูเป็นเส้นโค้งและมีคุณสมบัติทางเรขาคณิต (เช่นความโค้งความนูน, ... ) ที่เกี่ยวข้องกับรูปร่างของมัน ดังนั้นฉันจึงสงสัยว่า kurtosis ของการแจกแจงนั้นเกี่ยวข้องกับคุณสมบัติทางเรขาคณิตของฟังก์ชันความหนาแน่นซึ่งสามารถอธิบายความหมายทางเรขาคณิตของ kurtosis ได้หรือไม่?

12 kurtosis  geometry 

ฉันกำลังอ่านหนังสือปัญหาการระบุตัวตนในเศรษฐมิติโดยแฟรงคลินเอ็มฟิชเชอร์และสับสนโดยส่วนที่เขาแสดงให้เห็นถึงตัวตนโดยแสดงให้เห็นถึงฟังก์ชั่นความน่าจะเป็น ปัญหาสามารถทำให้ง่ายขึ้นเป็น: สำหรับการถดถอยที่U ~ ฉัน ผม d N ( 0 , σ 2 I ) , aและbเป็นพารามิเตอร์ สมมติว่าYมีสัมประสิทธิ์คซึ่งเท่ากับเอกภาพ จากนั้นฟังก์ชันความน่าจะเป็นในพื้นที่ของc , a , b จะมีสันตามแนวรังสีที่สอดคล้องกับเวกเตอร์ของพารามิเตอร์ที่แท้จริงและสเกลาร์คูณของมันY= a + Xb + uY=a+Xข+ยูY=a+Xb+uU ~ ฉัน ผม d. ยังไม่มีข้อความ( 0 , σ2ผม)ยู~ผม.ผม.d.ยังไม่มีข้อความ(0,σ2ผม)u \sim i.i.d. N(0,\sigma^2I)aaaขขbYYYคคcc , a , bค,a,ขc, a,b. เมื่อพิจารณาเฉพาะสถานที่ที่กำหนดโดยฟังก์ชันความน่าจะเป็นจะมีค่าสูงสุดเฉพาะ ณ จุดที่รังสีตัดผ่านระนาบนั้นc = 1ค=1c=1 …

11 mathematical-statistics  maximum-likelihood  geometry 

คำถามนี้เกี่ยวข้องกับกระดาษDifferential Geometry ของข้อมูลเชิงเส้นครอบครัวแบบโค้งและการสูญเสียข้อมูลโดย Amari ข้อความจะเป็นดังนี้ ให้เป็น -dimensional ของการแจกแจงความน่าจะเป็นด้วยระบบพิกัดโดยที่จะถือว่า ...Sn={pθ}Sn={pθ}S^n=\{p_{\theta}\}nnnθ=(θ1,…,θn)θ=(θ1,…,θn)\theta=(\theta_1,\dots,\theta_n)pθ(x)>0pθ(x)>0p_{\theta}(x)>0 เราอาจพิจารณาทุกจุดของว่าถือ functionของ ...θθ\thetaSnSnS^nlogpθ(x)log⁡pθ(x)\log p_{\theta}(x)xxx ให้เป็นพื้นที่ที่แทนเจนต์ของที่ซึ่งเป็นพูดประมาณระบุกับรุ่นเชิงเส้นของย่านเล็ก ๆ ของใน n ให้เป็นพื้นฐานตามธรรมชาติของเกี่ยวข้องกับระบบการประสานงาน ...TθTθT_{\theta}SnSnS^nθθ\thetaθθ\thetaSnSnS^nei(θ),i=1,…,nei(θ),i=1,…,ne_i(\theta), i=1,\dots,nTθTθT_{\theta} เนื่องจากแต่ละจุดของมีฟังก์ชั่นของมันเป็นเรื่องธรรมดาที่จะถือว่าที่แทนฟังก์ชันθθ\thetaSnSnS^nlogpθ(x)log⁡pθ(x)\log p_{\theta}(x)xxxei(θ)ei(θ)e_i(\theta)θθ\thetaei(θ)=∂∂θilogpθ(x).ei(θ)=∂∂θilog⁡pθ(x).e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x). ฉันไม่เข้าใจคำสั่งสุดท้าย ปรากฏในส่วนที่ 2 ของกระดาษที่กล่าวถึงข้างต้น พื้นฐานของพื้นที่แทนเจนต์เป็นอย่างไรโดยสมการข้างบน? มันจะมีประโยชน์ถ้าใครบางคนในชุมชนนี้คุ้นเคยกับเนื้อหาประเภทนี้สามารถช่วยฉันเข้าใจสิ่งนี้ ขอบคุณ อัปเดต 1: แม้ว่าฉันจะเห็นด้วยว่า (จาก @aginensky) ถ้าเป็นเชิงเส้นอย่างอิสระแล้วมีความเป็นอิสระในเชิงเส้นเช่นกันสมาชิกเหล่านี้ของพื้นที่แทนเจนต์ในตอนแรกยังไม่ชัดเจน ดังนั้นวิธีที่จะถูกพิจารณาเป็นพื้นฐานสำหรับพื้นที่แทนเจนต์ ความช่วยเหลือใด ๆ ที่ชื่นชม∂∂θipθ∂∂θipθ\frac{\partial}{\partial\theta_i}p_{\theta}∂∂θilogpθ∂∂θilog⁡pθ\frac{\partial}{\partial\theta_i}\log p_{\theta}∂∂θilogpθ∂∂θilog⁡pθ\frac{\partial}{\partial\theta_i}\log p_{\theta} อัปเดต 2: @aginensky: ในหนังสือของเขา Amari พูดต่อไปนี้: ให้เราพิจารณากรณีที่ชุดของความน่าจะเป็นบวกทั้งหมด (อย่างเคร่งครัด) …

10 mathematical-statistics  statistical-learning  geometry  information-geometry 

ในหนังสือเรียนฉันกำลังอ่านว่าพวกเขาใช้ความแน่นอนเชิงบวก (กึ่งบวกแน่นอน) เพื่อเปรียบเทียบเมทริกซ์ความแปรปรวนร่วมสองตัว ความคิดที่ว่าถ้า- Bเป็น PD แล้วBมีขนาดเล็กกว่า แต่ฉันพยายามดิ้นรนเพื่อให้ได้สัญชาติญาณของความสัมพันธ์นี้?A - BA−BA-BBBBAAA มีเธรดที่คล้ายกันที่นี่: /math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices สัญชาตญาณในการใช้ความแตกต่างเพื่อเปรียบเทียบเมทริกซ์คืออะไร แม้ว่าคำตอบจะดี แต่พวกเขาไม่ได้พูดปรีชา นี่คือตัวอย่างที่ฉันรู้สึกสับสน: [ 1612129] - [ 1224][1612129]−[1224]\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation} ตอนนี้ที่นี่ดีเทอร์มีแนนต์ของความแตกต่างคือ -25 ดังนั้นความสัมพันธ์ไม่ได้เป็น pd หรือแม้กระทั่ง psd และเมทริกซ์แรกไม่มากกว่าครั้งแรก? ฉันแค่ต้องการเปรียบเทียบเมทริกซ์ความแปรปรวนร่วม 3 …

10 covariance-matrix  matrix  intuition  linear-algebra  geometry 

สมมติว่าเรามี data matrixซึ่งก็คือ -by-และ label vectorซึ่งก็คือ -by-one ที่นี่แต่ละแถวของเมทริกซ์คือการสังเกตและแต่ละคอลัมน์สอดคล้องกับมิติ / ตัวแปร (สมมติ )XX\mathbf{X}nnnpppYYYnnnn>pn>pn>p แล้วสิ่งที่ไม่data space, variable space, observation space, model spaceหมายความว่าอย่างไร พื้นที่ที่ถูกขยายโดยเวกเตอร์คอลัมน์, ช่องว่าง(ลดลง) -D เนื่องจากมันมีพิกัดในขณะที่อยู่ในอันดับซึ่งเรียกว่าพื้นที่ว่างเนื่องจากมันถูกขยายโดยตัวแปร-เวกเตอร์? หรือเรียกว่าพื้นที่สังเกตการณ์เนื่องจากแต่ละมิติ / พิกัดสอดคล้องกับการสังเกต?nnnnnnppp แล้วเวกเตอร์แถวที่ถูกขยายออกมาล่ะ?

9 regression  multiple-regression  terminology  geometry  biplot 

จากมุมมองทางคณิตศาสตร์ทฤษฎีบท Bayes 'ทำให้รู้สึกที่สมบูรณ์แบบสำหรับฉัน (เช่นการสืบและการพิสูจน์) แต่สิ่งที่ฉันไม่ทราบว่ามีหรือไม่มีอาร์กิวเมนต์ทางเรขาคณิตหรือกราฟิกที่ดีที่สามารถแสดงเพื่ออธิบายทฤษฎีบทของ Bayes ฉันลอง Googling ไปรอบ ๆ เพื่อหาคำตอบและก็แปลกใจที่ฉันไม่พบอะไรเลย

9 bayesian  bayes  geometry