คำถามติดแท็ก linear-algebra

ฉันได้สังเกตเห็นเมื่อเร็ว ๆ นี้ว่าผู้คนจำนวนมากกำลังพัฒนาเทนเซอร์เทียบเท่าวิธีการหลายอย่าง (การแยกตัวประกอบเทนเซอร์, เมล็ดเทนเซอร์, เทนเซอร์สำหรับการสร้างแบบจำลองหัวข้อ ฯลฯ ) ฉันสงสัยว่าทำไมโลกถึงหลงใหลเทนเซอร์ มีเอกสาร / ผลมาตรฐานล่าสุดที่น่าประหลาดใจเป็นพิเศษหรือไม่ มันคำนวณได้ถูกกว่าที่คาดไว้มากก่อนหน้านี้ไหม? ฉันไม่ได้เป็นคนที่มีเสน่ห์ฉันมีความสนใจอย่างจริงใจและหากมีคำแนะนำใด ๆ เกี่ยวกับเรื่องนี้ฉันก็อยากอ่าน

171 machine-learning  references  matrix  linear-algebra  tensor 

ฉันทำงานใน R มาแล้วและต้องเผชิญกับสิ่งต่าง ๆ เช่น PCA, SVD, การย่อยสลาย QR และผลลัพธ์พีชคณิตเชิงเส้นจำนวนมากเช่นนี้ (เมื่อตรวจสอบการประเมินการถ่วงน้ำหนักและอื่น ๆ ) ดังนั้นฉันอยากรู้ว่าใครมีคำแนะนำที่ดี หนังสือพีชคณิตเชิงเส้นที่มีเนื้อหาครอบคลุมซึ่งไม่เชิงทฤษฎี แต่มีความเข้มงวดทางด้านคณิตศาสตร์และครอบคลุมหัวข้อเหล่านี้ทั้งหมด

54 references  matrix  linear-algebra  weighted-regression 

ฉันได้อ่านมากเกี่ยวกับ PCA รวมทั้งบทเรียนต่างๆและคำถาม (เช่นนี้ , คนนี้ , คนนี้และคนนี้ ) ปัญหาทางเรขาคณิตที่ PCA พยายามปรับให้เหมาะสมนั้นชัดเจนสำหรับฉัน: PCA พยายามค้นหาส่วนประกอบหลักแรกด้วยการลดข้อผิดพลาดการสร้างใหม่ (การฉายภาพ) ซึ่งลดความแปรปรวนของข้อมูลที่คาดการณ์ไว้พร้อมกัน เมื่อฉันอ่านครั้งแรกฉันก็นึกถึงบางสิ่งอย่างเช่นการถดถอยเชิงเส้น บางทีคุณสามารถแก้มันโดยใช้การไล่ระดับสีถ้าจำเป็น อย่างไรก็ตามแล้วใจของฉันก็ปลิวไปเมื่อฉันอ่านว่าปัญหาการหาค่าเหมาะที่สุดนั้นได้รับการแก้ไขโดยใช้พีชคณิตเชิงเส้นและหาค่าลักษณะเฉพาะและค่าลักษณะเฉพาะ ฉันไม่เข้าใจว่าการใช้พีชคณิตเชิงเส้นนี้เข้ามาในการเล่นได้อย่างไร ดังนั้นคำถามของฉันคือ PCA สามารถเปลี่ยนจากปัญหาการหาค่าเหมาะที่สุดเชิงเรขาคณิตเป็นปัญหาพีชคณิตเชิงเส้นได้อย่างไร ใครสามารถให้คำอธิบายง่ายๆ ฉันไม่ได้มองหาคำตอบเช่นนี้ที่กล่าวว่า "เมื่อคุณแก้ปัญหาทางคณิตศาสตร์ของ PCA มันจะเทียบเท่ากับการหาค่าลักษณะเฉพาะและ eigenvectors ของเมทริกซ์ความแปรปรวนร่วม" โปรดอธิบายว่าเหตุใด eigenvector จึงกลายเป็นองค์ประกอบหลักและทำไมค่าลักษณะเฉพาะออกมาเป็นความแปรปรวนของข้อมูลที่ฉายลงบนพวกเขา ฉันเป็นวิศวกรซอฟต์แวร์ไม่ใช่นักคณิตศาสตร์เลย หมายเหตุ: รูปด้านบนนี้ถูกถ่ายและแก้ไขจากบทช่วยสอน PCAนี้

54 pca  optimization  linear-algebra  intuition 

ฉันได้อ่านเกี่ยวกับการสลายตัวของค่าเอกพจน์ (SVD) แล้ว ในหนังสือเกือบทุกเล่มมีการกล่าวถึงว่ามันทำให้เมทริกซ์แยกตัวเป็นเมทริกซ์สามตัวพร้อมการกำหนด แต่ปรีชาที่อยู่เบื้องหลังการแยกเมทริกซ์ในรูปแบบดังกล่าวคืออะไร? PCA และอัลกอริธึมอื่น ๆ สำหรับการลดขนาดนั้นใช้งานง่ายในแง่ที่ว่าอัลกอริทึมมีคุณสมบัติการสร้างภาพที่ดี แต่ด้วย SVD ไม่ใช่กรณี

50 matrix  linear-algebra  svd  intuition 

ฉันเดาว่าคำตอบควรเป็นใช่ แต่ฉันยังรู้สึกว่าบางสิ่งไม่ถูกต้อง ควรมีผลลัพธ์ทั่วไปในวรรณคดีมีใครช่วยฉันบ้าง

48 covariance  matrix  covariance-matrix  linear-algebra 

ผมได้ยินมาว่าบางส่วนความสัมพันธ์ระหว่างตัวแปรสุ่มสามารถพบได้โดย inverting เมทริกซ์ความแปรปรวนและการเซลล์ที่เหมาะสมจากที่เกิดเช่นความแม่นยำเมทริกซ์ (ความเป็นจริงนี้ถูกกล่าวถึงในhttp://en.wikipedia.org/wiki/Partial_correlationแต่ไม่มีหลักฐาน) . เหตุใดจึงเป็นเช่นนี้

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

สมมติว่าฉันมีการแจกแจงแบบเกาส์มิติหลายมิติ และฉันใช้เวลาสังเกต (แต่ละของพวกเขาเวกเตอร์) จากการจำหน่ายนี้และคำนวณตัวอย่างแปรปรวนเมทริกซ์Sในบทความนี้ผู้เขียนระบุว่าเมทริกซ์ความแปรปรวนร่วมตัวอย่างที่คำนวณด้วยนั้นเป็นเอกพจน์n p S p > npppnnnpppSSSp>np>np > n มันจริงหรือเป็นอย่างไร คำอธิบายใด ๆ

30 covariance-matrix  linear-algebra 

ฉันกำลังศึกษา PCA จากหลักสูตร Coursera ของ Andrew Ng และสื่ออื่น ๆ ในการมอบหมายครั้งแรกของ Stanford NLP แน่นอน cs224n และในวิดีโอการบรรยายจาก Andrew Ngพวกเขาทำการสลายตัวของค่าเอกพจน์แทนการสลายตัว eigenvector ของเมทริกซ์ความแปรปรวนร่วมและ Ng บอกว่า SVD มีความเสถียรเชิงตัวเลขมากกว่า eigendecomposition จากความเข้าใจของฉันสำหรับ PCA เราควรทำ SVD ของเมทริกซ์ข้อมูล(m,n)ขนาดไม่ใช่เมทริกซ์ความแปรปรวนร่วมของ(n,n)ขนาด และการสลายตัวของไอเก็นเวกเตอร์ของเมทริกซ์ความแปรปรวนร่วม ทำไมพวกเขาถึงทำ SVD ของเมทริกซ์ความแปรปรวนร่วมไม่ใช่เมทริกซ์ข้อมูล?

29 pca  linear-algebra  svd  eigenvalues  numerics 

ถ้าxx\mathbf{x}และyy\mathbf{y}สองเป็นอิสระเวกเตอร์หน่วยสุ่มRDRD\mathbb{R}^D (การกระจายอย่างสม่ำเสมอในหน่วยทรงกลม) อะไรคือการกระจายตัวของผลคูณของพวกเขา (ผลิตภัณฑ์ dot) x⋅yx⋅y\mathbf x \cdot \mathbf y ? ฉันเดาว่าDDDจะเพิ่มการกระจายอย่างรวดเร็ว (?) กลายเป็นปกติโดยมีค่าเฉลี่ยเป็นศูนย์และความแปรปรวนลดลงในส่วนของสูงขึ้นlimD→∞σ2(D)→0,limD→∞σ2(D)→0,\lim_{D\to\infty}\sigma^2(D) \to 0,แต่มีสูตรที่ชัดเจนสำหรับσ2(D)σ2(D)\sigma^2(D)หรือไม่ ปรับปรุง ฉันวิ่งไปตามสถานการณ์จำลอง ประการแรกการสร้าง 10000 คู่ของเวกเตอร์หน่วยสุ่มสำหรับD=1000D=1000D=1000มันเป็นเรื่องง่ายที่จะเห็นว่าการกระจายตัวของผลคูณจุดของพวกเขาเป็นอย่างดีเสียน (ในความเป็นจริงมันค่อนข้างเสียนแล้วสำหรับD=100D=100D=100 ) ดูแผนทางด้านซ้าย ที่สองสำหรับแต่ละDDDตั้งแต่ 1 ถึง 10,000 (ด้วยขั้นตอนเพิ่มขึ้น) ฉันสร้าง 1,000 คู่และคำนวณความแปรปรวน พล็อตเข้าสู่ระบบเข้าสู่ระบบจะปรากฏบนด้านขวาและเป็นที่ชัดเจนว่าสูตรเป็นห้วงเป็นอย่างดีโดย1/D1/D1/D D โปรดทราบว่าสำหรับD=1D=1D=1และD=2D=2D=2สูตรนี้ยังให้ผลลัพธ์ที่แน่นอน (แต่ฉันไม่แน่ใจว่าจะเกิดอะไรขึ้นในภายหลัง)

27 mathematical-statistics  linear-algebra  beta-distribution 

ฉันสังเกตพฤติกรรมที่แปลกประหลาดมากในผลลัพธ์ SVD ของข้อมูลแบบสุ่มซึ่งฉันสามารถทำซ้ำได้ทั้งใน Matlab และ R ดูเหมือนว่าปัญหาตัวเลขในห้องสมุด LAPACK ใช่ไหม? ผมวาดn=1000n=1000n=1000ตัวอย่างจากk=2k=2k=2มิติแบบเกาส์กับศูนย์เฉลี่ยและเอกลักษณ์ของความแปรปรวน: X∼N(0,I)X∼N(0,I)X\sim \mathcal N (0, \mathbf I) ) ฉันรวบรวมพวกเขาใน1000×21000×21000 \times 2 Data Matrix XXX\mathbf X(ฉันสามารถเลือกศูนย์XX\mathbf Xหรือไม่ก็ไม่ได้มีผลต่อการต่อไป.) แล้วฉันจะดำเนินการสลายตัวมูลค่าเอกพจน์ (SVD) เพื่อให้ได้X=USV⊤X=USV⊤\mathbf X=\mathbf{USV}^\top ⊤ ลองหาองค์ประกอบสองอย่างของUU\mathbf Uเช่นU11U11U_{11}และและขอให้สิ่งที่เป็นความสัมพันธ์ระหว่างพวกเขาข้ามที่แตกต่างกันดึงของX ผมจะคาดหวังว่าถ้าจำนวน N R อีพีของดึงมีขนาดใหญ่พอสมควรแล้วทั้งหมดความสัมพันธ์ดังกล่าวควรจะเป็นรอบศูนย์ (เช่นความสัมพันธ์ของประชากรควรจะเป็นศูนย์และความสัมพันธ์ของกลุ่มตัวอย่างจะมีขนาดเล็ก)U22U22U_{22}XX\mathbf XNrepNrepN_\mathrm{rep} แต่ผมสังเกตเห็นบางความสัมพันธ์ที่แข็งแกร่งวิจิตรพิสดาร (ประมาณ ) ระหว่างU 11 , U 12 , U 21และU 22และเฉพาะระหว่างองค์ประกอบเหล่านี้ …

21 pca  svd  linear-algebra  numerics 

ฉันรู้ว่าคำจำกัดความของเมทริกซ์ definite positive (SPD) positive symmetric แต่ต้องการเข้าใจมากกว่านี้ ทำไมพวกเขาถึงมีความสำคัญอย่างสังหรณ์ใจ? นี่คือสิ่งที่ฉันรู้ มีอะไรอีกบ้าง? สำหรับข้อมูลที่กำหนดเมทริกซ์ความแปรปรวนร่วมคือ SPD เมทริกซ์ความแปรปรวนร่วมเป็นตัวชี้วัดที่สำคัญให้ดูโพสต์ที่ยอดเยี่ยมนี้สำหรับคำอธิบายที่เข้าใจง่าย รูปแบบสมการกำลังสองนูนออกหากคือ SPD Convexity เป็นคุณสมบัติที่ดีสำหรับฟังก์ชั่นที่สามารถตรวจสอบให้แน่ใจว่าโซลูชันในพื้นที่นั้นเป็นโซลูชันระดับโลก สำหรับปัญหานูนมีวิธีการแก้ปัญหาที่ดีมากมาย แต่ไม่ใช่สำหรับปัญหาที่ไม่ใช่ covex12x⊤Ax−b⊤x+c12x⊤Ax−b⊤x+c\frac 1 2 x^\top Ax-b^\top x +cAAA เมื่อคือ SPD โซลูชันเพิ่มประสิทธิภาพสำหรับรูปแบบสมการกำลังสองและโซลูชันสำหรับระบบเชิงเส้นเหมือนกัน ดังนั้นเราจึงสามารถทำการแปลงระหว่างสองปัญหาคลาสสิค สิ่งนี้มีความสำคัญเพราะช่วยให้เราสามารถใช้เทคนิคที่ค้นพบในโดเมนหนึ่งในอีกโดเมนหนึ่ง ตัวอย่างเช่นเราสามารถใช้วิธีการไล่ระดับสีแบบคอนจูเกตเพื่อแก้ปัญหาระบบเชิงเส้นAAAminimize 12x⊤Ax−b⊤x+cminimize 12x⊤Ax−b⊤x+c\text{minimize}~~~ \frac 1 2 x^\top Ax-b^\top x +cAx=bAx=bAx=b มีอัลกอริธึมที่ดีมากมาย (เร็วและเสถียรเป็นตัวเลข) ที่ทำงานได้ดีกว่าสำหรับเมทริกซ์ SPD เช่นการสลายตัวของ Cholesky แก้ไข: ฉันไม่ได้พยายามถามตัวตนของเมทริกซ์ SPD …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

ฉันพยายามที่จะได้รับความเข้าใจที่ง่ายของการวิเคราะห์องค์ประกอบวิธีการหลัก (PCA) ทำงานในเรื่อง (คู่) พื้นที่ พิจารณาชุดข้อมูล 2D ที่มีตัวแปรสองตัวคือและและจุดข้อมูล (เมทริกซ์ข้อมูลคือคูณและถือว่าอยู่กึ่งกลาง) การนำเสนอตามปกติของ PCA คือเราพิจารณาคะแนนในเขียนเมทริกซ์ความแปรปรวนร่วมและหาค่าลักษณะเฉพาะของมัน สอดคล้องเครื่องแรกกับทิศทางของความแปรปรวนสูงสุด ฯลฯ นี่คือตัวอย่างที่มีความแปรปรวนเดอะเมทริกซ์ขวา) เส้นสีแดงแสดงค่าไอเกนผู้ประเมินโดยสแควร์รูทของค่าลักษณะเฉพาะนั้น ๆx 2 n X n × 2 n R 2 2 × 2 C = ( 4 2 2 2 )x1x1x_1x2x2x_2nnnXX\mathbf Xn×2n×2n\times 2nnnR2R2\mathbb R^22×22×22\times 2C=(4222)C=(4222)\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right) \hskip 1in ตอนนี้ให้พิจารณาสิ่งที่เกิดขึ้นในพื้นที่หัวเรื่อง (ฉันเรียนรู้คำศัพท์นี้จาก @ttnphns) หรือที่เรียกว่าช่องว่างคู่ …

19 pca  linear-algebra  intuition  geometry 

ให้ n เมทริกซ์ข้อมูลฟิชเชอร์ถูกกำหนดเป็น:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] ฉันจะพิสูจน์ฟิชเชอร์ข้อมูลเมทริกซ์เป็น semidefinite เชิงบวกได้อย่างไร

19 inference  linear-algebra  fisher-information 

ฉันต้องการแปลงข้อมูลของฉันXX\mathbf Xเพื่อให้ความแปรปรวนเป็นหนึ่งและความแปรปรวนร่วมจะเป็นศูนย์ (เช่นฉันต้องการทำให้ข้อมูลขาวขึ้น) นอกจากนี้ค่าเฉลี่ยควรเป็นศูนย์ ฉันรู้ว่าฉันจะไปถึงที่นั่นด้วยการทำมาตรฐาน Z และการแปลง PCA แต่ฉันควรทำตามลำดับใด ฉันควรเพิ่มว่าประกอบด้วยการเปลี่ยนแปลงไวท์เทนนิ่งควรจะมีรูปแบบ{ข}x↦Wx+bx↦Wx+b\mathbf{x} \mapsto W\mathbf{x} + \mathbf{b} มีวิธีการคล้ายกับ PCA ซึ่งทำการเปลี่ยนแปลงทั้งสองอย่างนี้และให้สูตรของแบบฟอร์มด้านบนหรือไม่

18 pca  linear-algebra 

นี่เป็นคำถามง่าย ๆ แต่ฉันไม่สามารถหาที่มาที่ใดก็ได้บนอินเทอร์เน็ตหรือในหนังสือ ฉันต้องการที่จะเห็นการกำเนิดของวิธีการแบบเบย์หนึ่งปรับปรุงการกระจายปกติหลายตัวแปร ตัวอย่างเช่นลองจินตนาการว่า P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, {\bf \Sigma_0})\,. \end{array} หลังจากการเฝ้าสังเกตชุดของ , ผมอยากจะคำนวณx_n}) ฉันรู้ว่าคำตอบคือ\ mathbb {P} ({\ bf \ mu | x_1 ... x_n}) = N ({\ bf \ mu_n}, {\ bf …

18 bayesian  normal-distribution  matrix  posterior  linear-algebra