สัญชาตญาณกราฟิกของสถิติในนานา

ในโพสต์นี้คุณสามารถอ่านคำสั่ง:

แบบจำลองมักจะถูกแทนที่ด้วยจุดบนมิติที่ จำกัด$\theta$

ในเรขาคณิตเชิงอนุพันธ์และสถิติโดย Michael K Murray และ John W Riceแนวคิดเหล่านี้อธิบายได้ในร้อยแก้วที่อ่านได้แม้จะไม่สนใจนิพจน์ทางคณิตศาสตร์ น่าเสียดายที่มีภาพประกอบไม่มาก กันไปสำหรับโพสต์นี้ใน MathOverflow

ฉันต้องการขอความช่วยเหลือด้วยการนำเสนอด้วยภาพเพื่อใช้เป็นแผนที่หรือแรงจูงใจในการทำความเข้าใจหัวข้อที่เป็นทางการมากขึ้น

อะไรคือจุดที่หลากหลาย อ้างจากการค้นหาออนไลน์นี้ดูเหมือนจะบ่งบอกว่ามันอาจเป็นจุดข้อมูลหรือพารามิเตอร์การกระจาย:

สถิติเกี่ยวกับแมนิโฟลด์และเรขาคณิตข้อมูลเป็นสองวิธีที่แตกต่างกันซึ่งเรขาคณิตเชิงอนุพันธ์ตรงกับสถิติ ในขณะที่ในสถิติเกี่ยวกับแมนิโฟลด์มันเป็นข้อมูลที่วางอยู่บนท่อร่วมในเรขาคณิตข้อมูลข้อมูลอยู่ในแต่พารามิเตอร์ของฟังก์ชันความหนาแน่นของความน่าจะเป็นแบบพารามิเตอร์ที่น่าสนใจจะได้รับการปฏิบัติเหมือนนานา manifolds ดังกล่าวเรียกว่า manifolds ทางสถิติ$R^n$

---

ฉันวาดไดอะแกรมนี้โดยได้แรงบันดาลใจจากคำอธิบายของพื้นที่แทนเจนต์ที่นี่ :

[ แก้ไขเพื่อแสดงความคิดเห็นด้านล่างเกี่ยวกับ :$C^\infty$ ] บนนานาพื้นที่แทนเจนต์คือเซตของอนุพันธ์ที่เป็นไปได้ทั้งหมด ("ความเร็ว") ที่จุดเกี่ยวข้องกับ ทุกโค้งที่เป็นไปได้บนท่อร่วมไอวิ่งผ่าน นี่จะเห็นได้ว่าเป็นชุดของแผนที่จากทุกโค้งผ่านคือกำหนดเป็นองค์ประกอบ , ด้วยแสดงถึงเส้นโค้ง (ฟังก์ชั่นจากเส้นจริงถึงพื้นผิวของท่อร่วมพี∈ M (ψ: R → M )P P, C ∞ (T)→ R , ( ฉ∘ ψ ) ' (T)ψ M P,F,F$(\mathcal M)$$p\in \mathcal M$$(\psi: \mathbb R \to \mathcal M)$$p.$$p,$$C^\infty (t)\to \mathbb R,$$\left(f \circ \psi \right )'(t)$$\psi$$\mathcal M$) วิ่งผ่านจุดและแสดงเป็นสีแดงบนแผนภาพด้านบน และหมายถึงฟังก์ชั่นทดสอบ "การ iso- " เส้นชั้นความสูงสีขาวแมปไปยังจุดเดียวกันบนเส้นจริงและล้อมรอบจุดP$p,$$f,$$f$$p$

ความเท่าเทียมกัน (หรือหนึ่งในสิ่งที่เทียบเท่ากับสถิติ) ถูกกล่าวถึงที่นี่และจะเกี่ยวข้องกับคำพูดต่อไปนี้:

หากพื้นที่พารามิเตอร์สำหรับตระกูลเอ็กซ์โพเนนเชียลมีชุดมิติเปิดแบบดังนั้นจะเรียกว่าอันดับเต็ม$s$

ตระกูลเลขชี้กำลังที่ไม่ได้อยู่ในอันดับเต็มโดยทั่วไปเรียกว่าตระกูลเอ็กซ์โพเนนเชียลแบบโค้งเนื่องจากพื้นที่โดยทั่วไปของพารามิเตอร์คือส่วนโค้งในของมิติที่น้อยกว่า$\mathcal R^s$$s.$

เรื่องนี้ดูเหมือนจะทำให้การตีความของพล็อตดังนี้: พารามิเตอร์การกระจายตัว (ในกรณีของครอบครัวของการแจกแจงชี้แจง) อยู่บนท่อร่วมไอดี จุดข้อมูลในจะแมปไปยังบรรทัดบนท่อร่วมผ่านฟังก์ชันในกรณีของปัญหาการหาค่าเหมาะที่สุดแบบไม่เชิงเส้น นี่จะเป็นการคำนวณความเร็วของฟิสิกส์ในแบบคู่ขนาน: มองหาอนุพันธ์ของฟังก์ชันตามแนวลาดของ "iso-f" เส้น (อนุพันธ์ทิศทางในสีส้ม):ฟังก์ชั่นจะเล่นบทบาทของการปรับการเลือกพารามิเตอร์การกระจายตัวเป็นเส้นโค้ง ψ : R → Mฉ( ฉ∘ ψ ) ' ( T ) f : M → R ψ $\mathbb R$$\psi: \mathbb R \to \mathcal M$$f$$\left(f \circ \psi \right)'(t).$$f: \mathbb M \to \mathbb R$$\psi$เดินทางไปตามเส้นชั้นความสูงของบนท่อร่วมไอดี$f$

---

พื้นหลังเพิ่มสิ่งที่:

จากหมายเหตุฉันเชื่อว่าแนวคิดเหล่านี้ไม่ได้เกี่ยวข้องกับการลดมิติข้อมูลที่ไม่ใช่เชิงเส้นใน ML ทันที พวกมันดูเหมือนเรขาคณิตข้อมูลมากขึ้น นี่คือคำพูด:

ที่สำคัญสถิติของแมนิโฟลด์นั้นแตกต่างจากการเรียนรู้ที่หลากหลาย หลังเป็นสาขาหนึ่งของการเรียนรู้เครื่องที่มีเป้าหมายคือการเรียนรู้นานาแฝงจากข้อมูล -valued โดยปกติมิติของใฝหามากมายแฝงน้อยกว่าnท่อร่วมแฝงอาจเป็นแบบเชิงเส้นหรือไม่เชิงเส้นขึ้นอยู่กับวิธีการเฉพาะที่ใช้$R^n$$n$

---

ข้อมูลต่อไปนี้จากสถิติเกี่ยวกับ Manifolds ที่มีแอปพลิเคชันไปจนถึงการสร้างแบบจำลองรูปร่างโดยOren Freifeld :

ในขณะที่มักจะไม่เชิงเส้นเราสามารถเชื่อมโยงพื้นที่สัมผัสแสดงโดยเพื่อทุกจุดM เป็นพื้นที่เวกเตอร์ที่มีมิติเป็นเช่นเดียวกับที่ของMต้นกำเนิดของที่ หน้าหากถูกฝังในพื้นที่ Euclidean เราอาจคิดว่า เป็น subspace เลียนแบบเช่นนั้น: 1) มันแตะที่ ; 2) อย่างน้อยในพื้นที่อยู่ข้างด้านใดด้านหนึ่งอย่างสมบูรณ์ องค์ประกอบของ TpM เรียกว่าเวกเตอร์แทนเจนต์ทีพีเอ็มพี∈ M T พีเอ็มเอ็มทีพีเอ็มพีเอ็มทีพีเอ็มเอ็มพี$M$$TpM$$p \in M$$TpM$$M$$TpM$$p$$M$$TpM$$M$$p$$M$

[... ] บนแมนิโฟลด์แบบจำลองทางสถิติมักแสดงในพื้นที่สัมผัส

[ ... ]

[เราพิจารณาสองชุด] ชุดข้อมูลประกอบด้วยคะแนนใน :$M$

$D_L = \{p_1, \cdots , p_{NL}\} \subset M$ ;

$D_S = \{q_1, \cdots , q_{NS}\} \subset M$

Letและแทนทั้งสองอาจจะเป็นที่รู้จักในจุดMสันนิษฐานว่าชุดข้อมูลสองชุดเป็นไปตามกฎทางสถิติต่อไปนี้:$µ_L$$µ_S$$M$

$\{\log_{\mu L} (p_1), \cdots , \log_{\mu L}(p_{NL})\} \subset T_{\mu L}M, \quad \log_{\mu L}(p_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_L)$ $\{\log_{\mu S} (q_1), \cdots , \log_{\mu S}(q_{NS})\} \subset T_{\mu S}M, \quad \log_{\mu S}(q_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_S)$

[ ... ]

ในคำอื่น ๆ เมื่อจะแสดง (เป็นพาหะสัมผัส) ในพื้นที่สัมผัส (เพื่อ ) ที่ก็สามารถมองเห็นเป็นชุดของตัวอย่าง IID จากศูนย์เฉลี่ยเกาส์ที่มีความแปรปรวน\เช่นเดียวกันเมื่อจะแสดงในพื้นที่สัมผัสที่มันสามารถมองเห็นเป็นชุดของตัวอย่าง IID จากศูนย์เฉลี่ยเกาส์ที่มีความแปรปรวน\นี่เป็นกรณีของยุคลิด$D_L$$M$$\mu_L$$\Sigma_L$$D_S$$\mu_S$$\Sigma_S$

ในการอ้างอิงเดียวกันฉันพบตัวอย่างออนไลน์ (และในทางปฏิบัติเท่านั้น) ที่ใกล้เคียงที่สุดของแนวคิดกราฟิกนี้ที่ฉันถามเกี่ยวกับ:

นี่จะเป็นการบ่งบอกว่าข้อมูลอยู่บนพื้นผิวของท่อร่วมแสดงเป็นเวกเตอร์แทนเจนต์หรือไม่และพารามิเตอร์จะถูกแมปบนระนาบคาร์ทีเซียนหรือไม่?

ตระกูลของการแจกแจงความน่าจะเป็นสามารถวิเคราะห์ได้ว่าเป็นจุดบนท่อร่วมที่มีพิกัดภายในที่สอดคล้องกับพารามิเตอร์ของการแจกแจง ความคิดคือการหลีกเลี่ยงการเป็นตัวแทนด้วยการวัดที่ไม่ถูกต้อง: Univariate Gaussiansสามารถลงจุดเป็นจุดใน Euclidean ที่อยู่ทางด้านขวาของพล็อตด้านล่าง ด้วยค่าเฉลี่ยใน -axis และ SD ในแกน (ครึ่งบวกในกรณีของการวางแผนความแปรปรวน):$(\Theta)$$\mathcal N(\mu,\sigma^2),$$\mathbb R^2$$x$$y$

อย่างไรก็ตามเมทริกซ์เอกลักษณ์ (ระยะทางแบบยุคลิด) จะไม่สามารถวัดระดับความคล้ายคลึงกันระหว่างบุคคลของ: บนเส้นโค้งปกติทางด้านซ้ายของพล็อตด้านบนให้ช่วงเวลาในโดเมน พื้นที่ที่ไม่ทับซ้อนกัน (เป็นสีน้ำเงินเข้ม) มีขนาดใหญ่กว่าสำหรับเส้นโค้งแบบเกาส์เซียนที่มีความแปรปรวนต่ำกว่าแม้ว่าค่าเฉลี่ยจะคงที่ ในความเป็นจริงตัวชี้วัดเท่านั้นรีมันว่า“ทำให้รู้สึก” สำหรับแมนิโฟลสถิติเป็นข้อมูลตัวชี้วัดฟิชเชอร์$\mathrm{pdf}$

ในระยะห่างของข้อมูลฟิชเชอร์: การอ่านเชิงเรขาคณิต Costa SI, Santos SA และ Strapasson JE ใช้ประโยชน์จากความคล้ายคลึงกันระหว่างเมทริกซ์ข้อมูลฟิชเชอร์ของการแจกแจงแบบเกาส์และตัวชี้วัดในโมเดลดิสก์ Beltrami-Pointcaréเพื่อให้ได้สูตรปิด

กรวย "ทิศเหนือ" ของไฮเปอร์โบรด์กลายเป็น manifold ที่ไม่ใช่แบบยุคลิดซึ่งแต่ละจุดสอดคล้องกับค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน (พื้นที่พารามิเตอร์) และระยะทางที่สั้นที่สุดระหว่างเช่นและในแผนภาพด้านล่างเป็นเส้นโค้งทางธรณีวิทยาฉาย (แผนที่แผนภูมิ) ลงบนระนาบเส้นศูนย์สูตรเป็นเส้นตรง hyperparabolic และเปิดใช้งานการวัดระยะทางระหว่างผ่านเมตริกซ์เมตริก - ตัวชี้วัดข้อมูลฟิชเชอร์ :$x^2 + y^2 - x^2 = -1$$\mathrm {pdf's,}$$P$$Q,$$\mathrm{pdf's}$$g_{\mu\nu}\;(\Theta)\;\mathbf e^\mu\otimes \mathbf e^\nu$

$$D\,\left ( P(x;\theta_1)\,,\,Q(x;\theta_2) \right)=\min_{\theta(t)\,|\,\theta(0)=\theta_1\;,\;\theta(1)=\theta_2}\;\int_0^1 \; \sqrt{\left(\frac{\mathrm d\theta}{\mathrm dt} \right)^\top\;I(\theta)\frac{\mathrm d \theta}{\mathrm dt}dt}$$

ด้วย

$$I(\theta) = \frac{1}{\sigma^2}\begin{bmatrix}1&0\\0&2 \end{bmatrix}$$

แตกต่าง Kullback-Leiblerเกี่ยวข้องอย่างใกล้ชิดแม้จะขาดรูปทรงเรขาคณิตและตัวชี้วัดที่เกี่ยวข้อง

และเป็นที่น่าสนใจที่จะทราบว่าเมทริกซ์ข้อมูลฟิชเชอร์สามารถตีความได้ว่าเป็น Hessian ของเอนโทรปีของแชนนอน :

$$g_{ij}(\theta)=-E\left[ \frac{\partial^2\log p(x;\theta)}{\partial \theta_i \partial\theta_j} \right]=\frac{\partial^2 H(p)}{\partial \theta_i \partial \theta_j}$$

กับ

$$H(p) = -\int p(x;\theta)\,\log p(x;\theta) \mathrm dx.$$

ตัวอย่างนี้จะคล้ายกันในแนวคิดในการร่วมกันมากขึ้นแผนที่โลก stereographic

ML การเรียนรู้ที่ฝังหลายมิติหรือการเรียนรู้ที่หลากหลายไม่ได้กล่าวถึงที่นี่

มีมากกว่าหนึ่งวิธีในการเชื่อมโยงความน่าจะเป็นกับเรขาคณิต ฉันแน่ใจว่าคุณเคยได้ยินเรื่องการกระจายวงรี (เช่น Gaussian) คำนี้แสดงถึงการเชื่อมโยงทางเรขาคณิตและชัดเจนเมื่อคุณวาดเมทริกซ์ความแปรปรวนร่วม ด้วย manifolds เพียงแค่วางค่าพารามิเตอร์ที่เป็นไปได้ทั้งหมดในระบบพิกัด ยกตัวอย่างเช่น Gaussian Manifold จะอยู่ในสองมิติ: 2 คุณสามารถมีค่าใด ๆแต่ความแปรปรวนในเชิงบวก 0 ดังนั้นนานาเสียนจะเป็นครึ่งหนึ่งของทั้งหมดพื้นที่ ไม่น่าสนใจ$\mu,\sigma^2$$\mu\in R$$\sigma^2>0$$R^2$