ระยะทางระหว่างสองแบบเกาส์นผสมเพื่อประเมินโซลูชันคลัสเตอร์

11

ฉันใช้การจำลองอย่างรวดเร็วเพื่อเปรียบเทียบวิธีการจัดกลุ่มที่แตกต่างกันและในปัจจุบันมีอุปสรรคพยายามประเมินโซลูชั่นคลัสเตอร์

ฉันรู้เกี่ยวกับการตรวจสอบความถูกต้องหลายอย่าง (จำนวนมากที่พบในcluster.stats ()ใน R) แต่ฉันคิดว่าสิ่งเหล่านี้จะถูกใช้ดีที่สุดถ้าจำนวนกลุ่มโดยประมาณจริงเท่ากับจำนวนจริงของกลุ่ม ฉันต้องการรักษาความสามารถในการวัดประสิทธิภาพของวิธีการแก้ปัญหาการจัดกลุ่มเมื่อไม่ได้ระบุจำนวนที่ถูกต้องของกลุ่มในการจำลองแบบดั้งเดิม (เช่นการจำลองข้อมูลวิธีการแก้ปัญหาของกลุ่มที่สามที่จำลองเป็น 4 กลุ่ม สารละลาย). สำหรับข้อมูลของคุณกลุ่มจะถูกจำลองเพื่อให้มีเมทริกซ์ความแปรปรวนร่วมเหมือนกัน

ฉันคิดว่า KL แตกต่างระหว่างสองส่วนผสมของ Gaussians จะเป็นประโยชน์ในการใช้ แต่ไม่มีวิธีแก้ปัญหาแบบปิด ( Hershey และ Olson (2007) ) และการใช้แบบจำลอง Monte Carlo เริ่มมีราคาแพง

มีวิธีแก้ไขปัญหาอื่น ๆ ที่อาจใช้งานง่าย (แม้ว่าจะเป็นเพียงการประมาณ)?

clustering kullback-leibler gaussian-mixture

— dmartin
แหล่งที่มา

ระยะทาง L2 ระหว่างสองแบบเกาส์เซียนนั้นมีให้ในรูปแบบปิด ใช้สิ่งนี้และคุณควรจะตั้งค่าทั้งหมด

ฉันไม่รู้ว่าคุณจะทำอย่างไร แต่มันฟังดูไม่ดีสำหรับฉัน ผสมส่วนผสมเปลี่ยนชิ้นส่วน (ไม่เปลี่ยนเป็น p (x)) และระยะทาง L2 สามารถเป็นอะไรก็ได้ นอกจากนี้ระยะทาง L2 ไม่ใช่ความคิดที่ดีสำหรับเมทริกซ์ความแปรปรวนร่วม

— bayerj

ความน่าจะเป็นแบบทำนายหลังของชุดข้อมูลการทดสอบที่จัดขึ้น ฉันสงสัยว่าคุณต้องการนักบวชใน k

— คาดเดา

ลิงก์แรกใช้งานไม่ได้

— ttnphns

6

สมมติว่าเรามีส่วนผสมของเสียนสองใน : เรียกความหนาแน่นของและตามลำดับและแสดงความหนาแน่นขององค์ประกอบ ,โดย ,S_j) $\mathbb R^d$ $\DeclareMathOperator{\N}{\mathcal N} \newcommand{\ud}{\mathrm{d}} \DeclareMathOperator{\E}{\mathbb E} \DeclareMathOperator{\MMD}{\mathrm{MMD}}$

P = \sum_{i = 1}^{n} α_{i} P_{i} = \sum_{i = 1}^{n} α_{i} N (μ_{i}, Σ_{i}) Q = \sum_{j = 1}^{m} β_{j} Q_{j} = \sum_{j = 1}^{m} N (m_{j}, S_{j}) .

$P = \sum_{i=1}^{n} \alpha_i P_i = \sum_{i=1}^n \alpha_i \N(\mu_i, \Sigma_i) \qquad Q = \sum_{j=1}^m \beta_j Q_j = \sum_{j=1}^m \N(m_j, S_j) .$

p (\cdot)

$p(\cdot)$

q (\cdot)

$q(\cdot)$

P_{i}

$P_i$

Q_{j}

$Q_j$

p_{i} (x) = N (x; μ_{i}, Σ_{i})

$p_i(x) = \N(x; \mu_i, \Sigma_i)$

q_{j} (x) = N (x; m_{j}, S_{j})

$q_j(x) = \N(x; m_j, S_j)$

ระยะทางต่อไปนี้ให้บริการในรูปแบบปิด:

$L_2$ ระยะทางตามที่แนะนำในความคิดเห็นโดยผู้ใช้ 39665 นี่คือ: โปรดสังเกตว่าดังตัวอย่างในหัวข้อ 8.1.8 ของตำราอาหารเมทริกซ์ : เพื่อให้สามารถประเมินได้อย่างง่ายๆในเวลา
$\begin{aligned} L_{2} (P, Q)^{2} & = \int (p (x) - q (x))^{2} d x \\ = \int {(\sum_{i} α_{i} p_{i} (x) - \sum_{j} β_{j} q_{j} (x))}^{2} d x \\ = \sum_{i, i^{'}} α_{i} α_{i^{'}} \int p_{i} (x) p_{i^{'}} (x) d x + \sum_{j, j^{'}} β_{j} β_{j^{'}} \int q_{j} (x) q_{j^{'}} (x) d x \\ - 2 \sum_{i, j} α_{i} β_{j} \int p_{i} (x) q_{j} (x) d x . \end{aligned}$ $\begin{align} L_2(P, Q)^2 &= \int (p(x) - q(x))^2 \,\ud x \\&= \int \left( \sum_{i} \alpha_i p_i(x) - \sum_j \beta_j q_j(x) \right)^2 \ud x \\&= \sum_{i,i'} \alpha_i \alpha_{i'} \int p_i(x) p_{i'}(x) \ud x + \sum_{j,j'} \beta_j \beta_{j'} \int q_j(x) q_{j'}(x) \ud x \\&\qquad - 2 \sum_{i,j} \alpha_i \beta_j \int p_i(x) q_j(x) \ud x .\end{align}$ $\begin{aligned} \int N (x; μ, Σ) N (x; μ^{'}, Σ^{'}) d x & = N (μ; μ^{'}, Σ + Σ^{'}) \end{aligned}$ $\begin{align} \int \N(x; \mu, \Sigma) \N(x; \mu', \Sigma') \,\ud x &= \N(\mu; \mu', \Sigma + \Sigma') \end{align}$ $O(m n)$
ค่าเฉลี่ยความคลาดเคลื่อนสูงสุด (MMD) ด้วยเคอร์เนล Gaussian RBF นี่เป็นระยะทางที่เยี่ยมยอดซึ่งยังไม่เป็นที่รู้จักในหมู่ชุมชนสถิติที่ต้องใช้คณิตศาสตร์ในการกำหนด

ให้ กำหนดพื้นที่ฮิลแบร์ตเป็น ทำซ้ำเคอร์เนลพื้นที่ Hilbert สอดคล้องกับ :H}
$k (x, y) := \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}),$ $k(x, y) := \exp\left( - \frac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right),$ $\mathcal{H}$ $k$

กำหนดแผนที่เฉลี่ยเคอร์เนลเป็น
$K (P, Q) = E_{X \sim P, Y \sim Q} k (X, Y) = ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩ .$ $K(P, Q) = \E_{X \sim P, Y \sim Q} k(X, Y) = \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle .$

MMD คือ
$\begin{aligned} M M D (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖ \\ = \sqrt{K (P, P) + K (Q, Q) - 2 K (P, Q)} \\ = sup_{f : ‖ f ‖_{H} \leq 1} E_{X \sim P} f (X) - E_{Y \sim Q} f (Y) . \end{aligned}$ $\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert \\&= \sqrt{K(P, P) + K(Q, Q) - 2 K(P, Q)} \\&= \sup_{f : \lVert f \rVert_{\mathcal H} \le 1} \E_{X \sim P} f(X) - \E_{Y \sim Q} f(Y) .\end{align}$

สำหรับการผสมของเราและทราบว่า และในทำนองเดียวกันสำหรับและQ) $P$ $Q$
$K (P, Q) = \sum_{i, j} α_{i} β_{j} K (P_{i}, Q_{j})$ $K(P, Q) = \sum_{i, j} \alpha_i \beta_j K(P_i, Q_j)$ $K(P, P)$

มันกลับกลายเป็นว่าใช้กลอุบายที่คล้ายกันกับนั่นคือคือ $L_2$ $K(\N(\mu, \Sigma), \N(\mu', \Sigma'))$
$(2 π σ^{2})^{d / 2} N (μ; μ^{'}, Σ + Σ^{'} + σ^{2} I) .$ $(2 \pi \sigma^2)^{d/2} \N(\mu; \mu', \Sigma + \Sigma' + \sigma^2 I) .$

ในฐานะชัดเจนว่าสิ่งนี้รวมเป็นระยะทางหลายโดยปกติคุณต้องการใช้แตกต่างกันแต่อย่างใดอย่างหนึ่งตามมาตราส่วนของการเปลี่ยนแปลงข้อมูล $\sigma \to 0$ $L_2$ $\sigma$

แบบฟอร์มปิดยังมีให้สำหรับเมล็ดพหุนามใน MMD ดู $k$

Muandet, Fukumizu, Dinuzzo และSchölkopf (2012) เรียนรู้จากการแจกแจงผ่านเครื่องวัดการสนับสนุน ในความก้าวหน้าในระบบประมวลผลข้อมูลประสาท ( รุ่นอย่างเป็นทางการ ) arXiv: 1202.6504

สำหรับคุณสมบัติที่ดีของระยะทางนี้ให้ดู

Sriperumbudur, Gretton, Fukumizu, Schölkopfและ Lanckriet (2010) งานแต่งงานของ Hilbert Space และการวัดความน่าจะเป็น วารสารเครื่องการเรียนรู้การวิจัย, 11, 1517-1561 arXiv: 0907.5309
กำลังสอง Jensen-Rényi divergence Rényi- Entropy ถูกกำหนดเป็น ข้อ จำกัด ของมันคือคือเอนโทรปีของแชนนอน การเซเรนนีเซเรนนี่คือ ที่หมายถึงการผสมกันระหว่างและQปรากฎว่าเมื่อและเมื่อและมีผสมแบบเกาส์ (เป็นที่นี่) คุณสามารถคำนวณรูปแบบปิดสำหรับ\สิ่งนี้ทำโดย $\alpha$
$H_{α} (p) = \frac{1}{1 - α} \log (\int p (x)^{α} d x) .$ $H_\alpha(p) = \frac{1}{1-\alpha} \log\left( \int p(x)^\alpha \,\ud x \right) .$ $\alpha \to 1$ ${J R}_{α} (p, q) = H_{α} (\frac{p + q}{2}) - \frac{H_{α} (p) + H_{α} (q)}{2}$ $\mathrm{JR}_\alpha(p, q) = H_\alpha\left( \frac{p + q}{2} \right) - \frac{H_\alpha(p) + H_\alpha(q)}{2}$ $\frac{p + q}{2}$ $p$ $q$ $\alpha = 2$ $P$ $Q$ $\mathrm{JR}_2$

Wang, Syeda-Mahmood, Vemuri, Beymer และ Rangarajan (2009) Jensen-Renyi Divergence แบบปิดสำหรับส่วนผสมของ Gaussians และการประยุกต์ใช้ในการลงทะเบียนรูปร่างกลุ่มอย่างชาญฉลาด Med Image Comput Comput Assist Interv., 12 (1), 648–655 ( รุ่นสาธารณะฟรี )

— Dougal
แหล่งที่มา

0

หากกลุ่มของคุณไม่ใช่ส่วนผสมแบบเกาส์ แต่มีรูปร่างโดยพลการผลลัพธ์ของคุณอาจดีขึ้นมากเมื่อคุณสร้างกลุ่มมากขึ้นแล้วรวมบางกลุ่มอีกครั้งในภายหลัง

ในหลายกรณีหนึ่งคนเลือก k ให้สูงตามอำเภอใจเช่น 1,000 สำหรับชุดข้อมูลขนาดใหญ่ โดยเฉพาะอย่างยิ่งเมื่อคุณไม่ได้สนใจโมเดลจริงๆ แต่ต้องการลดความซับซ้อนของชุดข้อมูลผ่านการหาปริมาณเวกเตอร์

— มี QUIT - Anony-Mousse
แหล่งที่มา

ฉันจำลองกลุ่มที่จะดึงมาจากส่วนผสมแบบเกาส์เซียนดังนั้นฉันคิดว่าสมมติฐานของฉันถูกต้อง เป้าหมายที่นี่ไม่ใช่เพื่อลดความซับซ้อนหรือเกิดขึ้นกับเกณฑ์การตัดสินใจสำหรับการเลือก k แต่เพื่อเปรียบเทียบว่ากลุ่ม k k จำลองข้อมูลได้อย่างไรเมื่อ k ไม่ถูกต้อง ตัวเลือกที่ไม่ถูกต้องบางอย่างอาจเป็นแบบจำลองข้อมูลที่ดีกว่าตัวเลือกอื่น ๆ และฉันพยายามที่จะหาปริมาณของความไม่เหมาะสมนี้ด้วยการคำนวณบางอย่าง (เช่น KL divergence แต่ง่ายต่อการนำไปใช้สำหรับการผสมแบบเกาส์)

— dmartin

0

นี่คือลักษณะทั่วไปของ Mahalanobis D to GMMs โดยใช้วิธี Fisher Kernel และเทคนิคอื่น ๆ :

ทิป, Michael E. "ฟังก์ชั่นการวิเคราะห์ระยะไกลของคลัสเตอร์จากแบบจำลองการผสมแบบเกาส์" (1999): 815-820 https://pdfs.semanticscholar.org/08d2/0f55442aeb79edfaaaafa7ad54c513ee1dcb.pdf

ดูเพิ่มเติม: มีระยะของ Mahalanobis หลายรูปแบบหรือไม่?

— Lenar Hoyt
แหล่งที่มา