ความคลาดเคลื่อนเฉลี่ยสูงสุด (การกระจายระยะทาง)

ฉันมีชุดข้อมูลสองชุด (แหล่งข้อมูลและข้อมูลเป้าหมาย) ซึ่งเป็นไปตามการแจกแจงที่แตกต่างกัน ฉันกำลังใช้ MMD - นั่นคือการกระจายระยะทางแบบไม่อิงพารามิเตอร์ - เพื่อคำนวณการกระจายระยะขอบระหว่างข้อมูลต้นทางและเป้าหมาย

แหล่งข้อมูล Xs

ข้อมูลเป้าหมาย Xt

การปรับเมทริกซ์ A

* ข้อมูลที่คาดการณ์ไว้ Zs = A '* Xs และ Zt = A' Xt

* MMD => ระยะทาง (P (Xs), P (Xt)) = | Mean (A'Xs) - mean (A ' Xt) |

นั่นหมายถึง: ระยะห่างของการกระจายระหว่างข้อมูลต้นทางและปลายทางในพื้นที่ดั้งเดิมเท่ากับระยะห่างระหว่างวิธีการของแหล่งข้อมูลที่คาดการณ์และข้อมูลเป้าหมายในพื้นที่ฝังตัว

ฉันมีคำถามเกี่ยวกับแนวคิดของ MMD

ในสูตร MMD ทำไมระยะทางในการคำนวณในพื้นที่แฝงเราสามารถวัดระยะการกระจายในพื้นที่ดั้งเดิมได้

ขอบคุณ

— Mahsa
แหล่งที่มา

คุณยังไม่ได้ถามคำถามเลย: คุณเพิ่งบอกเราว่าคุณสับสน!

— whuber

อาจช่วยให้ภาพรวมของ MMD เพิ่มขึ้นเล็กน้อย $\DeclareMathOperator{\E}{\mathbb E}\newcommand{\R}{\mathbb R}\newcommand{\X}{\mathcal X}\newcommand{\h}{\mathcal H}\DeclareMathOperator{\MMD}{MMD}$

โดยทั่วไป MMD ถูกกำหนดโดยแนวคิดของการแสดงระยะทางระหว่างการแจกแจงเป็นระยะทางระหว่างค่าเฉลี่ยของคุณลักษณะ นั่นคือการบอกว่าเรามีการกระจายและกว่าชุด X MMD ถูกกำหนดโดยคุณลักษณะแผนที่โดยที่คือสิ่งที่เรียกว่าเคอร์เนลพื้นที่ทำซ้ำของฮิลแบร์ต โดยทั่วไป MMD คือ $P$ $Q$ $\X$ $\varphi : \X \to \h$ $\mathcal H$

MMD (P, Q) = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} .

$\MMD(P, Q) = \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h .$

เป็นตัวอย่างหนึ่งเราอาจจะมีและx ในกรณีนั้น: ดังนั้น MMD นี้จึงเป็นระยะห่างระหว่างค่าเฉลี่ยของการแจกแจงสองแบบ การจับคู่การแจกแจงเช่นนี้จะตรงกับความหมายของพวกเขาแม้ว่าพวกเขาอาจแตกต่างกันในความแปรปรวนหรือในวิธีอื่น ๆ $\X = \h = \R^d$ $\varphi(x) = x$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [X] - E_{Y \sim Q} [Y] ‖_{R^{d}} \\ = ‖ μ_{P} - μ_{Q} ‖_{R^{d}}, \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ X ] - \E_{Y \sim Q}[ Y ] \rVert_{\R^d} \\&= \lVert \mu_P - \mu_Q \rVert_{\R^d} ,\end{align}$

กรณีของคุณแตกต่างออกไปเล็กน้อย: เรามีและกับโดยที่คือเมทริกซ์ ดังนั้นเราจึงมี MMD นี้คือความแตกต่างระหว่างการคาดการณ์ที่แตกต่างกันสองค่าของค่าเฉลี่ย หากหรือการแมปไม่สามารถย้อนกลับได้ $\mathcal X = \mathbb R^d$ $\mathcal H = \mathbb R^p$ $\varphi(x) = A' x$ $A$ $d \times p$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [A^{'} X] - E_{Y \sim Q} [A^{'} Y] ‖_{R^{p}} \\ = ‖ A^{'} E_{X \sim P} [X] - A^{'} E_{Y \sim Q} [Y] ‖_{R^{p}} \\ = ‖ A^{'} (μ_{P} - μ_{Q}) ‖_{R^{p}} . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ A' X ] - \E_{Y \sim Q}[ A' Y ] \rVert_{\R^p} \\&= \lVert A' \E_{X \sim P}[ X ] - A' \E_{Y \sim Q}[ Y ] \rVert_{\R^p} \\&= \lVert A'( \mu_P - \mu_Q ) \rVert_{\R^p} .\end{align}$

p < d

$p < d$

A^{'}

$A'$ กว่าก่อนหน้านี้: มันไม่ได้แยกความแตกต่างระหว่างการแจกแจงบางอย่างที่ก่อนหน้านี้ทำ

คุณยังสามารถสร้างระยะทางที่แข็งแกร่งขึ้น ตัวอย่างเช่นถ้าและคุณใช้ดังนั้น MMD จะกลายเป็นและสามารถแยกความแตกต่างไม่เพียง แต่การกระจายด้วยวิธีการที่แตกต่างกัน แต่ด้วยความแตกต่างที่แตกต่างกันเช่นกัน $\X = \R$ $\varphi(x) = (x, x^2)$ $\sqrt{(\E X - \E Y)^2 + (\E X^2 - \E Y^2)^2}$

และคุณสามารถแข็งแกร่งกว่านั้นได้ถ้าหากจับคู่กับพื้นที่ทำซ้ำของเคอร์เนล Hilbert จากนั้นคุณสามารถใช้เคล็ดลับเคอร์เนลเพื่อคำนวณ MMD และปรากฎว่าเมล็ดหลายแห่งรวมถึงเคอร์เนล Gaussian นำไปสู่ MMD เป็นศูนย์ถ้าและมีเพียงการกระจายเท่านั้นที่เหมือนกัน $\varphi$

โดยเฉพาะให้ , คุณได้รับ ซึ่งคุณสามารถประมาณตัวอย่างได้อย่างตรงไปตรงมา $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_\h$

\begin{aligned} {MMD}^{2} (P, Q) & = ‖ E_{X \sim P} φ (X) - E_{Y \sim Q} φ (Y) ‖_{H}^{2} \\ = ⟨ E_{X \sim P} φ (X), E_{X^{'} \sim P} φ (X^{'}) ⟩_{H} + ⟨ E_{Y \sim Q} φ (Y), E_{Y^{'} \sim Q} φ (Y^{'}) ⟩_{H} - 2 ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩_{H} \\ = E_{X, X^{'} \sim P} k (X, X^{'}) + E_{Y, Y^{'} \sim Q} k (Y, Y^{'}) - 2 E_{X \sim P, Y \sim Q} k (X, Y) \end{aligned}

$\begin{align} \MMD^2(P, Q) &= \lVert \E_{X \sim P} \varphi(X) - \E_{Y \sim Q} \varphi(Y) \rVert_\h^2 \\&= \langle \E_{X \sim P} \varphi(X), \E_{X' \sim P} \varphi(X') \rangle_\h + \langle \E_{Y \sim Q} \varphi(Y), \E_{Y' \sim Q} \varphi(Y') \rangle_\h - 2 \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle_\h \\&= \E_{X, X' \sim P} k(X, X') + \E_{Y, Y' \sim Q} k(Y, Y') - 2 \E_{X \sim P, Y \sim Q} k(X, Y) \end{align}$

อัปเดต: นี่คือที่มาของชื่อ "สูงสุด"

คุณลักษณะแผนที่แมปลงในเคอร์เนลพื้นที่ทำซ้ำของฮิลแบร์ต เหล่านี้เป็นช่องว่างของฟังก์ชั่นและตอบสนองความคุณสมบัติที่สำคัญ (ที่เรียกว่าการทำซ้ำคุณสมบัติ ):สำหรับการใด ๆชั่วโมง $\varphi: \X \to \h$ $\langle f, \varphi(x) \rangle_\h = f(x)$ $f \in \h$

ในตัวอย่างที่ง่ายที่สุดด้วยเราดูแต่ละเป็นฟังก์ชันที่สอดคล้องกับบางโดย x ดังนั้นการสร้างสมบัติควรสมเหตุสมผล $\X = \h = \R^d$ $\varphi(x) = x$ $f \in \h$ $w \in \R^d$ $f(x) = w' x$ $\langle f, \varphi(x) \rangle_\h = \langle w, x \rangle_{\R^d}$

ในการตั้งค่าที่ซับซ้อนยิ่งขึ้นเช่นเคอร์เนลเกาส์เซียนเป็นฟังก์ชั่นที่ซับซ้อนมากขึ้น แต่คุณสมบัติการทำซ้ำยังคงมีอยู่ $f$

ตอนนี้เราสามารถให้ทางเลือกลักษณะของ MMD: บรรทัดที่สองเป็นข้อเท็จจริงทั่วไปเกี่ยวกับบรรทัดฐานในช่องว่างของ Hilbert:

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] ⟩_{H} - ⟨ f, E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [⟨ f, φ (X) ⟩_{H}] - E_{Y \sim Q} [⟨ f, φ (Y) ⟩_{H}] \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [f (X)] - E_{Y \sim Q} [f (Y)] . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] \rangle_\h - \langle f, \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[\langle f, \varphi(X)\rangle_\h] - \E_{Y \sim Q}[\langle f, \varphi(Y) \rangle_\h] \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[f(X)] - \E_{Y \sim Q}[f(Y)] .\end{align}$

sup_{f : ‖ f ‖ \leq 1} ⟨ f, g ⟩_{H} = ‖ g ‖

$\sup_{f : \lVert f \rVert \le 1} \langle f, g \rangle_\h = \lVert g \rVert$ จะทำได้โดย\ ประการที่สี่ขึ้นอยู่กับเงื่อนไขทางเทคนิคที่รู้จักกันในชื่อการบูรณาการ Bochner แต่เป็นเรื่องจริงเช่นสำหรับเมล็ดที่มีขอบเขตหรือการกระจายด้วยการสนับสนุนที่ถูกผูกไว้ จากนั้นในตอนท้ายเราจะใช้คุณสมบัติการทำซ้ำ

f = g / ‖ g ‖

$f = g / \lVert g \rVert$

บรรทัดสุดท้ายนี้คือสาเหตุที่เรียกว่า "ความคลาดเคลื่อนค่าเฉลี่ยสูงสุด" - เป็นค่าสูงสุดซึ่งเกินฟังก์ชั่นการทดสอบในลูกบอลหน่วยของซึ่งเป็นความแตกต่างเฉลี่ยระหว่างการแจกแจงสองแบบ $f$ $\h$

— Dougal
แหล่งที่มา

ขอบคุณสำหรับคำอธิบายของคุณมันชัดเจนมากขึ้นสำหรับฉัน ถึงกระนั้นฉันก็ยังไม่ได้รับแนวคิดนี้ในตอนแรกคุณพูดว่า: "MMD ถูกกำหนดโดยความคิดในการแสดงระยะทางระหว่างการแจกแจงเป็นระยะทางระหว่างการฝังค่าเฉลี่ยของคุณลักษณะ" ทำไมความคิดนี้จึงเป็นจริง

— Mahsa

"MMD ถูกกำหนดโดยความคิดในการแสดงระยะทางระหว่างการแจกแจงเป็นระยะทางระหว่างค่าเฉลี่ยของการตกแต่งภาพ" ทำไมความคิดนี้จึงเป็นจริงหรือไม่มันเกี่ยวข้องกับพื้นที่ RKHS หรือไม่?

— Mahsa

มันเป็นแค่นิยาม: คุณสามารถเปรียบเทียบการกระจายได้โดยการเปรียบเทียบค่าเฉลี่ย หรือคุณสามารถเปรียบเทียบการกระจายได้โดยการเปรียบเทียบการแปลงค่าเฉลี่ย หรือโดยการเปรียบเทียบวิธีการและผลต่าง หรือโดยการเปรียบเทียบค่าเฉลี่ยของแผนที่คุณลักษณะอื่น ๆ รวมถึงแผนที่ RKHS

— Dougal

ขอบคุณสำหรับคำตอบของคุณ; ฉันจะอ่านเพิ่มเติมเกี่ยวกับแผนที่คุณลักษณะ RKHS; ฉันสงสัยว่าเหตุใดระยะทางที่กำหนด MMD ในแผนที่คุณลักษณะ RKHS ฉันหมายถึงอะไรคือประโยชน์ของ RKHS ในการกำหนดระยะทาง MMD?

— Mahsa

คำอธิบายที่นี่ให้ความสำคัญกับ "ความคลาดเคลื่อนเฉลี่ย" ซึ่งตรงข้ามกับ "ความคลาดเคลื่อนเฉลี่ยสูงสุด" ใครบ้างที่สามารถอธิบายรายละเอียดในส่วน "การเพิ่มประสิทธิภาพ"?

— Jiang Xiang

นี่คือวิธีที่ฉันตีความ MMD การแจกแจงสองแบบจะคล้ายกันหากช่วงเวลาของพวกเขาใกล้เคียงกัน ด้วยการใช้เคอร์เนลฉันสามารถแปลงตัวแปรเช่นนั้นทุกช่วงเวลา (แรกสองสาม ฯลฯ ) ถูกคำนวณ ในพื้นที่แฝงฉันสามารถคำนวณความแตกต่างระหว่างช่วงเวลากับค่าเฉลี่ย สิ่งนี้จะให้การวัดความคล้ายคลึงกัน / ความแตกต่างระหว่างชุดข้อมูล

— rsambasivan
แหล่งที่มา