คุณเปรียบเทียบกระบวนการแบบเกาส์สองกระบวนการได้อย่างไร

Kullback-Leibler แตกต่างเป็นตัวชี้วัดเพื่อเปรียบเทียบฟังก์ชั่นความหนาแน่นสองน่าจะเป็น แต่สิ่งที่ตัวชี้วัดที่ใช้ในการเปรียบเทียบสองของ GP $X$ และ ? $Y$

gaussian-process metric

— Pushkar
แหล่งที่มา

d (X, Y) = E [sup_{t} | X (t) - Y (t) |]

$d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

— Zen

@ เซน: ถ้าคุณมีเวลาฉันสนใจที่จะรู้เพิ่มเติมเกี่ยวกับการวัดระยะทางนี้

— Neil G

สวัสดีนีล ฉันไม่รู้อะไรเกี่ยวกับมันมากนัก โปรดดูคำตอบของฉันร้อง

— เซน

คำตอบ:

หมายเหตุว่าการกระจายของ Gaussian กระบวนการ $\mathcal{X}\to\mathbb{R}$ เป็นส่วนขยายของหลายตัวแปรแบบเกาส์สำหรับอาจอนันต์X $\mathcal{X}$ ดังนั้นคุณสามารถใช้ KL divergence ระหว่างการแจกแจงความน่าจะเป็น GP ได้โดยรวมเข้ากับ $\mathbb{R}^\mathcal{X}$ :

D_{K L} (P | Q) = \int_{R^{X}} \log \frac{d P}{d Q} d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

คุณสามารถใช้วิธีการ MC เพื่อประมาณปริมาณนี้เป็นจำนวนมากกว่าโดยการสุ่มตัวอย่างกระบวนการต่าง ๆ ตามการกระจาย GP ฉันไม่รู้ว่าความเร็วของคอนเวอร์เจนซ์นั้นดีพอหรือไม่ ... $\mathcal{X}$

โปรดทราบว่าหากมีขอบเขต จำกัด ด้วยจากนั้นคุณจะกลับไปสู่ค่าเบี่ยงเบน KL ปกติสำหรับหลายตัวแปรการแจกแจงปกติ: $\mathcal{X}$ $|\mathcal{X}|=n$

D_{K L} (G P (μ_{1}, K_{1}), G P (μ_{2}, K_{2})) = \frac{1}{2} (t r (K_{2}^{- 1} K_{1}) + (μ_{2} - μ_{1})^{⊤} K_{2}^{- 1} (μ_{2} - μ_{1}) - n + \log \frac{| K_{2} |}{| K_{1} |})

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— เอมิ
แหล่งที่มา

ฉันจะคำนวณสองวิธี (mu1 และ mu2) ที่คุณกล่าวถึงได้อย่างไร หรือฉันควรจะพาพวกเขาเท่ากับศูนย์ตามปกติสำหรับกระบวนการ Gaussian?

— Marat Zakirov

จำไว้ว่าถ้าเป็นกระบวนการเกาส์เซียนที่มีค่าเฉลี่ยของฟังก์ชันและฟังก์ชันความแปรปรวนร่วมจากนั้นสำหรับทุกๆ , เวกเตอร์แบบสุ่มมีการแจกแจงปกติหลายตัวแปรที่มีเวกเตอร์เฉลี่ย $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ และเมทริกซ์ความแปรปรวนร่วมที่ซึ่งเราใช้ตัวย่อทั่วไป $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ . $X(t)=X(t,\,\cdot\,)$

แต่ละสำนึกเป็นฟังก์ชั่นที่แท้จริงที่มีโดเมนเป็นดัชนีชุดTสมมติว่า ]ให้กระบวนการแบบเกาส์สองกระบวนการและระยะทางทั่วไปหนึ่งค่าระหว่างการรับรู้สองแบบ $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ และ $X(\,\cdot\,,\omega)$ คือ. ดังนั้นจึงเป็นเรื่องธรรมดาที่จะกำหนดระยะห่างระหว่างสองกระบวนการและเป็น $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$

d (X, Y) = E [sup_{t \in [0, 1]} | X (t) - Y (t) |] . (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$

0 \leq t_{1} < \dots < t_{k} \leq 1

$0\leq t_1<\dots<t_k\leq 1$

(x_{i 1}, \dots, x_{i k})

$(x_{i1},\dots,x_{ik})$

(y_{i 1}, \dots, y_{i k})

$(y_{i1},\dots,y_{ik})$

(X (t_{1}), \dots, X (t_{k}))

$(X(t_1),\dots,X(t_k))$

(Y (t_{1}), \dots, Y (t_{k}))

$(Y(t_1),\dots,Y(t_k))$ , respectively, for

i = 1, \dots, N

$i=1,\dots,N$ . Approximate

d (X, Y)

$d(X,Y)$ by

\frac{1}{N} \sum_{i = 1}^{N} max_{1 \leq j \leq k} | x_{i j} - y_{i j} | .

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— Zen
แหล่งที่มา

How do you sample from each vector? If you only sample the means in each of the GPs you do not take into account the variances. Otherwise you will have to devise a sampling technique that is consistent.

— pushkar

This is an excellent resource: gaussianprocess.org/gpml/chapters

— Zen

You may also read all the answers to this question: stats.stackexchange.com/questions/30652/…

— Zen

Pay attention that this is not a distance since

d (X, X) \neq 0

$d(X,X) \neq 0$ . As the KL compares two distributions and not two realisations, Zen's distance between two GPs should be defined as

d (G_{1}, G_{2}) = E_{X \sim G_{1}, Y \sim G_{2}} [sup_{t} | X (t) - Y (t) |]

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$ , and we have that

E_{X \sim G, Y \sim G} sup_{t} | X (t) - Y (t) | > 0

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$ for non degenerated Gaussian process

G

$G$ .

— Emile

@Emile: how is it that

d (X, X) \neq 0

$d(X,X)\neq 0$ using definition

(*)

$(*)$ ?

— Zen