เหตุผลของฟังก์ชันความแปรปรวนMatérnคืออะไร?

19

ฟังก์ชันความแปรปรวนร่วมMatérnมักใช้เป็นฟังก์ชันเคอร์เนลในกระบวนการแบบเกาส์เซียน มันถูกกำหนดเช่นนี้

C_{ν} (d) = σ^{2} \frac{2^{1 - ν}}{Γ (ν)} (\sqrt{2 ν} \frac{d}{ρ})^{ν} K_{ν} (\sqrt{2 ν} \frac{d}{ρ})

$C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}$

โดยที่ $d$ คือฟังก์ชันระยะทาง (เช่น Euclidean distance), $\Gamma$ คือฟังก์ชันแกมม่า, $K_\nu$ คือฟังก์ชัน Bessel ที่แก้ไขของชนิดที่สอง, $\rho$ และ $\nu$ เป็นพารามิเตอร์เชิงบวก $\nu$ ใช้เวลานานมากในการเลือกเป็น $\frac{3}{2}$ หรือ $\frac{5}{2}$ ในทางปฏิบัติ

หลายครั้งที่เคอร์เนลนี้ทำงานได้ดีกว่าเคอร์เนล Gaussian มาตรฐานเนื่องจาก 'ราบรื่นน้อย' แต่ยกเว้นว่ามีเหตุผลอื่นอีกไหมทำไมจึงเลือกใช้เคอร์เนลนี้ สัญชาตญาณทางเรขาคณิตบางอย่างเกี่ยวกับวิธีการทำงานหรือคำอธิบายของสูตรลับที่ดูเหมือนจะได้รับการชื่นชมอย่างมาก

spatial gaussian-process kernel-trick

— Haochi Kiang
แหล่งที่มา

18

นอกจากคำตอบที่ดีของ @DahnJahn ฉันคิดว่าฉันจะพยายามพูดเพิ่มเติมเกี่ยวกับหน้าที่ของ Bessel และแกมม่าที่มาจาก จุดเริ่มต้นหนึ่งสำหรับการมาถึงฟังก์ชั่นความแปรปรวนร่วมคือทฤษฎีบทของ Bochner

ทฤษฎีบท (Bochner)ฟังก์ชั่นนิ่งต่อเนื่อง $k(x, y) = \widetilde{k}(|x − y|)$ เป็นบวกแน่นอนถ้าหาก $\widetilde{k}$ คือการแปลงฟูริเยร์ของการวัดเชิงบวกอัน จำกัด :
$\tilde{k} (t) = \int_{R} e^{- i ω t} d µ (ω)$ $\widetilde{k}(t) = \int_{\mathbb{R}} e^{−iωt}dµ(ω)$

จากนี้คุณสามารถอนุมานได้ว่าเมทริกซ์ความแปรปรวนร่วมMatérnนั้นได้มาจากการแปลงฟูริเยร์ (ที่มา) $\frac{1}{(1+\omega^2)^p}$ ทั้งหมดนี้เป็นสิ่งที่ดี แต่มันไม่ได้บอกเราว่าคุณมาถึงมาตรการเชิงบวกอัน จำกัด นี้โดย $\frac{1}{(1+\omega^2)^p}$ พีมันคือความหนาแน่นสเปกตรัม (กำลัง) ของกระบวนการสุ่ม $f(x)$ )

ซึ่งกระบวนการสุ่ม? เป็นที่รู้จักกันว่าเป็นกระบวนการที่สุ่ม $\mathbb{R}^d$ กับฟังก์ชั่นความแปรปรวน Matern เป็นวิธีการแก้สมการเชิงอนุพันธ์สุ่มบางส่วน (SPDE)

(κ^{2} - ∆)^{α / 2} X (s) = φ W (s),

$(κ^2 − ∆)^{α/2} X(s) = φW(s),$ ที่

W (s)

$W(s)$ คือเสียงรบกวนแบบเกาส์เซียนที่มีความแปรปรวนของหน่วย,

Δ = \sum_{i = 1}^{d} \frac{\partial^{2}}{\partial x_{i}^{2}}

$\Delta = \sum_{i=1}^d \frac{\partial^2}{\partial x^2_i}$ เป็นโอเปอเรเตอร์ Laplace และ

α = ν + d / 2

$α =ν + d/2$ (ฉันคิดว่านี่เป็นCressie และ Wikle )

ทำไมต้องเลือก SPDE / กระบวนการสุ่มนี้ ต้นกำเนิดอยู่ในสถิติเชิงพื้นที่ซึ่งเป็นที่ถกเถียงกันอยู่ว่าเป็นความแปรปรวนที่ง่ายที่สุดและเป็นธรรมชาติซึ่งทำงานได้ดีใน $\mathbb{R}^2$ :

ฟังก์ชันความสัมพันธ์แบบเอ็กซ์โปเนนเชียลเป็นความสัมพันธ์ตามธรรมชาติในหนึ่งมิติเนื่องจากสอดคล้องกับกระบวนการมาร์คอฟ ในสองมิติสิ่งนี้จะไม่เป็นเช่นนั้นอีกต่อไปแม้ว่าฟังก์ชันเลขชี้กำลังเป็นฟังก์ชันสหสัมพันธ์ทั่วไปในงานธรณีศาสตร์ Whittle (1954) กำหนดความสัมพันธ์ที่สอดคล้องกับสมการเชิงอนุพันธ์สุ่มของ Laplace type:

โดยที่เป็นเสียงสีขาว กระบวนการขัดแตะโดยสิ้นเชิงที่สอดคล้องกันเป็น autoregression ลำดับที่สอง (ที่มา)
$[{(\frac{\partial}{\partial t_{1}})}^{2} + {(\frac{\partial}{\partial t_{2}})}^{2} - κ^{2}] X (t_{1}, t_{2}) = ϵ (t_{1}, t_{2})$ $\left[ \left(\frac{\partial}{\partial t_1}\right)^2 + \left(\frac{\partial}{\partial t_2}\right)^2 - \kappa^2 \right] X(t_1, t_2) = \epsilon(t_1 , t_2)$ $\epsilon$

ตระกูลของกระบวนการที่รวมอยู่ใน SDE ที่เกี่ยวข้องกับสมการของแม่ ได้แก่โมเดล Ornstein-Uhlenbeck ของความเร็วของอนุภาคที่เคลื่อนไหวภายใต้การเคลื่อนที่แบบบราวเนียน โดยทั่วไปคุณสามารถกำหนดสเปกตรัมพลังงานสำหรับกระบวนการสำหรับทุกๆจำนวนเต็มซึ่งมีค่าความแปรปรวนร่วมของครอบครัวMatérnด้วย นี่คือภาคผนวกของ Rasmussen และ Williams $AR(1)$ $AR(p)$ $p$

ฟังก์ชันความแปรปรวนร่วมนี้ไม่เกี่ยวข้องกับกระบวนการคลัสเตอร์Matérn

อ้างอิง

Cressie, Noel และ Christopher K. Wikle สถิติสำหรับข้อมูลเชิงพื้นที่ John Wiley & Sons ปี 2015

Guttorp, Peter และ Tilmann Gneiting "การศึกษาในประวัติศาสตร์ของความน่าจะเป็นและสถิติ XLIX ในตระกูลสหสัมพันธ์แม่" Biometrika 93.4 (2549): 989-995

Rasmussen, CE และ Williams, กระบวนการ CKI Gaussian สำหรับการเรียนรู้ของเครื่อง สำนักพิมพ์ MIT, 2006

— MachineEpsilon
แหล่งที่มา

2

ในกรณีหนึ่งมิติที่แปรปรวน Matern มีรูปร่าง

กับ

จำนวนเต็มบวกเป็นที่ของเวลาอย่างต่อเนื่องกระบวนการอัต

ของการสั่งซื้อหน้า

อย่างไรก็ตามไม่ใช่รุ่น

มีความแปรปรวนร่วมของแม่

ν = p - 1 / 2

$\nu = p - 1/2$

p

$p$

CAR (p)

$\text{CAR}(p)$

p

$p$

CAR (p)

$\text{CAR}(p)$

— Yves

นั่นเป็นความเข้าใจผิดที่ชัดเจนในส่วนของฉันฉันจะอัปเดตคำตอบ ขอขอบคุณ!

— MachineEpsilon

16

ฉันไม่รู้ แต่ฉันพบว่าคำถามนี้น่าสนใจมากและนี่คือสิ่งที่ฉันได้รับหลังจากอ่านหนังสือเล็กน้อย

สำหรับค่าบางอย่างของฟังก์ชันMatérn covariance สามารถแสดงเป็นผลิตภัณฑ์ของเลขชี้กำลังและพหุนาม เช่นสำหรับ : $\nu$ $\nu = 5/2$ แล้วมันเป็นไม่มากเกินไปน่าแปลกใจว่าเป็น,จริงลู่ไปGaussian RBF:

C_{5 / 2} (d) = σ^{2} (1 + \frac{\sqrt{5} d}{ρ} + \frac{5 d^{2}}{3 ρ^{2}}) \exp (- \frac{\sqrt{5} d}{ρ})

$C_{5/2}(d) = \sigma^2\left(1 + \frac{\sqrt 5 d}{\rho} + \frac{5d^2}{3\rho^2} \right) \exp \left(- \frac{\sqrt 5 d}{\rho}\right)$

ν \to \infty

$\nu \to \infty$

C_{ν}

$C_\nu$

สำหรับ

, ฟังก์ชั่นความแปรปรวน Matern ให้แน่นอนชี้แจงเคอร์เนล

lim_{ν \to \infty} C_{ν} (d) = σ^{2} \exp (- \frac{d^{2}}{2 ρ^{2}})

$\lim_{\nu \to \infty} C_\nu(d) = \sigma^2 \exp \left( -\frac{d^2}{2\rho^2}\right)$

ν = 1 / 2

$\nu = 1/2$

C_{1 / 2} (d) = σ^{2} \exp (- \frac{d}{ρ})

$C_{1/2}(d) = \sigma^2 \exp\left( -\frac{d}{\rho} \right)$

$\nu$ $\lceil \nu \rceil -1$ อนุพันธ์

นี่เป็นภาพที่แสดงให้เห็นอย่างชัดเจนจากRasmussen & Williams (2006)

ในการแก้ไขข้อมูลเชิงพื้นที่สไตน์ (ผู้เสนอชื่อจริงของฟังก์ชันความแปรปรวนMatérn) ระบุ (หน้า 30) ว่าความแตกต่างที่ไม่สิ้นสุดของฟังก์ชันความแปรปรวนแบบเกาส์ทำให้เกิดผลลัพธ์ที่ไม่สมจริงเนื่องจากกระบวนการทางกายภาพเพียงเล็กน้อย ตามทฤษฎีอวกาศ / เวลาควรทำหน้าที่ทั้งหมด ดังนั้นเขาจึงเสนอรุ่นMatérnเป็นลักษณะทั่วไปที่สามารถจับคู่กระบวนการทางกายภาพได้สมจริงยิ่งขึ้น

สรุป

$\nu$ )

$\nu$

— Dahn
แหล่งที่มา

1

(+1) ฉันอยากรู้ว่ามีคำอธิบายหรือความเป็นมาของฟังก์ชันความแปรปรวนร่วมนี้ในหนังสือของMatérn pub.epsilon.slu.se/10033/1/หรือไม่? ฉันไม่สามารถค้นหาได้จนถึงตอนนี้ ฟังก์ชั่นความแปรปรวนร่วมนี้ดูเหมือนว่าจะมีสถานที่ที่โดดเด่นมากในหนังสือของสไตน์ดังนั้นฉันอยากรู้มากกว่านี้

— MachineEpsilon

@Machineepsilon Matérnทุกคนพูดถึงจริง ๆ / กำหนดฟังก์ชั่นหรือไม่? ฉันได้รับความรู้สึกจากหนังสือของสไตน์ว่าเขาเป็นคนหนึ่งที่ได้มากับหนังสือเล่มนี้และตั้งชื่อตามMatérn

— Dahn

ฉันไม่แน่ใจว่าเป็นสิ่งที่ฉันต้องการค้นหา! ฉันจะลองดูสิเพราะรัสมุสเซนอ้างอิงหนังสือด้วย

— MachineEpsilon