กระบวนการแบบเกาส์: คุณสมบัติการประมาณฟังก์ชั่น

ฉันกำลังเรียนรู้เกี่ยวกับกระบวนการแบบเกาส์เซียนและเคยได้ยินเพียงส่วนน้อยเท่านั้น จะขอบคุณความคิดเห็นและคำตอบจริงๆ

สำหรับชุดข้อมูลใด ๆ เป็นความจริงหรือไม่ที่การประมาณค่าฟังก์ชันเกาส์เซียนจะทำให้เกิดข้อผิดพลาดในการปรับศูนย์หรือเล็กน้อยที่จุดข้อมูล? ในสถานที่อื่นฉันยังได้ยินว่ากระบวนการแบบเกาส์นั้นดีสำหรับข้อมูลที่มีเสียงดัง สิ่งนี้ดูเหมือนว่าจะขัดแย้งกับข้อผิดพลาดที่เหมาะสมน้อยสำหรับข้อมูลใด ๆ ที่สังเกตได้?

นอกจากนี้ยิ่งห่างจากจุดข้อมูลดูเหมือนว่ามีความไม่แน่นอนมากขึ้น (ความแปรปรวนร่วมที่มากขึ้น) ถ้าเป็นเช่นนั้นมันจะทำงานเหมือนรุ่นในตัวเครื่อง (RBF ฯลฯ ) หรือไม่?

ในที่สุดมีคุณสมบัติการประมาณสากลหรือไม่?

gaussian-process

— oalah
แหล่งที่มา

ตัวอย่างข้อมูลที่สมมติว่าเป็น N และสมมติว่าเรามีฟังก์ชันความแปรปรวนร่วมและค่าเฉลี่ยศูนย์ที่ระบุสำหรับกระบวนการ Gussian การแจกแจงสำหรับจุดใหม่จะเป็น Gaussian ที่มีค่าเฉลี่ยและความแปรปรวนเวกเตอร์เป็นเวกเตอร์ของโควาเรีย , เมทริกซ์ $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m (x) = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$

V (x) = k (x, x) - k K^{- 1} k^{T} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$ เป็นเมทริกซ์ของค่าความแปรปรวนร่วมตัวอย่าง ในกรณีที่เราทำการทำนายโดยใช้ค่าเฉลี่ยของการกระจายหลังสำหรับคุณสมบัติการแก้ไขตัวอย่างถือ จริง ๆ

m (X) = K K^{- 1} y = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$ แต่มันก็ไม่ได้เกิดขึ้นถ้าเราใช้การทำให้เป็นมาตรฐานเช่นใช้คำว่าเสียงสีขาว ในกรณีนี้เมทริกซ์ความแปรปรวนร่วมสำหรับตัวอย่างมีรูปแบบ

K + σ I

$K + \sigma I$ แต่สำหรับค่าความแปรปรวนร่วมที่มีค่าฟังก์ชันจริงเรามีเมทริกซ์ความแปรปรวนร่วม

K

$K$ และค่าเฉลี่ยหลังคือ

m (X) = K (K + σ I)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$ นอกจากนี้การทำให้เป็นปกติจะทำให้ปัญหามีเสถียรภาพมากขึ้น

การเลือกความแปรปรวนของเสียงเราสามารถเลือกได้หากเราต้องการการแก้ไข ( ) หรือเราต้องการจัดการกับการสังเกตที่มีเสียงดัง (มีขนาดใหญ่) $\sigma$ $\sigma = 0$ $\sigma$

นอกจากนี้กระบวนการถดถอยแบบเกาส์เป็นวิธีท้องถิ่นเพราะความแปรปรวนของการคาดการณ์เติบโตขึ้นด้วยระยะทางจากตัวอย่างการเรียนรู้ แต่เราสามารถเลือกฟังก์ชันความแปรปรวนร่วมที่เหมาะสมและจัดการปัญหาที่ซับซ้อนกว่าด้วย RBF คุณสมบัติที่ดีอีกประการหนึ่งคือพารามิเตอร์จำนวนน้อย โดยปกติจะเท่ากับโดยที่คือมิติข้อมูล $k$ $O(n)$ $n$

— Alexey Zaytsev
แหล่งที่มา