ทำความเข้าใจเกี่ยวกับการถดถอยกระบวนการแบบเกาส์ผ่านมุมมองฟังก์ชั่นพื้นฐานมิติที่ไม่มีที่สิ้นสุด

บ่อยครั้งมีการกล่าวกันว่าการถดถอยของกระบวนการเกาส์เซียนสอดคล้องกับการถดถอยเชิงเส้นแบบเบย์ด้วยฟังก์ชั่นพื้นฐานจำนวนไม่ จำกัด ตอนนี้ฉันกำลังพยายามที่จะเข้าใจในรายละเอียดเพื่อให้ได้สัญชาตญาณว่ารุ่นใดที่ฉันสามารถแสดงโดยใช้ GPR

คุณคิดว่านี่เป็นวิธีการที่ดีในการพยายามทำความเข้าใจ GPR หรือไม่?

ในหนังสือGaussian Processes สำหรับการเรียนรู้ของเครื่อง Rasmussen และ Williams แสดงให้เห็นว่าชุดของกระบวนการ gaussian ที่อธิบายโดยเคอร์เนลเลขชี้กำลังเชิงเอ็กซ์โพเรนเชียลพารามิเตอร์สามารถอธิบายได้อย่างเท่าเทียมกันว่าเป็นการถดถอยแบบเบย์ด้วยความเชื่อก่อนหน้านี้กับน้ำหนักและจำนวนฟังก์ชันพื้นฐานพื้นฐานของรูปแบบ ดังนั้นพารามิเตอร์ของเคอร์เนลสามารถแปลได้อย่างเต็มที่ในการกำหนดพารามิเตอร์ของฟังก์ชันพื้นฐาน

k (x, x^{'}; l) = σ_{p}^{2} \exp (- \frac{(x - x)^{2}}{2 l^{2}})

$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$

w \sim N (0, σ_{p}^{2} I)

$w \sim \mathcal{N}(0,\sigma_p^2 I)$

ϕ_{c} (x; l) = \exp (- \frac{(x - c)^{2}}{2 l^{2}})

$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$

parameterisation ของเคอร์เนล differentiable สามารถแปลเป็น parameterisation ของฟังก์ชั่นพื้นฐานและพื้นฐานหรือมีเมล็ดที่แตกต่างกันได้หรือไม่เช่นหมายเลขของฟังก์ชั่นพื้นฐานขึ้นอยู่กับการกำหนดค่าหรือไม่

ความเข้าใจของฉันจนถึงตอนนี้สำหรับฟังก์ชันเคอร์เนลคงที่ k (x, x ') ทฤษฎีของ Mercer'sบอกเราว่าสามารถแสดงเป็น $k(x,x')$ โดยที่เป็นฟังก์ชันไม่ว่าจะเป็นจำนวนจริงหรือจำนวนเชิงซ้อน ดังนั้นสำหรับเคอร์เนลที่กำหนดโมเดลการถดถอยแบบเบย์ที่สอดคล้องกันจะมีก่อนหน้า

k (x, x^{'}) = Σ_{ผม = 1}^{\infty} λ_{ผม} φ_{ผม} (x) φ_{ผม} (x^{'})

$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$

ϕ_{i}

$\phi_i$

และฟังก์ชั่นพื้นฐาน

ฉัน

ดังนั้น GP ทุกตัวสามารถกำหนดเป็นรูปแบบการถดถอยเชิงเส้นแบบเบย์ได้ในแนวทแยงก่อน อย่างไรก็ตามถ้าตอนนี้เราใช้ทฤษฎีบทของ Mercers สำหรับทุกการตั้งค่าของเคอร์เนลที่กำหนดพารามิเตอร์

ที่สามารถสร้างความแตกต่างได้ในทุกๆ

ค่าลักษณะเฉพาะและ eigenfunctions อาจแตกต่างกันสำหรับการตั้งค่าทุกอย่าง

w \sim N (0, diag ([λ_{1}^{2}, \dots]))

$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$

ϕ_{i}

$\phi_i$

k (x, x^{'}, θ)

$k(x,x',\theta)$

θ

$\theta$

คำถามต่อไปของฉันเกี่ยวกับทฤษฎีบทผกผันของเมอร์เซอร์

ชุดของฟังก์ชันพื้นฐานใดที่นำไปสู่เมล็ดที่ถูกต้อง

และส่วนต่อขยาย

ชุดของฟังก์ชั่นพื้นฐานแบบแปรพารามิเตอร์ใดที่นำไปสู่

gaussian-process kernel-trick basis-function

— Julian Karls
แหล่งที่มา

นี่เป็นข้อสังเกตเล็กน้อย บางทีคนอื่นสามารถกรอกรายละเอียด

1) การเป็นตัวแทนพื้นฐานเป็นความคิดที่ดีเสมอ เป็นการยากที่จะหลีกเลี่ยงพวกเขาหากคุณต้องการทำสิ่งที่คำนวณด้วยฟังก์ชันความแปรปรวนร่วมของคุณ การขยายพื้นฐานสามารถให้คุณประมาณเคอร์เนลและสิ่งที่จะทำงานด้วย ความหวังคือคุณสามารถค้นหาพื้นฐานที่เหมาะสมสำหรับปัญหาที่คุณพยายามแก้ไข

$\theta$ $\theta$

โดยทั่วไปจำนวนฟังก์ชั่นพื้นฐานจะไม่มีที่สิ้นสุด (นับไม่ได้) ดังนั้นจำนวนจะไม่แปรตามพารามิเตอร์เว้นแต่ว่าค่าบางค่าจะทำให้เคอร์เนลเสื่อมสภาพ

$w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$ $w$ $diag[\lambda_1^2, \ldots]$

$\lambda_i$ $\lambda_i$ $x$

ถ้าฟังก์ชั่นพื้นฐานไม่ใช่มุมฉากมันก็จะยากขึ้นที่จะแสดงว่าความแปรปรวนร่วมที่นิยามจากพวกมันนั้นเป็นบวกแน่นอน เห็นได้ชัดว่าในกรณีนี้คุณไม่ได้เกี่ยวข้องกับการขยายตัวของไอจีนิน แต่มีวิธีอื่นในการประมาณฟังก์ชั่นที่น่าสนใจ

อย่างไรก็ตามฉันไม่คิดว่าคนทั่วไปจะเริ่มจากฟังก์ชั่นมากมายแล้วลองสร้างเคอร์เนลความแปรปรวนร่วมจากพวกมัน

RE: ความแตกต่างของเคอร์เนลและความแตกต่างของฟังก์ชันพื้นฐาน จริง ๆ แล้วฉันไม่รู้คำตอบของคำถามนี้ แต่ฉันจะให้ข้อสังเกตต่อไปนี้

การวิเคราะห์เชิงหน้าที่ดำเนินการโดยการประมาณฟังก์ชั่น (จากพื้นที่มิติที่ไม่มีที่สิ้นสุด) โดยผลรวมจำนวน จำกัด ของฟังก์ชันที่ง่ายขึ้น เพื่อให้งานนี้ทุกอย่างขึ้นอยู่กับประเภทของการบรรจบที่เกี่ยวข้อง โดยทั่วไปหากคุณกำลังทำงานกับชุดขนาดกะทัดรัดที่มีคุณสมบัติการรวมตัวที่แข็งแกร่ง (การบรรจบกันอย่างสม่ำเสมอหรือการสรุปแบบสัมบูรณ์) ในฟังก์ชั่นที่น่าสนใจคุณจะได้รับผลลัพธ์ที่เป็นธรรมชาติที่คุณกำลังมองหา: คุณสมบัติของฟังก์ชั่นง่าย ๆ ฟังก์ชั่น จำกัด - เช่นถ้าเคอร์เนลเป็นฟังก์ชั่น differentiable ของพารามิเตอร์จากนั้นฟังก์ชั่นการขยายตัวจะต้องเป็นฟังก์ชั่น differentiable ของพารามิเตอร์เดียวกันและในทางกลับกัน ภายใต้คุณสมบัติการบรรจบกันที่อ่อนลงหรือโดเมนที่ไม่ได้กระชับจะไม่เกิดขึ้น จากประสบการณ์ของฉันมีตัวอย่างตอบโต้กับความคิด "สมเหตุสมผล" ที่เกิดขึ้น

หมายเหตุ: เพื่อป้องกันความสับสนที่อาจเกิดขึ้นจากผู้อ่านของคำถามนี้โปรดทราบว่าการขยายตัวของเกาส์เซียนของจุดที่ 1 ไม่ใช่ตัวอย่างของการขยายตัวแบบอิกูนของจุดที่ 2

— Placidia
แหล่งที่มา