เส้นโค้งเทียบกับการถดถอยของกระบวนการแบบเกาส์เซียน


15

ฉันรู้ว่า Gaussian Process Regression (GPR) เป็นอีกทางเลือกหนึ่งในการใช้ splines สำหรับโมเดลที่ไม่ใช่เชิงเส้นที่มีความยืดหยุ่น ฉันอยากจะรู้ว่าสถานการณ์ใดจะเหมาะสมกว่าสถานการณ์อื่นโดยเฉพาะอย่างยิ่งในกรอบการถดถอยแบบเบย์

ฉันได้ดูไปแล้วข้อดี / ข้อเสียของการใช้ Splines, Spline ที่ราบรื่น, และตัวเลียนแบบกระบวนการ Gaussian คืออะไร? แต่ดูเหมือนจะไม่มีอะไรใน GPR ในโพสต์นี้


ฉันจะบอกว่า GP เป็นวิธีที่ขับเคลื่อนด้วยข้อมูลมากขึ้นเพื่อปรับฟังก์ชั่นที่ไม่ใช่เชิงเส้น เส้นโค้งนั้น จำกัด อยู่ที่พหุนามที่ n GPs สามารถจำลองฟังก์ชั่นที่ซับซ้อนได้มากกว่าพหุนาม (ไม่แน่ใจ 100%)
Vladislavs Dovgalecs

คำตอบ:


15

ฉันเห็นด้วยกับคำตอบของ @j __

แต่ผมต้องการจะเน้นความจริงที่ว่าเส้นโค้งเป็นเพียงกรณีพิเศษของกระบวนการ Gaussian ถดถอย

หากคุณใช้เคอร์เนลชนิดใดประเภทหนึ่งในการถดถอยของกระบวนการแบบเกาส์เซียนคุณจะได้รับแบบจำลอง spline fitting

ความจริงเรื่องนี้ได้รับการพิสูจน์ในบทความนี้โดยKimeldorf และ Wahba (1970) มันค่อนข้างเป็นเรื่องทางเทคนิคเนื่องจากใช้การเชื่อมโยงระหว่างเมล็ดที่ใช้ในการ kriging และ Reproducing Kernel Hilbert Spaces (RKHS)


2
ตัวอย่างเช่นในกรณีหนึ่งมิติโมเดล GP สำหรับเส้นโค้งเรียบที่มีชื่อเสียงนั้นเป็นเพียงแค่เสียงรบกวนแบบเกาส์เซียนสีขาว สิ่งนี้ถูกใช้โดย Craig Ansley และ Robert Kohn เพื่อออกแบบอัลกอริทึมที่มีประสิทธิภาพในช่วงปลายทศวรรษ 1980 ฉันเชื่อว่าความเท่าเทียมกันนี้สามารถเข้าใจได้บางส่วนโดยไม่ต้องดำน้ำในคณิตศาสตร์ลึกของ RKHS
Yves

นี่เป็นคำตอบที่ดีมาก
Astrid

6

มันเป็นคำถามที่น่าสนใจมาก: ความเท่าเทียมกันระหว่างกระบวนการแบบเกาส์เซียนและเส้นโค้งที่ราบเรียบได้ถูกแสดงใน Kimeldorf และ Wahba 1970 การกำหนดรูปแบบทั่วไปของการโต้ตอบนี้ในกรณีของการแก้ไขข้อ จำกัด ได้รับการพัฒนาใน Bay et al 2016

เบย์และคณะ 2559. ลักษณะทั่วไปของสารบรรณคิมบูร์ก - วาห์บาสำหรับการแก้ไขแบบ จำกัด วารสารอิเล็กทรอนิกส์สถิติ

ในบทความนี้ได้มีการพูดถึงข้อดีของวิธีการแบบเบย์


2

ฉันเห็นด้วยกับความคิดเห็นของ @ xeon เช่นกัน GPR ทำให้การแจกแจงความน่าจะเป็นเหนือฟังก์ชันที่เป็นไปได้จำนวนอนันต์และฟังก์ชันค่าเฉลี่ย (ซึ่งมีลักษณะเหมือน spline) เป็นเพียงการประมาณ MAP แต่คุณก็มีความแปรปรวนด้วย สิ่งนี้จะช่วยให้มีโอกาสที่ดีเช่นการออกแบบการทดลอง นอกจากนี้หากคุณต้องการทำการรวม (พื้นที่สี่เหลี่ยมจัตุรัส) ของแบบจำลอง GP จะมีผลลัพธ์แบบเกาส์นซึ่งช่วยให้คุณมั่นใจในผลลัพธ์ของคุณ อย่างน้อยกับรุ่น spline มาตรฐานนี้เป็นไปไม่ได้

ในทางปฏิบัติ GPR ให้ผลลัพธ์ที่มีข้อมูลมากขึ้น (จากประสบการณ์ของฉัน) แต่โมเดล spline ดูเหมือนจะเร็วขึ้นในประสบการณ์ของฉัน

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.