ปัญหาของเล่นถดถอยแบบเกาส์

ฉันกำลังพยายามที่จะได้รับปรีชาสำหรับการถดถอยแบบเกาส์กระบวนการดังนั้นฉันจึงสร้างปัญหาของเล่น 1D แบบง่ายๆเพื่อทดลองใช้ ฉันใช้เป็นอินพุตและเป็นคำตอบ ('ได้แรงบันดาลใจ' จาก ) $x_i=\{1,2,3\}$ $y_i=\{1,4,9\}$ $y=x^2$

สำหรับการถดถอยฉันใช้ฟังก์ชันเคอร์เนลเอ็กซ์โพเนนเชียลกำลังสองมาตรฐาน:

k (x_{p}, x_{q}) = σ_{f}^{2} \exp (- \frac{1}{2 l^{2}} {| x_{p} - x_{q} |}^{2})

$k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right)$

ฉันสันนิษฐานว่ามีเสียงรบกวนพร้อมค่าเบี่ยงเบนมาตรฐาน $\sigma_n$ ดังนั้นเมทริกซ์ความแปรปรวนร่วมจึงกลายเป็น:

K_{p q} = k (x_{p}, x_{q}) + σ_{n}^{2} δ_{p q}

$K_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq}$

hyperparameters $(\sigma_n,l,\sigma_f)$ อยู่ที่ประมาณโดยการเพิ่มโอกาสในการเข้าสู่ระบบของข้อมูล เพื่อให้การคาดการณ์ที่จุด $x_\star$ ฉันพบค่าเฉลี่ยและความแปรปรวนตามลำดับโดยต่อไปนี้

μ_{x_{⋆}} = k_{⋆}^{T} (K + σ_{n}^{2} I)^{- 1} y

$\mu_{x_\star} = k_\star^T (\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} y$

σ_{x_{⋆}}^{2} = k (x_{⋆}, x_{⋆}) - k_{⋆}^{T} (K + σ_{n}^{2} I)^{- 1} k_{⋆}

$\sigma_{x_\star}^2 = k(x_\star,x_\star)-k_\star^T(\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} k_\star$

โดยที่ $k_\star$ เป็นเวกเตอร์ของความแปรปรวนร่วมระหว่าง $x_\star$ และอินพุตและ $y$ เป็นเวกเตอร์ของเอาต์พุต

ผลลัพธ์ของฉันสำหรับ $1<x<3$ แสดงอยู่ด้านล่าง เส้นสีฟ้าคือค่าเฉลี่ยและเส้นสีแดงทำเครื่องหมายช่วงค่าเบี่ยงเบนมาตรฐาน

ผลที่ได้

ฉันไม่แน่ใจว่าสิ่งนี้ถูกต้องหรือไม่ อินพุตของฉัน (ทำเครื่องหมายโดย 'X's) ไม่ได้อยู่บนเส้นสีน้ำเงิน ตัวอย่างส่วนใหญ่ที่ฉันเห็นมีค่าเฉลี่ยตัดกับอินพุต นี่เป็นคุณสมบัติทั่วไปที่คาดหวัง

regression gaussian-process

— Comp_Warrior
แหล่งที่มา

ถ้าฉันต้องเดาในตัวอย่างที่คุณดูไม่มีข้อผิดพลาดตกค้าง ในกรณีนั้นเส้นจะผ่านจุดทั้งหมด

— ผู้ชาย

@ ซื้อถูกต้องแล้ว

คำตอบ:

ฟังก์ชั่นเฉลี่ยที่ผ่านดาต้าพอยน์มักจะเป็นตัวบ่งชี้ของการปรับตัวที่มากเกินไป การปรับพารามิเตอร์ไฮเปอร์ให้เหมาะสมโดยการเพิ่มความน่าจะเป็นที่ขอบจะทำให้รูปแบบง่ายมากเว้นแต่ว่ามีข้อมูลเพียงพอที่จะพิสูจน์สิ่งที่ซับซ้อนมากขึ้น เนื่องจากคุณมีดาต้าพอยท์เพียงสามตัวเท่านั้นซึ่งมีจำนวนมากขึ้นหรือน้อยลงซึ่งมีสัญญาณรบกวนน้อยรูปแบบที่พบนั้นดูสมเหตุสมผลสำหรับฉัน เป็นหลักข้อมูลสามารถอธิบายได้ว่าเป็นฟังก์ชั่นพื้นฐานเชิงเส้นที่มีสัญญาณรบกวนปานกลางหรือฟังก์ชั่นพื้นฐานที่ไม่ใช่เชิงเส้นปานกลางที่มีสัญญาณรบกวนน้อย อดีตคือความเรียบง่ายของสองสมมติฐานและได้รับการสนับสนุนจาก "Occam's razor"

— Dikran Marsupial
แหล่งที่มา

ขอบคุณสำหรับการป้อนข้อมูล คุณช่วยบอกฉันเพิ่มเติมเกี่ยวกับ "over-fitting"; มันเป็นคุณสมบัติบวก / ลบ?

— Comp_Warrior

over-fitting เป็นสิ่งที่เป็นลบมันโดยทั่วไปหมายความว่าแบบจำลองนั้นจดจำการเปลี่ยนแปลงแบบสุ่มในข้อมูลซึ่งมีแนวโน้มที่จะทำให้ประสิทธิภาพการทำงานทั่วไปแย่ลง เป็นการดีที่คุณต้องการให้รูปแบบการเรียนรู้รูปแบบพื้นฐานของข้อมูลในขณะที่ละเว้นเสียงรบกวนการปนเปื้อน หนังสือเรียนรู้ด้วยเครื่องจักรที่ดีที่สุดส่วนใหญ่จะกล่าวถึงในตอนต้น

— Dikran Marsupial

เพิ่งหมดความสนใจทำไมต้องโหวต?

— Dikran Marsupial

ฉันไม่ได้ลงคะแนนคุณ ในความเป็นจริงฉัน upvoted!

— Comp_Warrior

ไม่มีปัญหา Comp_Warrior ฉันไม่คิดว่ามันเป็นคุณ แต่มีบางคนลงคะแนนให้กับคำตอบของฉันและฉันยินดีที่จะให้ข้อเสนอแนะเกี่ยวกับสาเหตุ พวกเราทุกคนผิดพลาดได้และถ้าฉันมีบางอย่างผิดปกติในคำตอบของฉันฉันก็กระตือรือร้นที่จะแก้ไข

— Dikran Marsupial

คุณกำลังใช้เครื่องมือประมาณการ Kriging ด้วยการเพิ่มคำที่มีเสียงรบกวน (รู้จักกันในชื่อเอฟเฟกต์นักเก็ตในวรรณคดีกระบวนการเกาส์เซียน) หากคำว่าเสียงถูกตั้งค่าเป็นศูนย์เช่น

σ_{n}^{2} δ_{p q} = 0

$\sigma^2_n \delta_{pq}=0$

จากนั้นการคาดการณ์ของคุณจะทำหน้าที่เป็นการแก้ไขและส่งผ่านจุดข้อมูลตัวอย่าง

นี่ดูโอเคสำหรับฉันในหนังสือ GP โดย Rasmussen มันแสดงตัวอย่างที่ฟังก์ชันค่าเฉลี่ยไม่ผ่านจุดข้อมูลแต่ละจุด โปรดทราบว่าบรรทัดการถดถอยเป็นค่าประมาณสำหรับฟังก์ชันพื้นฐานและเราสมมติว่าการสังเกตเป็นค่าฟังก์ชันพื้นฐานบวกกับเสียงรบกวน หากเส้นการถดถอยอ้างอิงจากทั้งสามจุดมันจะบอกว่าไม่มีเสียงรบกวนในค่าที่สังเกตได้

คุณสามารถบังคับให้ไม่มีข้อสมมติฐานด้านเสียงรบกวนโดยการตั้งค่าและเพิ่มประสิทธิภาพพารามิเตอร์ไฮเปอร์อื่น ๆ $\sigma_n = 0$

ฉันยังต้องสงสัยว่า Hyper-parmeterจะถูกตั้งค่าที่ค่อนข้างใหญ่ให้ฟังก์ชั่นตื้นมาก $l$

คุณสามารถลองจับด้วยค่าที่น้อยกว่าและดูว่ามันเปลี่ยนเส้นโค้งอย่างไร บางทีถ้าคุณบังคับให้เล็กกว่านี้เส้นถดถอยจะผ่านจุดข้อมูลทั้งหมด $l$ $l$

ดังที่ระบุไว้โดย Dikran Marsupial นี่เป็นฟีเจอร์ที่สร้างขึ้นในกระบวนการแบบเกาส์เซียนความเป็นไปได้ที่จะลงโทษโมเดลที่เฉพาะเจาะจงมากเกินไปและชอบสิ่งที่สามารถอธิบายชุดข้อมูลจำนวนมากได้

— Max S.
แหล่งที่มา