กระบวนการแบบเกาส์ (การถดถอย) มีคุณสมบัติการประมาณค่าสากลหรือไม่?

ฟังก์ชันต่อเนื่องใด ๆ ใน [a, b] ซึ่ง a และ b เป็นตัวเลขจริงสามารถประมาณหรือใกล้กับฟังก์ชัน (ในบางบรรทัดฐาน) โดยกระบวนการ Gaussian (การถดถอย) ได้หรือไม่?

ในฐานะ @Dougal โน้ตมีสองวิธีที่แตกต่างกันซึ่งคำถามของคุณอาจถูกตีความ พวกเขามีความสัมพันธ์อย่างใกล้ชิดแม้ว่ามันอาจจะดูไม่เป็นเช่นนั้น

การตีความครั้งแรกคือ: ให้เป็นชุดย่อยของR d (ความกะทัดรัดเป็นพื้นฐานสำหรับทุกสิ่งต่อไปนี้ !!!), ให้k ( x , x )เป็นฟังก์ชันแปรปรวนต่อเนื่อง (หรือเคอร์เนล) ที่กำหนดบนX × X , และแสดงด้วยC ( X )พื้นที่เชิงบรรทัดฐานของฟังก์ชั่นต่อเนื่องบนXพร้อมกับบรรทัดฐานสูงสุด| | ⋅ | | ∞ สำหรับฟังก์ชันใด ๆf ∈ C ( X )สามารถf$X$$\mathbb{R}^d$$k(\mathbf{x},\mathbf{x})$$X\times X$$C(X)$$X$$||\cdot||_{\infty}$$f\in C(X)$$f$ใกล้เคียงกับความทนทานที่กำหนดไว้ล่วงหน้าโดยฟังก์ชั่นใน RKHS (Reproducing Kernel Hilbert Space) ที่เกี่ยวข้องกับ$\epsilon$$k$ ? คุณอาจสงสัยว่า RKHS คืออะไรสิ่งนี้เกี่ยวข้องกับการเปลี่ยนแปลงกระบวนการแบบเกาส์เซียน RKHS คือการปิดของปริภูมิเวกเตอร์ที่เกิดขึ้นจากขอบเขตที่เป็นไปได้เชิงเส้นการรวมกันของฟังก์ชั่นเป็นไปได้ทั้งหมดฉY ( x ) = k ( x , Y )ที่Y ∈ X นี้จะเกี่ยวข้องอย่างเคร่งครัดเพื่อการถดถอยกระบวนการ Gaussian เพราะได้รับกระบวนการ Gaussian ก่อนG $K(X)$$f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$$\mathbf{y}\in X$บนพื้นที่ C ( X )จากนั้นพื้นที่ (ปิดของ) ของวิธีหลังที่เป็นไปได้ทั้งหมดซึ่งสามารถสร้างได้โดย Gaussian Process Regression คือ RKHS ตามความเป็นจริงวิธีการหลังทั้งหมดที่เป็นไปได้นั้นอยู่ในรูปแบบ$GP(0,k(\mathbf{x},\mathbf{x}))$$C(X)$

คือพวกเขามีผลรวมเชิงเส้น จำกัด ของฟังก์ชั่น ) ดังนั้นเราจึงกำลังได้อย่างมีประสิทธิภาพถามว่าให้กระบวนการ Gaussian ก่อนG P ( 0 , k ( x , x ) )ในC ( X )สำหรับฟังก์ชั่นใด ๆฉ∈ C ( X )มีอยู่เสมอฟังก์ชั่นF $f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$$GP(0,k(\mathbf{x},\mathbf{x}))$$C(X)$$f\in C(X)$$f^*$ใน (ปิด) พื้นที่ของฟังก์ชั่นที่สามารถสร้างขึ้นโดย GPR ซึ่งเป็นใกล้เคียงเป็นที่ต้องการฉ$f$

คำตอบสำหรับเมล็ดโดยเฉพาะอย่างยิ่งบางคน (รวมทั้งคลาสสิกเคอร์เนล Squared ชี้แจง แต่ไม่รวมถึงเคอร์เนลพหุนาม) เป็นใช่ มันสามารถพิสูจน์ได้ว่าสำหรับเมล็ดนั้นหนาแน่นในC ( X )เช่นสำหรับf ∈ C ( X )และสำหรับความอดทนใด ๆϵมีf ∗ในK ( X )เช่นนั้น| | f - f ∗ | | ∞ < $K(X)$$C(X)$$f\in C(X)$$\epsilon$$f^*$$K(X)$$||f-f^*||_{\infty}<\epsilon$. หมายเหตุข้อสมมติฐาน: มีขนาดกะทัดรัด, fเป็นแบบต่อเนื่องและkเป็นเคอร์เนลต่อเนื่องที่มีคุณสมบัติการประมาณค่าแบบสากลที่เรียกว่า ดูที่นี่สำหรับการพิสูจน์แบบเต็มในบริบททั่วไปที่ซับซ้อนมากขึ้น$X$$f$$k$

ผลลัพธ์นี้มีพลังน้อยกว่าการมองตั้งแต่แรกเห็นมาก แม้ว่าอยู่ในพื้นที่ (ปิด) ของวิธีหลังซึ่งสามารถสร้างขึ้นโดย GPR เรายังไม่ได้พิสูจน์ว่ามันเป็นค่าเฉลี่ยหลังโดยเฉพาะกลับมาโดย GPR สำหรับชุดฝึกอบรมที่มีขนาดใหญ่พอที่แน่นอน ชุดการฝึกอบรมประกอบด้วยการสังเกตที่มีเสียงดังของFที่จุดx 1 , ... , x n เราไม่ได้พิสูจน์ด้วยซ้ำว่าค่าเฉลี่ยหลังถูกส่งกลับโดย GPR มาบรรจบกันสำหรับn → $f^*$$f$$\mathbf{x}_1,\dots,\mathbf{x}_n$$n \to \infty$! นี่คือการตีความครั้งที่สองที่ @Dougal แนะนำ คำตอบสำหรับคำถามนี้ขึ้นอยู่กับคำตอบของคำถามแรก: หากไม่มีฟังก์ชั่นใน RKHS ซึ่งเป็น "การประมาณที่ดี" ถึงfแน่นอนว่าเราไม่สามารถหวังได้ว่าค่าเฉลี่ยหลังถูกส่งกลับโดย GPR มัน. อย่างไรก็ตามมันเป็นคำถามที่แตกต่าง หากคุณต้องการคำตอบสำหรับคำถามนี้ด้วยโปรดถามคำถามใหม่$f^*$$f$