ผลประโยชน์ของกระบวนการแบบเกาส์

ฉันมีความสับสนเกี่ยวกับประโยชน์ของกระบวนการแบบเกาส์เซียน ฉันหมายถึงการเปรียบเทียบกับการถดถอยเชิงเส้นอย่างง่ายซึ่งเราได้กำหนดไว้ว่าฟังก์ชั่นเชิงเส้นเป็นแบบจำลองข้อมูล

อย่างไรก็ตามในกระบวนการแบบเกาส์เซียนเรากำหนดการกระจายตัวของฟังก์ชั่นหมายความว่าเราไม่ได้กำหนดว่าฟังก์ชั่นควรเป็นแบบเส้นตรง เราสามารถกำหนดฟังก์ชั่นก่อนหน้าซึ่งเป็น Gaussian ก่อนหน้าซึ่งกำหนดคุณสมบัติเช่นฟังก์ชันที่ควรจะราบรื่นและทั้งหมด

ดังนั้นเราไม่จำเป็นต้องกำหนดรูปแบบที่ชัดเจน อย่างไรก็ตามฉันมีคำถาม เรามีความเป็นไปได้เล็กน้อยและใช้มันเราสามารถปรับพารามิเตอร์ฟังก์ชันความแปรปรวนร่วมของ Gaussian ก่อน ดังนั้นนี่คล้ายกับการกำหนดประเภทของฟังก์ชั่นที่มันควรจะไม่ใช่

มันเดือดลงไปในสิ่งเดียวกันกับการกำหนดพารามิเตอร์แม้ว่าใน GP จะเป็นพารามิเตอร์ สำหรับเช่นในบทความนี้ พวกเขาได้นิยามว่าฟังก์ชันค่าเฉลี่ยของ GP นั้นเป็นอย่างไร

$$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$$

ดังนั้นแน่นอนว่ารูปแบบ / ฟังก์ชั่นนั้นไม่ได้ถูกกำหนดไว้ อะไรคือความแตกต่างในการนิยามฟังก์ชั่นให้เป็นแบบเชิงเส้นเหมือนใน LR

ฉันไม่ได้รับประโยชน์อะไรจากการใช้ GP

ลองนึกถึงสูตรบางอย่างเกี่ยวกับการถดถอยของกระบวนการแบบเกาส์เซียน สมมติว่าเรามีตัวอย่าง N สำหรับ loglikelihood ตัวอย่างนี้มีรูปแบบ: ที่เป็นเมทริกซ์ความแปรปรวนร่วมตัวอย่าง มีเป็นฟังก์ชันความแปรปรวนร่วมกับพารามิเตอร์ที่เราปรับแต่งโดยใช้ loglikelihood maximization การทำนาย (ค่าเฉลี่ยหลัง) สำหรับจุดใหม่มีรูปแบบ: มี$D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$

$$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$$ $K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$$k(\mathbf{x}_i, \mathbf{x}_j)$$\mathbf{x}$ $$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$$ $\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$ เป็นเวกเตอร์ของความแปรปรวนร่วมระหว่างจุดใหม่และจุดตัวอย่าง

ตอนนี้ทราบว่าการถดถอยแบบเกาส์กระบวนการสามารถสร้างแบบจำลองเชิงเส้นที่แน่นอน สมมติว่าฟังก์ชั่นที่มีความแปรปรวนแบบฟอร์ม\ ในกรณีนี้การทำนายมีรูปแบบ: ตัวตนเป็นจริงในกรณีเป็นแบบไร้ซึ่งไม่ใช่ตัวอักษร แต่นี่ไม่ใช่ปัญหาในกรณีที่เราใช้เมทริกซ์ความแปรปรวนร่วมแปรปรวน ด้านขวาสุดคือสูตรที่แน่นอนสำหรับการถดถอยเชิงเส้นและเราสามารถทำการถดถอยเชิงเส้นด้วยกระบวนการเกาส์เซียนโดยใช้ฟังก์ชันความแปรปรวนร่วมที่เหมาะสม$k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

$$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$$ $(X X^T)^{-1}$

ทีนี้ลองพิจารณาการถดถอยแบบเกาส์กระบวนการด้วยฟังก์ชันความแปรปรวนร่วมแบบอื่น (ตัวอย่างเช่นฟังก์ชันความแปรปรวนแบบยกกำลังสองของรูปแบบ ,คือเมทริกซ์ของเราปรับแต่ง) เห็นได้ชัดว่าในกรณีนี้ค่าเฉลี่ยหลังไม่ได้เป็นฟังก์ชั่นเชิงเส้น (ดูภาพ)$\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$$A$

.

ดังนั้นข้อดีคือเราสามารถจำลองฟังก์ชันที่ไม่เชิงเส้นโดยใช้ฟังก์ชันความแปรปรวนร่วมที่เหมาะสม (เราสามารถเลือกฟังก์ชันที่แปรปรวนได้ในกรณีส่วนใหญ่ฟังก์ชั่นความแปรปรวนแบบยกกำลังสองนั้นเป็นตัวเลือกที่ค่อนข้างดี) แหล่งที่มาของความไม่เชิงเส้นไม่ใช่องค์ประกอบแนวโน้มที่คุณกล่าวถึง แต่เป็นฟังก์ชันความแปรปรวนร่วม

สำหรับฉันข้อได้เปรียบที่ใหญ่ที่สุดของกระบวนการแบบเกาส์เซียนคือความสามารถโดยธรรมชาติในการสร้างแบบจำลองความไม่แน่นอนของแบบจำลอง สิ่งนี้มีประโยชน์อย่างเหลือเชื่อเพราะให้ค่าที่คาดหวังของฟังก์ชันและความแปรปรวนที่สอดคล้องกันฉันสามารถกำหนดตัวชี้วัด (เช่น ฟังก์ชัน Aquisition ) ที่สามารถบอกฉันได้ว่าอะไรคือจุดที่ฉันควรประเมินฟังก์ชันพื้นฐานของที่จะ ส่งผลให้ (ความคาดหมาย) มูลค่าสูงสุดของ(x) นี้เป็นพื้นฐานของเบส์เพิ่มประสิทธิภาพ$x$$f$$f(x)$

คุณอาจจะรู้ว่าการตรวจสอบข้อเท็จจริงกับการแสวงหาผลประโยชน์ค้าปิด เราต้องการที่จะหาของฟังก์ชั่นบาง (ซึ่งมักจะมีราคาแพงในการประเมิน) และดังนั้นเราจึงจำเป็นที่จะประหยัดเกี่ยวกับการที่เราเลือกที่จะประเมินฉเราอาจต้องการดูสถานที่ใกล้กับจุดที่เรารู้ว่าฟังก์ชั่นมีมูลค่าสูง (การหาประโยชน์) หรือที่จุดที่เราไม่มีความคิดเกี่ยวกับมูลค่าของฟังก์ชั่น (การสำรวจ) กระบวนการแบบเกาส์ให้ข้อมูลที่จำเป็นแก่เราในการตัดสินใจเกี่ยวกับการประเมินครั้งต่อไป: ค่าเฉลี่ยและเมทริกซ์ความแปรปรวนร่วม (ความไม่แน่นอน) ช่วยให้เช่นการเพิ่มประสิทธิภาพของฟังก์ชั่นกล่องดำราคาแพง$max$$f$$x$$f$$\mu$$\Sigma$