ทำไมแบบจำลองกระบวนการเกาส์เซียนเรียกว่าไม่ใช่พารามิเตอร์?

ฉันสับสนเล็กน้อย ทำไมกระบวนการแบบเกาส์ที่เรียกว่าตัวแบบไม่ใช่พารามิเตอร์?

พวกเขาคิดว่าค่าการทำงานหรือส่วนย่อยของพวกเขามีเกาส์ก่อนหน้าด้วยค่าเฉลี่ย 0 และฟังก์ชันความแปรปรวนร่วมที่กำหนดให้เป็นฟังก์ชั่นเคอร์เนล ฟังก์ชั่นเคอร์เนลเหล่านี้มีพารามิเตอร์บางตัว (เช่นไฮเปอร์พารามิเตอร์)

เหตุใดพวกเขาจึงเรียกว่าแบบจำลองที่ไม่ใช่พารามิเตอร์

ฉันจะนำหน้าสิ่งนี้โดยบอกว่ามันไม่ชัดเจนเสมอไปว่า "nonparametric" หรือ "semiparametric" หมายถึงอะไรในความคิดเห็นดูเหมือนว่า whuber มีคำจำกัดความที่เป็นทางการอยู่ในใจจากบางครอบครัว { M θ : θ ∈ θ }ที่ θเป็นอนันต์มิติ) แต่ฉันจะเป็นทางการสวย บางคนอาจแย้งว่าวิธีที่ไม่ใช่พารามิเตอร์นั้นเป็นวิธีที่จำนวนพารามิเตอร์ที่มีประสิทธิภาพที่คุณใช้เพิ่มขึ้นกับข้อมูล ฉันคิดว่ามีวิดีโอใน videolectures.net ซึ่ง (ฉันคิดว่า) ปีเตอร์ออร์แบนซ์ให้เวลาสี่หรือห้าวิธีในการกำหนด "nonparametric"$M_\theta$$\{M_\theta: \theta \in \Theta\}$$\Theta$

เนื่องจากฉันคิดว่าฉันรู้ว่าสิ่งที่คุณมีอยู่ในใจสำหรับความเรียบง่ายฉันจะสมมติว่าคุณกำลังพูดถึงการใช้กระบวนการแบบเกาส์สำหรับการถดถอยโดยทั่วไป: เรามีข้อมูลการฝึกอบรมและเรามีความสนใจในการสร้างแบบจำลองเงื่อนไขเฉลี่ยE ( Y | X = x ) : = F ( x ) เราเขียน Y i = f ( X i$(Y_i, X_i), i = 1, ..., n$$E(Y|X = x) := f(x)$ และบางทีเราก็กล้าที่จะสมมติว่า ϵ iเป็น iid และกระจายแบบปกติ,

ถ้าเราสามารถใช้ค่าในความต่อเนื่องแล้วf ( ⋅ )อาจจะคิดว่าเป็นพารามิเตอร์ของ (uncountably) มิติอนันต์ ดังนั้นในแง่ที่ว่าเรากำลังประเมินพารามิเตอร์ของมิติที่ไม่มีที่สิ้นสุดปัญหาของเราคือหนึ่งที่ไม่ใช่พารามิเตอร์ มันเป็นความจริงที่ว่าวิธีการแบบเบย์มีพารามิเตอร์บางอย่างลอยอยู่ที่นี่และที่นั่น แต่จริงๆแล้วมันเรียกว่า nonparametric เพราะเราประมาณบางอย่างของมิติที่ไม่มีที่สิ้นสุด GP ระดับสูงที่เราใช้กำหนดมวลให้กับทุกย่านของทุกฟังก์ชั่นต่อเนื่องเพื่อให้พวกเขาสามารถประเมินฟังก์ชันต่อเนื่องใด ๆ ก็ได้ตามอำเภอใจ$X_i$$f(\cdot)$

สิ่งที่อยู่ในฟังก์ชั่นความแปรปรวนร่วมนั้นมีบทบาทคล้ายกับพารามิเตอร์การปรับให้เรียบในตัวประมาณความถี่แบบปกติ - เพื่อให้ปัญหาไม่สิ้นหวังอย่างแท้จริงเราต้องสมมติว่ามีโครงสร้างบางอย่างที่เราคาดว่าจะเห็นจัดแสดง f Bayesians ทำสิ่งนี้ให้สำเร็จโดยใช้ก่อนบนพื้นที่ของฟังก์ชันต่อเนื่องในรูปแบบของกระบวนการ Gaussian จากมุมมองแบบเบย์เรากำลังเข้ารหัสความเชื่อเกี่ยวกับ fโดยสมมติว่า fถูกดึงมาจาก GP ด้วยฟังก์ชันความแปรปรวนร่วมเช่นนั้น ก่อนหน้านี้ได้อย่างมีประสิทธิภาพลงโทษประมาณการของ fที่ซับซ้อนเกินไป$f$$f$$f$$f$

แก้ไขสำหรับปัญหาการคำนวณ

ส่วนใหญ่ (ทั้งหมด?) ของสิ่งนี้อยู่ในหนังสือ Gaussian Process โดย Rasmussen และ Williams

ปัญหาการคำนวณเป็นเรื่องยุ่งยากสำหรับจีพีเอส หากเราดำเนินการอย่างไม่เร่งรีบเราจะต้องใช้หน่วยความจำขนาดเพียงเพื่อเก็บเมทริกซ์ความแปรปรวนร่วมและ (ปรากฎ)การดำเนินการO ( N 3 )เพื่อกลับด้าน มีบางสิ่งที่เราสามารถทำได้เพื่อทำให้สิ่งต่าง ๆ เป็นไปได้มากขึ้น ทางเลือกหนึ่งคือการสังเกตว่าผู้ชายที่เราต้องการจริงๆคือvวิธีแก้ปัญหา( K + σ 2 I ) v = Yโดยที่Kคือเมทริกซ์ความแปรปรวนร่วม วิธีการไล่ระดับสีคอนจูเกตจะแก้ปัญหานี้ในO ( N 3$O(N^2)$$O(N^3)$$v$$(K + \sigma^2 I)v = Y$$K$$O(N^3)$$k$$O(kN^2)$$K$

$O(N^3)$$O(kN^2)$$N$$m$$m \times m$$Y$$N$ของสิ่งที่อยู่ห่างออกไปและเราลงไปที่การคำนวณ O ( m 2 N $m$$O(m^2 N)$

มีตัวเลือกอื่น ๆ ให้เลือกสองตัว เราสามารถสร้างการประมาณระดับต่ำให้กับและตั้งค่าK = Q Q Tโดยที่Qคือn × qและอันดับq ; มันกลับกลายเป็นK + σ 2 Iในกรณีนี้สามารถทำได้โดยการกลับไปทำQ T Q + σ 2 Iแทน อีกทางเลือกหนึ่งคือการเลือกฟังก์ชั่นความแปรปรวนร่วมที่จะกระจัดกระจายและใช้วิธีการไล่ระดับสีแบบคอนจูเกต - หากเมทริกซ์ความแปรปรวนร่วมมีความเบาบางมากดังนั้นสิ่งนี้สามารถเพิ่มความเร็วในการคำนวณได้อย่างมาก$K$$K = QQ^T$$Q$$n \times q$$q$$K + \sigma^2 I$$Q^TQ + \sigma^2 I$

โดยทั่วไปแล้ว "nonparametric" ใน nonesametrics แบบเบย์หมายถึงโมเดลที่มีพารามิเตอร์ (ที่มีศักยภาพ) จำนวนนับไม่ถ้วน มีบทเรียนและการบรรยายที่ดีมากมายเกี่ยวกับ videolectures.net ( เช่นนี้ ) ซึ่งให้ภาพรวมที่ดีของโมเดลรุ่นนี้

โดยเฉพาะกระบวนการเกาส์เซียน (GP) ถือเป็นแบบไม่พารามิเตอร์เนื่องจาก GP หมายถึงฟังก์ชั่น (เช่นเวกเตอร์ขนาดอนันต์) เมื่อจำนวนจุดข้อมูลเพิ่มขึ้น ((x, f (x)) คู่) ดังนั้นจำนวนของพารามิเตอร์ 'พารามิเตอร์' (จำกัด รูปร่างของฟังก์ชัน) ซึ่งแตกต่างจากตัวแบบพารามิเตอร์ซึ่งจำนวนพารามิเตอร์ยังคงได้รับการแก้ไขตามขนาดของข้อมูลในตัวแบบที่ไม่ใช่พารามิเตอร์จำนวนพารามิเตอร์จะเพิ่มขึ้นตามจำนวนจุดข้อมูล

พารามิเตอร์ที่คุณเรียกว่าพารามิเตอร์ไฮเปอร์พารามิเตอร์ไม่ได้เป็นแรงจูงใจทางร่างกายและดังนั้นชื่อ พวกเขาจะใช้พารามิเตอร์ของฟังก์ชันเคอร์เนล ตัวอย่างในเคอร์เนลเกาส์เซียน:

$K(x_i,x_j) = h^2 \exp(\frac{-(x_i - x_j)^2}{\lambda^2})$

$h$$\lambda$

ปัญหานี้ได้รับการแก้ไขในการบรรยายครั้งนี้เช่นกันอาจช่วยให้เข้าใจมากขึ้น