Gaussian RBF กับเคอร์เนล Gaussian

ความแตกต่างระหว่างการทำการถดถอยเชิงเส้นด้วยฟังก์ชั่น Gaussian Radial Basis (RBF) และการถดถอยเชิงเส้นด้วยเคอร์เนล Gaussian คืออะไร?

regression normal-distribution kernel-trick

— user35965
แหล่งที่มา

ยินดีต้อนรับสู่เว็บไซต์ @ user35965 โปรดสะกดคำย่อของคุณ โดย "RBF" คุณหมายถึงฟังก์ชันพื้นฐานของรัศมีหรือไม่?

— gung - Reinstate Monica

ใช่นั่นคือสิ่งที่ฉันหมายถึง exatcty บันทึกไว้อย่างถูกต้องสำหรับการอ้างอิงในอนาคต

— user35965

ความแตกต่างที่แท้จริงเพียงอย่างเดียวคือในการทำให้เป็นมาตรฐานที่ใช้ เครือข่าย RBF ที่ทำเป็นปกติโดยทั่วไปจะใช้บทลงโทษตามเกณฑ์กำลังสองของน้ำหนัก สำหรับรุ่นเคอร์เนลบทลงโทษมักจะอยู่ในเกณฑ์ปกติกำลังสองของน้ำหนักของตัวแบบเชิงเส้นที่สร้างขึ้นโดยปริยายในพื้นที่คุณลักษณะที่เกิดจากเคอร์เนล ความแตกต่างในทางปฏิบัติที่สำคัญสิ่งนี้ทำให้การลงโทษสำหรับเครือข่าย RBF ขึ้นอยู่กับศูนย์กลางของเครือข่าย RBF (และจากตัวอย่างของข้อมูลที่ใช้) ในขณะที่เคอร์เนล RBF พื้นที่คุณลักษณะที่เหนี่ยวนำจะเหมือนกันโดยไม่คำนึงถึงตัวอย่างของ ข้อมูลเพื่อการลงโทษเป็นโทษในฟังก์ชั่นของรูปแบบมากกว่าในตัวparameterisation

กล่าวอีกนัยหนึ่งสำหรับทั้งสองรุ่นเรามี

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

สำหรับแนวทางเครือข่าย RBF เกณฑ์การฝึกอบรมคือ

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

สำหรับวิธีการ RBF เคอร์เนลเรามีที่และ )นี่หมายความว่าการปรับค่าบรรทัดฐานกำลังสองกับน้ำหนักของแบบจำลองในพื้นที่คุณลักษณะที่เหนี่ยวนำให้เกิดสามารถเขียนได้ในแง่ของพารามิเตอร์คู่, เป็น $\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$ $\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$ $\vec{w}$ $\vec{\alpha}$

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

โดยที่คือ matix ของการประเมินผลแบบคู่ที่ชาญฉลาดของเคอร์เนลสำหรับรูปแบบการฝึกอบรมทั้งหมด เกณฑ์การฝึกอบรมนั้น $\matrix{K}$

อัลฟ่า $L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$

ข้อแตกต่างระหว่างสองรุ่นคือในระยะการทำให้เป็นมาตรฐาน $\matrix{K}$

ข้อได้เปรียบทางทฤษฎีที่สำคัญของแนวทางเคอร์เนลคือช่วยให้คุณสามารถตีความตัวแบบที่ไม่ใช่เชิงเส้นเป็นตัวแบบเชิงเส้นหลังจากการแปลงแบบไม่เชิงเส้นแบบตายตัวซึ่งไม่ได้ขึ้นอยู่กับตัวอย่างของข้อมูล ดังนั้นทฤษฎีการเรียนรู้เชิงสถิติใด ๆ ที่มีอยู่สำหรับตัวแบบเชิงเส้นจะถูกถ่ายโอนไปยังแบบที่ไม่ใช่เชิงเส้นโดยอัตโนมัติ อย่างไรก็ตามทั้งหมดนี้พังลงทันทีที่คุณลองและปรับพารามิเตอร์ของเคอร์เนล ณ จุดที่เรากลับไปที่จุดเดิมในทางทฤษฎีเหมือนกับที่เราพูดกับเครือข่ายประสาท RBF (และ MLP) ดังนั้นข้อได้เปรียบทางทฤษฎีอาจไม่ดีเท่าที่เราต้องการ

มีแนวโน้มที่จะสร้างความแตกต่างที่แท้จริงในแง่ของประสิทธิภาพหรือไม่ อาจจะไม่มาก ทฤษฎี "ไม่มีอาหารกลางวันฟรี" แนะนำว่าไม่มีความเหนือกว่าของอัลกอริธึมเหนือสิ่งอื่นใดและความแตกต่างในการทำให้เป็นมาตรฐานนั้นค่อนข้างบอบบางดังนั้นหากสงสัยลองทั้งคู่และเลือกสิ่งที่ดีที่สุดตามการตรวจสอบข้าม

— Dikran Marsupial
แหล่งที่มา

‖ \vec{α} ‖^{2} = {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\|\vec{\alpha}\|^2 = \vec{\alpha}^T\matrix{I}\vec{\alpha}$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha}$

K

$K$

I

$I$

K

$K$

K

$K$

ϕ (x)

$\phi(x)$

K

$K$

‖ {\vec{α}}^{'} ‖^{2}

$\|\vec{\alpha}'\|^2$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α} = μ {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha} = \mu\vec{\alpha}^T\matrix{I}\vec{\alpha}$

— Dikran Marsupial

ขอขอบคุณ. ฉันจะไตร่ตรองเรื่องนี้จะกลับมาหาคุณ ในขณะนี้ดูเหมือนว่าฉันไม่ได้อยู่ในระดับความเข้าใจของคุณ ฉันต้องคิดมากขึ้น :)

— Cagdas Ozgenc

@CagdasOzgenc ไม่มีปัญหาข้อความมาตรฐานส่วนใหญ่อธิบายผ่าน eigenfunctions ของฟังก์ชั่นเคอร์เนลซึ่งทำให้สมองของฉันเจ็บปวดเช่นกัน! ; o)

— Dikran Marsupial