ตัวแยกประเภทการเรียนรู้ของเครื่องจำนวนมาก (เช่นสนับสนุนเครื่องเวกเตอร์) อนุญาตให้หนึ่งเพื่อระบุเคอร์เนล อะไรจะเป็นวิธีที่ใช้งานง่ายในการอธิบายว่าเคอร์เนลคืออะไร?

แง่มุมหนึ่งที่ฉันนึกถึงก็คือความแตกต่างระหว่างเมล็ดเชิงเส้นและไม่ใช่เชิงเส้น ในแง่ง่ายฉันสามารถพูดถึง 'ฟังก์ชั่นการตัดสินใจเชิงเส้น' และ 'ฟังก์ชั่นการตัดสินใจที่ไม่ใช่เชิงเส้น' อย่างไรก็ตามฉันไม่แน่ใจว่าการเรียกเคอร์เนล 'ฟังก์ชั่นการตัดสินใจ' เป็นความคิดที่ดีหรือไม่

ข้อเสนอแนะ?

เคอร์เนลเป็นวิธีการคำนวณ dot product ของเวกเตอร์สองตัวและในบางส่วน (อาจเป็นมิติที่สูงมาก) ซึ่งเป็นสาเหตุที่ฟังก์ชั่นเคอร์เนลบางครั้งเรียกว่า "generalized dot product"$\mathbf x$$\mathbf y$

สมมติว่าเรามีการทำแผนที่ที่นำเวกเตอร์ของเราในบางคุณลักษณะพื้นที่เมตร จากนั้นคูณจุดของและในพื้นที่นี้เป็นy) เคอร์เนลเป็นฟังก์ชันที่สอดคล้องกับผลิตภัณฑ์จุดนี้คือy)R n R m x y φ( x ) T φ( y )kk( x , y )=φ( x ) T φ( y$\varphi \, : \, \mathbb R^n \to \mathbb R^m$$\mathbb R^n$$\mathbb R^m$$\mathbf x$$\mathbf y$$\varphi(\mathbf x)^T \varphi(\mathbf y)$$k$$k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

ทำไมถึงมีประโยชน์ เมล็ดให้วิธีการคำนวณผลคูณจุดในพื้นที่คุณลักษณะบางอย่างโดยไม่ได้รู้ว่าสิ่งที่พื้นที่นี้เป็นและสิ่งที่เป็น\$\varphi$

ตัวอย่างเช่นพิจารณาง่ายเคอร์เนลพหุนามกับ 2 ดูเหมือนจะไม่สอดคล้องกับฟังก์ชันการแมปใด ๆแต่เป็นเพียงฟังก์ชันที่คืนค่าจำนวนจริง สมมติว่าและลองขยายนิพจน์นี้:x , y ∈ R 2 φ x = ( x 1 , x 2 ) y = ( y 1 , y 2$k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2$$\mathbf x, \mathbf y \in \mathbb R^2$$\varphi$$\mathbf x = (x_1, x_2)$$\mathbf y = (y_1, y_2)$

$\begin{align} k(\mathbf x, \mathbf y) & = (1 + \mathbf x^T \mathbf y)^2 = (1 + x_1 \, y_1 + x_2 \, y_2)^2 = \\ & = 1 + x_1^2 y_1^2 + x_2^2 y_2^2 + 2 x_1 y_1 + 2 x_2 y_2 + 2 x_1 x_2 y_1 y_2 \end{align}$

โปรดทราบว่านี่ไม่มีอะไรอื่นนอกจากเป็นผลคูณแบบจุดระหว่างสองเวกเตอร์และ , และx_2) ดังนั้นเคอร์เนลคำนวณผลิตภัณฑ์จุดใน พื้นที่ 6 มิติโดยไม่มีการเข้าชมพื้นที่นี้อย่างชัดเจน(1,y 2 1 ,y 2 2 ,$(1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$φ(x)=φ(x1,x2)=(1,x 2 1 ,x 2 2 ,$(1, y_1^2, y_2^2, \sqrt{2} y_1, \sqrt{2} y_2, \sqrt{2} y_1 y_2)$k(x,y)=(1+ x Ty)2=φ(x)Tφ(y$\varphi(\mathbf x) = \varphi(x_1, x_2) = (1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$$k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2 = \varphi(\mathbf x)^T \varphi(\mathbf y)$

อีกตัวอย่างหนึ่งคือเกาส์เคอร์เนลใหญ่) ถ้าเราเทย์เลอร์ขยายฟังก์ชั่นนี้เราจะเห็นว่ามันสอดคล้องกับโคโดเมนอนันต์มิติของ\$k(\mathbf x, \mathbf y) = \exp\big(- \gamma \, \|\mathbf x - \mathbf y\|^2 \big)$$\varphi$

ในที่สุดฉันขอแนะนำหลักสูตรออนไลน์"การเรียนรู้จากข้อมูล"โดยศาสตราจารย์ Yaser Abu-Mostafa เพื่อแนะนำวิธีการที่ใช้เคอร์เนล โดยเฉพาะการบรรยาย"Support Vector Machines" , "วิธีเคอร์เนล"และ"Radial Basis Function"เป็นเรื่องเกี่ยวกับเมล็ด

วิธีคิดที่ง่ายและเข้าใจง่ายเกี่ยวกับเมล็ด (อย่างน้อยสำหรับ SVM) คือฟังก์ชันที่คล้ายคลึงกัน ให้สองวัตถุเคอร์เนลส่งผลคะแนนความคล้ายคลึงกันบางอย่าง วัตถุสามารถเป็นอะไรก็ได้ที่เริ่มต้นจากจำนวนเต็มสองจำนวน, เวกเตอร์มูลค่าจริงสองตัว, ต้นไม้ใด ๆ ก็ตามที่ฟังก์ชั่นเคอร์เนลรู้วิธีเปรียบเทียบมัน

ตัวอย่างที่ง่ายที่สุดที่สามารถอธิบายได้คือเคอร์เนลเชิงเส้นหรือที่เรียกว่า dot-product กำหนดเวกเตอร์สองตัวความคล้ายคลึงกันคือความยาวของการฉายของเวกเตอร์หนึ่งกับอีกเวกเตอร์หนึ่ง

ตัวอย่างเคอร์เนลที่น่าสนใจอีกตัวอย่างหนึ่งคือเคอร์เนลเกาส์เซียน ได้รับสองเวกเตอร์คล้ายคลึงกันจะลดลงด้วยรัศมีของ\ระยะห่างระหว่างวัตถุสองชิ้นคือ "reweighted" โดยพารามิเตอร์รัศมีนี้$\sigma$

ความสำเร็จของการเรียนรู้กับเมล็ด (อีกครั้งอย่างน้อยสำหรับ SVM) ขึ้นอยู่กับการเลือกของเคอร์เนล คุณสามารถเห็นเคอร์เนลเป็นการแสดงถึงความรู้เกี่ยวกับปัญหาการจำแนกของคุณ บ่อยครั้งเป็นปัญหาที่เฉพาะเจาะจง

ฉันจะไม่เรียกใช้ฟังก์ชันการตัดสินใจของเคอร์เนลเนื่องจากเคอร์เนลถูกใช้ภายในฟังก์ชันการตัดสินใจ กำหนดจุดข้อมูลที่จะจัดฟังก์ชั่นการตัดสินใจที่ทำให้การใช้เคอร์เนลโดยเปรียบเทียบว่าจุดข้อมูลไปยังหมายเลขของเวกเตอร์สนับสนุนถ่วงน้ำหนักด้วยพารามิเตอร์เรียนรู้\เวกเตอร์สนับสนุนอยู่ในโดเมนของจุดข้อมูลนั้นและตามพารามิเตอร์ที่เรียนรู้ที่พบโดยอัลกอริทึมการเรียนรู้$\alpha$$\alpha$

ตัวอย่างที่มองเห็นได้เพื่อช่วยปรีชา

พิจารณาชุดข้อมูลต่อไปนี้ที่จุดสีเหลืองและสีฟ้าไม่ชัดเจนแยกเป็นเส้นตรงในสองมิติ

หากเราสามารถหาพื้นที่มิติที่สูงขึ้นซึ่งจุดเหล่านี้แยกได้เป็นเส้นตรงจากนั้นเราสามารถทำสิ่งต่อไปนี้:

• แมปฟีเจอร์ดั้งเดิมไปยังพื้นที่หม้อแปลงที่สูงขึ้น (การทำแผนที่ฟีเจอร์)
• ดำเนินการ SVM เชิงเส้นในพื้นที่ที่สูงกว่านี้
• รับชุดตุ้มน้ำหนักที่สอดคล้องกับไฮเปอร์เพลนขอบเขตการตัดสินใจ
• แมปไฮเปอร์เพลนนี้กลับไปยังพื้นที่ 2D ดั้งเดิมเพื่อรับขอบเขตการตัดสินใจที่ไม่ใช่เชิงเส้น

มีช่องว่างมิติที่สูงขึ้นจำนวนมากซึ่งจุดเหล่านี้สามารถแยกได้เป็นเส้นตรง นี่คือตัวอย่างหนึ่ง

$$x_1, x_2 : \rightarrow z_1, z_2, z_3$$ $$z_1 = \sqrt{2}x_1x_2 \ \ z_2 = x_1^2 \ \ z_3 = x_2^2$$

นี่คือที่หลอกเคอร์เนลเข้ามาเล่น การอ้างคำตอบที่ดีข้างต้น

สมมติว่าเรามีการทำแผนที่ที่นำเวกเตอร์ของเราในบางคุณลักษณะพื้นที่เมตร จากนั้นคูณจุดของและในพื้นที่นี้เป็นy) เคอร์เนลเป็นฟังก์ชั่นที่สอดคล้องกับจุดนี้คือ$\varphi \, : \, \mathbb R^n \to \mathbb R^m$$\mathbb R^n$$\mathbb R^m$$\mathbf x$$\mathbf y$$\varphi(\mathbf x)^T \varphi(\mathbf y)$$k$$k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

หากเราสามารถหาฟังก์ชั่นเคอร์เนลที่เทียบเท่ากับแผนที่คุณลักษณะด้านบนเราก็สามารถเสียบฟังก์ชั่นเคอร์เนลใน Linear SVM และทำการคำนวณได้อย่างมีประสิทธิภาพมาก

เคอร์เนลพหุนาม

แต่กลับกลายเป็นว่าแผนที่ของคุณลักษณะดังกล่าวข้างต้นสอดคล้องกับที่รู้จักกันดีเคอร์เนลพหุนาม : d ให้และเราได้รับ$K(\mathbf{x},\mathbf{x'}) = (\mathbf{x}^T\mathbf{x'})^d$$d = 2$$\mathbf{x} = (x_1, x_2)^T$

$$\begin{aligned} k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) & = (x_1x_2' + x_2x_2')^2 \\ & = 2x_1x_1'x_2x_2' + (x_1x_1')^2 + (x_2x_2')^2 \\ & = (\sqrt{2}x_1x_2 \ x_1^2 \ x_2^2) \ \begin{pmatrix} \sqrt{2}x_1'x_2' \\ x_1'^2 \\ x_2'^2 \end{pmatrix} \end{aligned}$$

$$k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) = \phi(\mathbf{x})^T \phi(\mathbf{x'})$$

$$\phi(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}) =\begin{pmatrix} \sqrt{2}x_1x_2 \\ x_1^2 \\ x_2^2 \end{pmatrix}$$

การแสดงแมปฟีเจอร์และเส้นขอบผลลัพธ์

• พล็อตด้านซ้ายมือแสดงจุดที่พล็อตในพื้นที่ที่ถูกแปลงพร้อมกับระนาบไฮเปอร์ขอบเขตเขตเส้นตรง SVM
• พล็อตด้านขวาแสดงผลลัพธ์ในพื้นที่ 2 มิติดั้งเดิม

---

แหล่ง

• โพสต์แบบเต็มและรหัสหลามที่นี่
• https://disi.unitn.it/~passerini/teaching/2014-2015/MachineLearning/slides/17_kernel_machines/handouts.pdf

อย่างง่าย ๆ (แต่แม่นยำ) เคอร์เนลเป็นปัจจัยการชั่งน้ำหนักระหว่างสองลำดับของข้อมูล ปัจจัยการชั่งน้ำหนักนี้สามารถกำหนดน้ำหนักให้กับ " จุดข้อมูล " หนึ่งจุดที่ " จุดเวลา " หนึ่งจุดกว่า " จุดข้อมูล " อื่น ๆหรือกำหนดน้ำหนักเท่ากันหรือกำหนดน้ำหนักเพิ่มเติมให้กับ " จุดข้อมูล " อื่น ๆเป็นต้น

วิธีนี้ความสัมพันธ์ ( ผลิตภัณฑ์ดอท ) สามารถกำหนด "ความสำคัญ" ได้มากกว่าในบางจุดและจัดการกับความไม่เป็นเชิงเส้น (เช่นการเว้นวรรคแบบไม่แบน ) ข้อมูลเพิ่มเติมการปรับให้เรียบของข้อมูลและอื่น ๆ

ในอีกทางหนึ่งเคอร์เนลเป็นวิธีการเปลี่ยนขนาดสัมพัทธ์ (หรือหน่วยมิติ )ของลำดับข้อมูลสองลำดับเพื่อรับมือกับสิ่งต่าง ๆ ที่กล่าวถึงข้างต้น

ในทางที่สาม (ที่เกี่ยวข้องกับก่อนหน้านี้สอง) ซึ่งเป็นkernal เป็นวิธีการmapหรือโครงการลำดับข้อมูลหนึ่งไปยังคนอื่น ๆ ในลักษณะ 1 ต่อ 1 โดยคำนึงถึงข้อมูลบัญชีที่กำหนดหรือเกณฑ์ (เช่นพื้นที่โค้งหายไปข้อมูลข้อมูล สั่งซื้อซ้ำและอื่น ๆ ) ดังนั้นสำหรับตัวอย่างเคอร์เนลกำหนดอาจยืดหรือหดตัวหรือพืชหรือโค้งงอตามลำดับข้อมูลหนึ่งเพื่อให้พอดีหรือแผนที่ 1 ต่อ 1 บนอื่น ๆ

เคอร์เนลสามารถทำหน้าที่เหมือนProcrustesเพื่อ " พอดีที่สุด "