เคอร์เนลคืออะไรและอะไรที่ทำให้แตกต่างจากฟังก์ชั่นอื่น ๆ

13

ดูเหมือนว่าจะมีอัลกอริทึมการเรียนรู้ของเครื่องจำนวนมากที่อาศัยฟังก์ชั่นเคอร์เนล SVMs และ NNs เป็นชื่อ แต่มีสองอย่าง ดังนั้นความหมายของฟังก์ชั่นเคอร์เนลคืออะไรและข้อกำหนดสำหรับมันที่จะถูกต้องคืออะไร?

svm terminology kernel-trick

— Franck Dernoncourt
แหล่งที่มา

5

ฉันจะไม่บอกว่า NNs พึ่งพาฟังก์ชั่นเคอร์เนล - พวกเขาพึ่งพาฟังก์ชั่นการถ่ายโอนเพื่อให้เกิดความไม่เชิงเส้น แต่นี่ไม่ใช่สิ่งเดียวกับฟังก์ชั่นเคอร์เนล

— tdc

11

สำหรับ x, y ใน S ฟังก์ชันบางฟังก์ชัน K (x, y) สามารถแสดงเป็นผลิตภัณฑ์ภายในได้ K มักเรียกว่าเคอร์เนลหรือฟังก์ชันเคอร์เนล เคอร์เนลคำถูกใช้ในรูปแบบที่แตกต่างกันตลอดทั้งคณิตศาสตร์ แต่นี่เป็นการใช้งานทั่วไปในการเรียนรู้ของเครื่อง

เคล็ดลับเคอร์เนลเป็นวิธีการทำแผนที่การสังเกตจากชุด S ทั่วไปในพื้นที่ผลิตภัณฑ์ V (พร้อมกับบรรทัดฐานธรรมชาติ) โดยไม่ต้องคำนวณการทำแผนที่อย่างชัดเจนด้วยความหวังว่าการสังเกตจะได้รับโครงสร้างเชิงเส้นที่มีความหมายใน V . สิ่งนี้มีความสำคัญในแง่ของประสิทธิภาพ (คำนวณจุดผลิตภัณฑ์ในพื้นที่มิติสูงมากอย่างรวดเร็ว) และการปฏิบัติจริง (เราสามารถแปลงอัลกอริธึม ML เชิงเส้นเป็นอัลกอริธึม ML ที่ไม่ใช่เชิงเส้น)

สำหรับ K ฟังก์ชั่นได้รับการพิจารณาเคอร์เนลที่ถูกต้องจะมีการตอบสนองเงื่อนไขของเมอร์เซอร์ ในแง่การปฏิบัตินี้หมายความว่าเราจำเป็นต้องตรวจสอบให้แน่ใจว่าเคอร์เนลเมทริกซ์ (การคำนวณผลิตภัณฑ์เคอร์เนลของดาต้าพอยน์ทุกตัวที่คุณมี) จะเป็นกึ่งบวกแน่นอนเสมอ สิ่งนี้จะช่วยให้มั่นใจได้ว่าฟังก์ชั่นการฝึกอบรมมีความนูนเป็นคุณสมบัติที่สำคัญมาก

— carlosdc
แหล่งที่มา

ขอบคุณ @carlosdc แต่ฉันกลัวว่าคุณกำลังพยายามสอนสุนัขตัวเก่า มีหลายสิ่งที่อยู่เหนือหัวฉัน ฉันอ่านเงื่อนไขของเมอร์เซอร์ แต่ความหมายของพวกเขาในโลกแห่งความเป็นจริงนั้นแพ้ฉัน ฉันสันนิษฐานจากข้างต้นว่าส่วนประกอบของเคอร์เนลต้องถูก จำกัด ด้วยค่า จำกัด สมมติฐานนั้นถูกต้องหรือไม่

1

ส่วนที่วัตถุประสงค์คือนูนถ้าเคอร์เนลเมทริกซ์คือ PSD ขึ้นอยู่กับวัตถุประสงค์ สิ่งนี้เป็นจริงสำหรับ SVM แต่ด้วยกระบวนการแบบเกาส์จุดคือเมทริกซ์เคอร์เนลเป็นเมทริกซ์ความแปรปรวนร่วมที่ถูกต้องและสามารถย้อนกลับได้

— bayerj

2

จากWilliams, Christopher KI และ Carl Edward Rasmussen " กระบวนการแบบเกาส์สำหรับการเรียนรู้ของเครื่อง " MIT Press 2, no. 3 (2549) หน้า 80

$x \in X$ $x' \in X$ $\mathbb{R}$

นอกจากนี้ kernel = ฟังก์ชั่นเคอร์เนล

เมล็ดที่ใช้ในอัลกอริทึมการเรียนรู้ของเครื่องมักจะมีคุณสมบัติที่น่าพึงพอใจมากกว่าเช่นการ semidefinite เชิงบวก

— Franck Dernoncourt
แหล่งที่มา

2

จะลองคำอธิบายทางเทคนิคน้อย

ก่อนอื่นให้เริ่มด้วยผลิตภัณฑ์ดอทระหว่างเวกเตอร์สองตัว นี่บอกคุณว่าเวกเตอร์ "คล้ายกัน" เป็นอย่างไร หากเวกเตอร์แทนคะแนนในชุดข้อมูลของคุณผลิตภัณฑ์ dot จะบอกคุณว่ามันเหมือนกันหรือไม่

แต่ในบางกรณี (มาก) ผลิตภัณฑ์ dot ไม่ใช่ตัวชี้วัดที่คล้ายคลึงกันที่สุด ตัวอย่างเช่น:

คะแนนที่มีจุดต่ำอาจคล้ายกันเนื่องจากเหตุผลอื่น
คุณอาจมีรายการข้อมูลที่ไม่ได้แสดงให้เห็นว่าเป็นจุดอย่างดี

ดังนั้นแทนที่จะใช้ผลิตภัณฑ์ดอทคุณใช้ "เคอร์เนล" ซึ่งเป็นเพียงฟังก์ชั่นที่ใช้สองจุดและให้คุณวัดความคล้ายคลึงกัน ฉันไม่แน่ใจ 100% ว่าเงื่อนไขทางเทคนิคใดที่ฟังก์ชั่นจะต้องตอบสนองในทางเทคนิคว่าจะเป็นเคอร์เนล แต่นี่เป็นแนวคิด

สิ่งหนึ่งที่ดีมากคือเคอร์เนลสามารถช่วยให้คุณนำความรู้เกี่ยวกับโดเมนของคุณไปสู่ปัญหาในแง่ที่ว่าคุณสามารถบอกว่าจุดสองจุดเหมือนกันเนื่องจากเหตุผล xyz ซึ่งมาจากรูปแบบที่คุณรู้เกี่ยวกับโดเมน

— roundsquare
แหล่งที่มา