ฟังก์ชั่นความแปรปรวนร่วมหรือเมล็ด - พวกมันคืออะไรกันแน่?

ฉันค่อนข้างใหม่กับกระบวนการเกาส์เซียนและวิธีการใช้ในการเรียนรู้ของเครื่อง ฉันอ่านและฟังเกี่ยวกับฟังก์ชันความแปรปรวนร่วมซึ่งเป็นจุดดึงดูดหลักของวิธีการเหล่านี้ ดังนั้นทุกคนสามารถอธิบายด้วยวิธีที่เข้าใจง่ายว่าเกิดอะไรขึ้นในฟังก์ชันความแปรปรวนร่วมเหล่านี้?

มิฉะนั้นหากคุณสามารถชี้ไปที่บทช่วยสอนหรือเอกสารอธิบาย

$k(x, x^\prime)$$x, x^\prime$$x$$x^\prime$$k(\cdot, \cdot)$

เมล็ดปกติอาจขึ้นอยู่กับระยะทางแบบยุคลิด (หรือการแปลงเชิงเส้น) ระหว่างจุด แต่ความสนุกเริ่มต้นเมื่อคุณตระหนักว่าคุณสามารถทำอะไรได้มากกว่านั้น

ดังที่ David Duvenaud กล่าวไว้:

เมล็ดสามารถกำหนดได้ในโครงสร้างข้อมูลทุกประเภท: ข้อความรูปภาพเมทริกซ์และแม้แต่เมล็ด มากับเคอร์เนลกับข้อมูลชนิดใหม่ที่ใช้เป็นวิธีที่ง่ายในการรับกระดาษ NIPS

สำหรับภาพรวมของเมล็ดสำหรับ GP ง่าย ๆ ฉันขอแนะนำKernel Cookbookและการอ้างอิงในนั้น

(*) ตามที่ @Dikran Marsupial โปรดระวังว่าการสนทนาไม่เป็นความจริง ไม่ใช่ตัวชี้วัดความเหมือนกันทั้งหมดเป็นเมล็ดที่ถูกต้อง (ดูคำตอบของเขา)

$K(x, x') = \phi(x)\cdot\phi(x')$$\phi(\cdot)$ เป็นฟังก์ชั่นที่แมปเวกเตอร์อินพุตเข้ากับพื้นที่คุณลักษณะ

เหตุใดเคอร์เนลจึงต้องตีความได้ว่าเป็นผลิตภัณฑ์ภายในในพื้นที่คุณลักษณะบางส่วน เหตุผลก็คือมันง่ายกว่ามากที่จะกำหนดขอบเขตทางทฤษฎีเกี่ยวกับประสิทธิภาพการวางนัยทั่วไปสำหรับตัวแบบเชิงเส้น (เช่นการถดถอยโลจิสติก) กว่าแบบจำลองเชิงเส้น (เช่นโครงข่ายประสาทเทียม) โมเดลเชิงเส้นส่วนใหญ่สามารถเขียนได้เพื่อให้เวกเตอร์อินพุตปรากฏในรูปแบบของผลิตภัณฑ์ภายในเท่านั้น ซึ่งหมายความว่าเราสามารถสร้างแบบจำลองที่ไม่ใช่เชิงเส้นได้โดยการสร้างแบบจำลองเชิงเส้นในพื้นที่คุณลักษณะเคอร์เนล นี่เป็นการเปลี่ยนแปลงข้อมูลที่แน่นอนดังนั้นขอบเขตประสิทธิภาพเชิงทฤษฎีทั้งหมดสำหรับโมเดลเชิงเส้นจะใช้กับโมเดลเคอร์เนลที่ไม่ใช่เชิงเส้นใหม่โดยอัตโนมัติ *

จุดสำคัญที่ยากที่จะเข้าใจในตอนแรกคือเรามักจะไม่คิดถึงพื้นที่ของฟีเจอร์ที่จะดีสำหรับแอพพลิเคชั่นเฉพาะของเราและจากนั้นออกแบบเคอร์เนลเพื่อให้เกิดพื้นที่ฟีเจอร์นั้น โดยทั่วไปเราเกิดขึ้นกับตัวชี้วัดความคล้ายคลึงกันที่ดีและดูว่ามันเป็นเคอร์เนล (การทดสอบตรงไปตรงมาถ้าเมทริกซ์ของการประเมินผลแบบคู่ของฟังก์ชั่นเคอร์เนลที่จุดในตำแหน่งทั่วไปเป็นบวกแน่นอนแล้วมันเป็นเคอร์เนลที่ถูกต้อง) .

$^*$