ใช้“ เคล็ดลับเคอร์เนล” กับวิธีการเชิงเส้น?


20

เคล็ดลับเคอร์เนลจะใช้ในโมเดลการเรียนรู้หลายเครื่อง (เช่นSVM ) มันถูกนำมาใช้ครั้งแรกในกระดาษ "รากฐานทางทฤษฎีของวิธีการทำงานที่มีศักยภาพในการเรียนรู้การจดจำรูปแบบ" กระดาษในปี 1964

คำนิยามของวิกิพีเดียบอกว่ามันเป็น

วิธีการใช้อัลกอริธึมลักษณนามลักษณนามเชิงเส้นเพื่อแก้ปัญหาที่ไม่ใช่เชิงเส้นโดยการทำแผนที่การสังเกตที่ไม่ใช่เชิงเส้นดั้งเดิมลงในพื้นที่มิติที่สูงขึ้นซึ่งจะใช้ตัวจําแนกเชิงเส้นในภายหลัง สิ่งนี้ทำให้การจำแนกเชิงเส้นในพื้นที่ใหม่เทียบเท่ากับการจัดหมวดหมู่ที่ไม่ใช่เชิงเส้นในพื้นที่เดิม

ตัวอย่างหนึ่งของโมเดลเชิงเส้นตรงที่ได้รับการขยายไปสู่ปัญหาที่ไม่ใช่เชิงเส้นเป็นPCA เคอร์เนล เคล็ดลับเคอร์เนลสามารถนำไปใช้กับโมเดลเชิงเส้นใด ๆ หรือมีข้อ จำกัด บางอย่าง


1
BTW เมล็ดไม่จำเป็นสำหรับ SVM จริงๆ "หัวใจ" ของ SVM เป็นหลักการของการเพิ่มระยะขอบให้นุ่ม การเป็นตัวแทนเคอร์เนลทำให้ปัญหามิติของคุณ O (m ^ 2) แทน O (d) โดยที่ m คือจำนวนตัวอย่างและ d คือมิติของพื้นที่คุณลักษณะของคุณดังนั้นถ้า m ^ 2 มากกว่า d คุณอาจจะ ดีกว่าทำไปกับเมล็ดjmlr.csail.mit.edu/papers/v6/keerthi05a.html
Yaroslav Bulatov

@ ยาโรสลาฟ: ขอบคุณสำหรับการอ้างอิง คุณทราบหรือไม่เกี่ยวกับการใช้งานของ "วิธีแก้ไขไฟไนต์นิวตัน"
เชน

ไม่ แต่หน้าของ Keerthi และ Langford มีลิงค์ไปยังซอฟต์แวร์บางอย่างที่อาจเกี่ยวข้องเนื่องจากทั้งคู่ทำงานที่ Yahoo Research
Yaroslav Bulatov

คำตอบ:


17

เคล็ดลับเคอร์เนลสามารถนำไปใช้กับโมเดลเชิงเส้นที่มีตัวอย่างในการกำหนดปัญหาปรากฏเป็นผลิตภัณฑ์แบบ dot (สนับสนุน Vector Machines, PCA, ฯลฯ )


ขอบคุณสำหรับคำตอบ. @mbq @ ebony1: IMO เราจำเป็นต้องใช้ความพยายามมากขึ้นในการโพสต์คำถามการเรียนรู้ด้วยเครื่องจักรที่รุนแรงยิ่งขึ้นบนเว็บไซต์เพื่อดึงดูดชุมชนอื่น ๆ
เชน

@Shane ฉันเห็นด้วยอย่างสิ้นเชิง แต่ไซต์ SO อื่น ๆ เช่นmetaoptimize.com/qaล่ะ
chl

@chl: นั่นก็เป็นตัวเลือก แต่ก็ไม่ได้เป็นส่วนหนึ่งของ StackExchange (มันถูกควบคุมโดยบุคคลหนึ่งคนและซอฟต์แวร์ที่แตกต่างกัน) และฉันเองอยากจะมีชุมชนการวิเคราะห์ข้อมูลที่แตกต่างกันในที่เดียว
เชน

@Shane โอเคมันสมเหตุสมผลแล้ว
chl

นอกจากนี้ยังมีข้อเสนอการแลกเปลี่ยนการเรียนรู้ของเครื่องเรียนรู้Area51.stackexchange.com/proposals/7607/machine-learning
Yaroslav Bulatov

7

อีกสองการอ้างอิงจากB. Schölkopf :

  • Schölkopf, B. และ Smola, AJ (2002) การเรียนรู้ด้วยเมล็ด สำนักพิมพ์ MIT
  • Schölkopf, B. , Tsuda, K. , และ Vert, J.-P. (2004) วิธีการเคอร์เนลในชีววิทยา สำนักพิมพ์ MIT

และเว็บไซต์ที่ทุ่มเทให้กับเครื่องเคอร์เนล


2

@ ebony1 ให้ประเด็นสำคัญ (+1) ฉันเป็นผู้ร่วมเขียนบทความเกี่ยวกับวิธีสร้างเคอร์เนลโมเดลเชิงเส้นทั่วไปเช่นการถดถอยโลจิสติกและการถดถอยปัวซองมันค่อนข้างตรงไปตรงมา

GC Cawley, GJ Janacek และ NLC Talbot, เครื่องเคอร์เนลทั่วไป, ในการประชุม IEEE / INNS International Joint Conference บน Neural Networks (IJCNN-2007), หน้า 1732-1737, ออร์แลนโด, ฟลอริดา, สหรัฐอเมริกา, วันที่ 12-17 สิงหาคม 2550 ( www , pdf )

ฉันยังเขียน (วิจัยที่มีคุณภาพ) กล่องเครื่องมือ MATLAB (เศร้าไม่มีคำแนะนำ) ซึ่งคุณสามารถหาได้ที่นี่

ความสามารถในการจำลองแบบการกระจายเป้าหมายนั้นมีประโยชน์ในด้านความไม่แน่ใจในการลดทอนความไม่แน่นอนเป็นต้นดังนั้นจึงเป็นประโยชน์

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.