วิธีการใดของเคอร์เนลที่ให้ความน่าจะเป็นผลลัพธ์ที่ดีที่สุด

เมื่อเร็ว ๆ นี้ฉันได้ใช้การปรับขนาดเอาต์พุต SVM ของแพลตเพื่อประเมินความน่าจะเป็นของเหตุการณ์เริ่มต้น ทางเลือกที่ตรงกว่าดูเหมือนจะเป็น "Kernel logistic Regression" (KLR) และ "Import Vector Machine" ที่เกี่ยวข้อง

ใครสามารถบอกได้ว่าวิธีการของเคอร์เนลที่ให้ความน่าจะเป็น - เอาท์พุทเป็นปัจจุบันของศิลปะ? มีการนำ R-KLR ไปใช้งานจริงหรือไม่?

ขอบคุณมากสำหรับความช่วยเหลือของคุณ!

logistic svm kernel-trick

— RichardN
แหล่งที่มา

(+1) คำถามที่น่าสนใจมาก ...

— Steffen

คำตอบ:

การจำแนกกระบวนการเกาส์เซียน (โดยใช้การคาดหวังการขยายพันธุ์) น่าจะเป็นสิ่งที่ล้ำสมัยในการเรียนรู้ของเครื่อง มีหนังสือยอดเยี่ยมโดย Rasmussen และ Williams (สามารถดาวน์โหลดได้ฟรี) เว็บไซต์ที่มีการใช้งาน MATLAB ที่ดีมาก ซอฟแวร์อื่น ๆ , หนังสือ, เอกสารและอื่น ๆที่นี่ อย่างไรก็ตามในทางปฏิบัติ KLR อาจทำงานได้ดีเช่นกันสำหรับปัญหาส่วนใหญ่ปัญหาสำคัญคือการเลือกพารามิเตอร์เคอร์เนลและการทำให้เป็นมาตรฐานซึ่งอาจทำได้ดีที่สุดโดยการตรวจสอบความถูกต้องข้ามแม้ว่าการตรวจสอบแบบลาทิ้งหนึ่งครั้งสามารถประมาณได้ อย่างมีประสิทธิภาพมากดูCawley และ Talbot (2008)

— Dikran Marsupial
แหล่งที่มา

(+1) ขอบคุณสำหรับลิงค์และคำแนะนำในการเลือกรุ่น

— chl

ฉันควรเพิ่มอย่าใช้การใช้งานตามการประมาณ Laplace - ด้านหลังเบ้สูงและการประมาณแบบสมมาตรซึ่งมีศูนย์กลางอยู่ที่โหมดโดยทั่วไปแล้วจะไม่ทำงานได้ดีมาก

— Dikran Marsupial

ขอบคุณ Dikran! คุณสามารถอธิบายความสัมพันธ์ของ KLR กับเคอร์เนลให้ฉันได้หรือไม่ โมเดล KLR ถูกสร้างขึ้นคล้ายกับ svm [การสูญเสีย + การลงโทษ] - การคำนวณและแก้ไขผ่านทางการไล่ระดับสี แต่การอ้างอิงเวลาเดียวกัน (เช่นใน "Kernel Logistic Regression และ Import Vector Machine", Zhu และ Hastie 2005) บน KLR ไปที่วรรณกรรมที่ปรับให้เรียบ (เช่น "Generalized Additive Models", Hastie และ Tibshirani 1990)

— RichardN

ฉันไม่คุ้นเคยกับงานเขียนที่ราบเรียบ แต่รุ่นของเคอร์เนลนั้นเกี่ยวข้องกับการทำให้เส้นโค้งเรียบ ฉันคิดว่าสถานที่ที่ดีที่สุดในการดูคือสิ่งพิมพ์โดย Grace Wahba ( stat.wisc.edu/~wahba ) งานที่ครอบคลุมทั้งวิธีการปรับให้เรียบและเคอร์เนล

— Dikran Marsupial

ขอบคุณฉันจะได้ดูสิ่งพิมพ์ของวาบะอย่างใกล้ชิด คุณสามารถแนะนำการใช้งาน KLR ได้ดีที่สุดใน R หรือไม่?

— RichardN

ฉันเดาว่าคุณรู้ว่าเคอร์เนลสำหรับการถดถอยโลจิสติกไม่ใช่ตัวแปรดังนั้นอย่างแรกเลยที่คุณมีข้อ จำกัด

เกี่ยวกับแพ็คเกจ R สิ่งที่ฉันรู้และทำงานได้ดีก็คือnp : วิธีการทำให้เคอร์เนลแบบ Nonparametric ราบรื่นสำหรับประเภทข้อมูลแบบผสม

แพคเกจนี้มีวิธีเคอร์เนลที่ไม่ใช้พารามิเตอร์ (และกึ่งสังเคราะห์) ที่หลากหลายซึ่งจัดการกับชนิดข้อมูลแบบต่อเนื่องไม่เรียงลำดับและเรียงลำดับอย่างต่อเนื่อง

เกี่ยวกับความทันสมัยของ kernell ฉันขอแนะนำให้ทดลองกับสิ่งที่อธิบายไว้ในบทความนี้ตั้งแต่ปี 2009 อ่านอย่างระมัดระวังเพื่อเลือกสิ่งที่ดีที่สุดและแท้จริงยิ่งขึ้นสำหรับคุณ

— มาเรียนานุ่ม
แหล่งที่มา

สวัสดีมาเรียนาขอบคุณสำหรับคำตอบของคุณ แต่เรามีความเข้าใจผิด: ฉันโดย "วิธีการเคอร์เนล" หมายถึงวิธีการเช่นเครื่องเวกเตอร์สนับสนุนโดยใช้ "เคอร์เนลเคล็ดลับ" ไม่ใช่วิธีการปรับให้เรียบของเคอร์เนล

— RichardN