แบบจำลองทางสถิติที่อยู่เบื้องหลังอัลกอริทึม SVM คืออะไร

ฉันได้เรียนรู้ว่าเมื่อจัดการกับข้อมูลโดยใช้แบบจำลองขั้นตอนแรกคือการสร้างแบบจำลองขั้นตอนข้อมูลเป็นแบบจำลองทางสถิติ จากนั้นขั้นตอนต่อไปคือการพัฒนาอัลกอริทึมการอนุมานที่มีประสิทธิภาพ / เร็ว / การเรียนรู้ตามแบบจำลองทางสถิตินี้ ดังนั้นฉันต้องการถามว่าแบบจำลองทางสถิติใดอยู่เบื้องหลังอัลกอริธึมเวกเตอร์สนับสนุน (SVM) หรือไม่

คุณมักจะสามารถเขียนแบบจำลองที่สอดคล้องกับฟังก์ชั่นการสูญเสีย (ที่นี่ฉันจะพูดคุยเกี่ยวกับการถดถอย SVM มากกว่าการจัดหมวดหมู่ SVM มันง่ายมากโดยเฉพาะ)

ตัวอย่างเช่นในโมเดลเชิงเส้นหากฟังก์ชันการสูญเสียของคุณคือจากนั้นย่อเล็กสุดที่จะสอดคล้องกับโอกาสสูงสุดสำหรับเบต้า)) (ที่นี่ฉันมีเคอร์เนลเชิงเส้น)$\sum_i g(\varepsilon_i) = \sum_i g(y_i-x_i'\beta)$$f\propto \exp(-a\,g(\varepsilon))$ $= \exp(-a\,g(y-x'\beta))$

ถ้าฉันจำได้อย่างถูกต้อง SVM- การถดถอยมีฟังก์ชั่นการสูญเสียเช่นนี้:

ที่สอดคล้องกับความหนาแน่นที่อยู่ตรงกลางพร้อมกับหางแบบเอ็กซ์โพเนนเชียล (อย่างที่เราเห็นโดยการยกกำลังลบมันหรือลบหลายเท่าของมัน)

มีตระกูลพารามิเตอร์ 3 รายการดังนี้: มุมสถานที่ตั้ง (ขีด จำกัด ความไม่รู้สึกสัมพัทธ์สัมพัทธ์) รวมถึงตำแหน่งและสเกล

มันเป็นความหนาแน่นที่น่าสนใจ ถ้าผมจำถูกต้องจากการดูที่การกระจายที่เฉพาะไม่กี่สิบปีที่ผ่านมาประมาณการที่ดีสำหรับสถานที่สำหรับมันเป็นค่าเฉลี่ยของสอง quantiles แฟ่วางที่สอดคล้องกับที่มุมมี (เช่นmidhingeจะให้ประมาณการที่ดีที่จะ MLE หนึ่งโดยเฉพาะอย่างยิ่ง ทางเลือกของค่าคงที่ในการสูญเสีย SVM); ตัวประมาณที่คล้ายกันสำหรับพารามิเตอร์สเกลจะขึ้นอยู่กับความแตกต่างของพวกเขาในขณะที่พารามิเตอร์ที่สามนั้นสอดคล้องกับการทำงานว่ามุมใดเปอร์เซ็นไทล์อยู่ที่ใด (นี่อาจจะถูกเลือก

ดังนั้นอย่างน้อยสำหรับการถดถอย SVM ดูเหมือนว่าค่อนข้างตรงไปตรงมาอย่างน้อยถ้าเราเลือกที่จะรับตัวประมาณของเราโดยความเป็นไปได้สูงสุด

(ในกรณีที่คุณกำลังจะถาม ... ฉันไม่มีการอ้างอิงสำหรับการเชื่อมต่อกับ SVM นี้: ตอนนี้ฉันเพิ่งทำไปแล้วมันง่ายมากอย่างไรก็ตามผู้คนหลายสิบคนจะทำงานออกมาก่อนฉันอย่างไม่ต้องสงสัย มีมีการอ้างอิงสำหรับมัน - ฉันเพิ่งเคยเห็นใด ๆ ).

ฉันคิดว่ามีคนตอบคำถามตามตัวอักษรของคุณไปแล้ว แต่ขอให้ฉันบอกความสับสนที่อาจเกิดขึ้น

คำถามของคุณค่อนข้างคล้ายกับต่อไปนี้:

ฉันมีฟังก์ชั่นนี้และฉันสงสัยว่าสมการเชิงอนุพันธ์คืออะไร$f(x) = \ldots$

มันอาจมีคำตอบที่ถูกต้องแน่นอน(อาจเป็นคำที่ไม่ซ้ำใครถ้าคุณกำหนดข้อ จำกัด ของระเบียบ) แต่มันเป็นคำถามที่ค่อนข้างแปลกที่จะถามเพราะมันไม่ใช่สมการเชิงอนุพันธ์ที่ก่อให้เกิดหน้าที่แรก
(ในอีกทางหนึ่งให้สมการเชิงอนุพันธ์เป็นธรรมชาติที่จะขอวิธีแก้ปัญหาเพราะปกติแล้วทำไมคุณถึงเขียนสมการ!)

นี่คือเหตุผล: ฉันคิดว่าคุณกำลังคิดแบบจำลองความน่าจะเป็น / สถิติ - โดยเฉพาะแบบจำลองแบบกำเนิดและแบบแยกแยะตามการประเมินความน่าจะเป็นข้อต่อและเงื่อนไขจากข้อมูล

SVM ไม่ใช่ มันเป็นรูปแบบที่แตกต่างอย่างสิ้นเชิง - แบบที่ข้ามไปและพยายามที่จะทำโมเดลขอบเขตการตัดสินใจขั้นสุดท้ายโดยตรงความน่าจะเป็นจะถูกสาป

เนื่องจากมันเกี่ยวกับการค้นหารูปร่างของขอบเขตการตัดสินใจสัญชาตญาณด้านหลังจึงเป็นรูปทรงเรขาคณิต (หรือบางทีเราควรจะพูดตามการปรับให้เหมาะสม) แทนความน่าจะเป็นหรือทางสถิติ

เนื่องจากความน่าจะเป็นไม่ได้มีการพิจารณาที่ใดก็ตามตลอดเวลาดังนั้นจึงค่อนข้างแปลกที่จะถามว่าแบบจำลองความน่าจะเป็นที่สอดคล้องกันอาจเป็นอย่างไรและโดยเฉพาะอย่างยิ่งเนื่องจากเป้าหมายทั้งหมดคือการหลีกเลี่ยงความกังวลเกี่ยวกับความน่าจะเป็น ดังนั้นทำไมคุณไม่เห็นคนพูดถึงพวกเขา