รองรับเครื่องเวกเตอร์และการถดถอย

มีการอภิปรายที่ยอดเยี่ยมเกี่ยวกับวิธีการที่เครื่องเวกเตอร์สนับสนุนจัดการการจำแนก แต่ฉันสับสนมากเกี่ยวกับวิธีการสนับสนุนเครื่องเวกเตอร์เพื่อสรุปการถดถอย

ใครสนใจที่จะสอนฉัน

โดยทั่วไปพวกเขาพูดในลักษณะเดียวกัน วิธีการที่ใช้เคอร์เนลเพื่อการถดถอยคือการแปลงคุณสมบัติเรียกมันว่าเป็นพื้นที่เวกเตอร์บางส่วนจากนั้นดำเนินการถดถอยเชิงเส้นในพื้นที่เวกเตอร์ที่ เพื่อหลีกเลี่ยง 'คำสาปของมิติ' การถดถอยเชิงเส้นในพื้นที่แปลงที่ค่อนข้างแตกต่างจากสี่เหลี่ยมจัตุรัสขั้นต่ำสุดธรรมดา ผลที่สุดก็คือว่าการถดถอยในพื้นที่เปลี่ยนที่สามารถแสดงเป็นℓ ( x ) = Σ ฉันW ฉัน φ ( x ฉัน ) ⋅ φ ( x )ที่x ผมมีข้อสังเกตจากชุดฝึกอบรมφ $\mathbf{x}$$\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$$\mathbf{x_i}$เป็นการแปลงที่ใช้กับข้อมูลและจุดคือผลิตภัณฑ์จุด ดังนั้นการถดถอยเชิงเส้นคือ 'สนับสนุน' โดยเวกเตอร์การฝึกอบรมจำนวนน้อย (น่าจะเป็นจำนวนน้อยมาก) $\phi(\cdot)$

ทุกรายละเอียดทางคณิตศาสตร์ที่ถูกซ่อนไว้ในการถดถอยแปลกทำในพื้นที่เปลี่ยน ( 'หลอด epsilon ตาย' หรืออะไรก็ตาม) และทางเลือกของการแปลง, φสำหรับผู้ประกอบการนอกจากนี้ยังมีคำถามเกี่ยวกับพารามิเตอร์อิสระสองสามข้อ (โดยปกติจะอยู่ในคำจำกัดความของϕและการถดถอย) เช่นเดียวกับการยืนยันซึ่งเป็นที่ที่ความรู้เกี่ยวกับโดเมนมักจะเป็นประโยชน์$\phi$$\phi$

สำหรับภาพรวมของ SVM: Support Vector Machine (SVM) ทำงานอย่างไร

เกี่ยวกับการสนับสนุนการถดถอยเวกเตอร์ (SVR) ฉันพบสไลด์เหล่านี้จากhttp://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( กระจก ) ชัดเจนมาก:

เอกสารประกอบ Matlab มีคำอธิบายที่เหมาะสมและมีขั้นตอนวิธีการเพิ่มประสิทธิภาพการแก้ไขเพิ่มเติม: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( กระจก )

จนถึงตอนนี้คำตอบนี้ได้นำเสนอการถดถอยแบบ epsilon-insensitive SVM (ε-SVM) ที่เรียกว่า มีความแตกต่างกันมากขึ้นล่าสุดของ SVM สำหรับการจำแนกประเภทของการถดถอยอย่างใดอย่างหนึ่งที่มีอยู่: สี่เหลี่ยมน้อยสนับสนุนเครื่องเวกเตอร์

นอกจากนี้ SVR อาจขยายได้สำหรับหลายเอาต์พุตหรือหลายเป้าหมายเช่นดู {1}

อ้างอิง:

• {1} Borchani, Hanen, Gherardo Varando, Concha Bielza และ Pedro Larrañaga "การสำรวจการถดถอยหลายเอาท์พุต" คำวิจารณ์แบบสหวิทยาการของ Wiley: การขุดข้อมูลและการค้นหาความรู้ 5, หมายเลข 5 5 (2015): 216-233 https://scholar.google.com/scholar?cluster=10208375872303977988&hl=en&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf