อัลกอริทึมการเรียนรู้ของเครื่องทั้งหมดแยกข้อมูลเป็นเส้นตรงหรือไม่?

ฉันเป็นคนที่กระตือรือร้นในการเขียนโปรแกรมและการเรียนรู้ของเครื่อง เพียงไม่กี่เดือนหลังฉันเริ่มเรียนรู้เกี่ยวกับการเขียนโปรแกรมการเรียนรู้ของเครื่อง เช่นเดียวกับหลาย ๆ คนที่ไม่มีพื้นฐานด้านวิทยาศาสตร์เชิงปริมาณฉันก็เริ่มเรียนรู้เกี่ยวกับ ML ด้วยการแก้ไขอัลกอริธึมและชุดข้อมูลในแพ็คเกจ ML ที่ใช้กันอย่างแพร่หลาย (caret R)

ไม่นานมานี้ฉันอ่านบล็อกที่ผู้เขียนพูดถึงเกี่ยวกับการใช้การถดถอยเชิงเส้นใน ML ถ้าฉันจำได้ถูกต้องเขาพูดถึงว่าการเรียนรู้ของเครื่องจักรทั้งหมดในตอนท้ายใช้ "การถดถอยเชิงเส้น" บางชนิด (ไม่แน่ใจว่าเขาใช้คำที่แน่นอนนี้) แม้สำหรับปัญหาเชิงเส้นหรือไม่ใช่เชิงเส้น ครั้งนั้นฉันไม่เข้าใจว่าเขาหมายถึงอะไร

ความเข้าใจในการใช้การเรียนรู้ของเครื่องสำหรับข้อมูลที่ไม่ใช่เชิงเส้นคือการใช้อัลกอริทึมที่ไม่ใช่เชิงเส้นเพื่อแยกข้อมูล

นี่คือความคิดของฉัน

สมมุติว่าจัดประเภทข้อมูลเชิงเส้นเราใช้สมการเชิงเส้นและสำหรับข้อมูลที่ไม่ใช่เชิงเส้นเราใช้สมการที่ไม่ใช่เชิงเส้นพูดy = s i n ( x $y=mx+c$$y=sin(x)$

ภาพนี้นำมาจาก sikit Learn website ของ support vector machine ใน SVM เราใช้เมล็ดที่แตกต่างกันเพื่อวัตถุประสงค์ ML ดังนั้นความคิดเริ่มต้นของฉันคือเคอร์เนลเชิงเส้นแยกข้อมูลโดยใช้ฟังก์ชันเชิงเส้นและเคอร์เนล RBF ใช้ฟังก์ชันที่ไม่ใช่เชิงเส้นเพื่อแยกข้อมูล

แต่แล้วฉันก็เห็นบล็อกนี้ที่ผู้เขียนพูดถึงเครือข่ายประสาท

ในการจำแนกปัญหาที่ไม่เป็นเชิงเส้นในแผนผังย่อยด้านซ้ายโครงข่ายประสาทเทียมจะแปลงข้อมูลในลักษณะที่ในท้ายที่สุดเราสามารถใช้การแยกเชิงเส้นอย่างง่ายกับข้อมูลที่ถูกแปลงในพล็อตย่อยที่ถูกต้อง

คำถามของฉันคือว่าอัลกอริทึมการเรียนรู้ของเครื่องทั้งหมดในตอนท้ายใช้การแยกเชิงเส้นเพื่อแยกประเภทหรือไม่ (ชุดข้อมูลเชิงเส้น / ไม่ใช่เชิงเส้น)

คำตอบคือไม่ user20160 มีคำตอบที่สมบูรณ์แบบฉันจะเพิ่ม 3 ตัวอย่างด้วยการสร้างภาพเพื่อแสดงความคิด หมายเหตุแผนการเหล่านี้อาจไม่เป็นประโยชน์สำหรับคุณในการดูว่า "การตัดสินใจขั้นสุดท้าย" อยู่ในรูปแบบเชิงเส้น แต่ให้ความรู้สึกเกี่ยวกับต้นไม้การส่งเสริมและ KNN

เราจะเริ่มจากต้นไม้ตัดสินใจ ด้วยการแบ่งเป็นจำนวนมากจึงเป็นขอบเขตการตัดสินใจที่ไม่ใช่เชิงเส้น และเราไม่สามารถคิดได้ว่าการแยกก่อนหน้านี้ทั้งหมดคือ "การเปลี่ยนแปลงคุณสมบัติ" และมีบรรทัดการตัดสินใจขั้นสุดท้ายในตอนท้าย

อีกตัวอย่างหนึ่งคือรูปแบบการส่งเสริมซึ่งรวม "ตัวแยกประเภทอ่อนแอ" จำนวนมากและขอบเขตการตัดสินใจขั้นสุดท้ายไม่เชิงเส้น คุณสามารถคิดได้ว่ามันเป็นรหัส / อัลกอริทึมที่ซับซ้อนในการทำนายขั้นสุดท้าย

ในที่สุดคิดเกี่ยวกับ K เพื่อนบ้านที่ใกล้ที่สุด (KNN) มันไม่ใช่ฟังก์ชั่นการตัดสินใจเชิงเส้นที่เลเยอร์ท้าย นอกจากนี้ไม่มี "การแปลงคุณสมบัติ" ใน KNN

การสร้างภาพสามมิติในพื้นที่ 2 มิติคือ Tree, Boosting และ KNN จากบนลงล่าง ความจริงภาคพื้นดินคือ 2 เกลียวหมายถึงสองชั้นและแผนการย่อยทางซ้ายคือการทำนายจากตัวแบบและแผนการย่อยที่เหมาะสมคือขอบเขตการตัดสินใจจากตัวแบบ

แก้ไข: @ คำตอบของ ssdecontrol ในโพสต์นี้ให้มุมมองอื่น

มันขึ้นอยู่กับวิธีการที่เรากำหนด "การเปลี่ยนแปลง"

ฟังก์ชันใด ๆ ที่แบ่งพาร์ติชันข้อมูลออกเป็นสองส่วนสามารถแปลงเป็นแบบจำลองเชิงเส้นของแบบฟอร์มนี้โดยมีจุดตัดและอินพุตเดี่ยว (ตัวบ่งชี้ที่ "ด้าน" ของพาร์ติชั่นจุดข้อมูลอยู่) มันเป็นสิ่งสำคัญที่จะต้องทราบความแตกต่างระหว่างฟังก์ชั่นการตัดสินใจและขอบเขตการตัดสินใจ

อัลกอริทึมบางตัวใช้ไฮเปอร์เพลน (เช่นฟังก์ชันเชิงเส้น) เพื่อแยกข้อมูล ตัวอย่างที่โดดเด่นคือการถดถอยโลจิสติก อื่น ๆ ใช้ไฮเปอร์เพลนเพื่อแยกข้อมูลหลังจากการแปลงแบบไม่เชิงเส้น (เช่นเครือข่ายประสาทและการสนับสนุนเครื่องเวกเตอร์ที่มีเมล็ดไม่เชิงเส้น) ในกรณีนี้ขอบเขตการตัดสินใจไม่เชิงเส้นในพื้นที่ข้อมูลดั้งเดิม แต่เป็นเส้นตรงในพื้นที่คุณลักษณะซึ่งข้อมูลถูกแมป ในกรณีของ SVM การกำหนดสูตรเคอร์เนลจะกำหนดการแมปนี้โดยปริยาย อัลกอริธึมอื่น ๆ ใช้หลายไฮเปอร์แยกในพื้นที่ท้องถิ่นของพื้นที่ข้อมูล (เช่นต้นไม้การตัดสินใจ) ในกรณีนี้ขอบเขตการตัดสินใจจะเป็นแบบเส้นตรงเป็นเส้นตรง (แต่ไม่รวมเชิงเส้น)

อย่างไรก็ตามอัลกอริธึมอื่นมีขอบเขตการตัดสินใจแบบไม่เชิงเส้นและไม่ได้กำหนดในแง่ของไฮเปอร์เพลน ตัวอย่างที่เด่นชัดคือการจำแนกเพื่อนบ้าน k ที่ใกล้ที่สุด ตัวแยกประเภท Ensemble (เช่นการผลิตโดยการเพิ่มหรือบรรจุตัวแยกประเภทอื่น ๆ ) โดยทั่วไปจะไม่เชิงเส้น