อัลกอริทึมต้นไม้ตัดสินใจเป็นแบบเชิงเส้นหรือไม่เชิงเส้น

เมื่อเร็ว ๆ นี้เพื่อนของฉันถูกถามว่าอัลกอริทึมการตัดสินใจต้นไม้เป็นขั้นตอนวิธีเชิงเส้นหรือไม่เชิงเส้นในการสัมภาษณ์ ฉันพยายามค้นหาคำตอบสำหรับคำถามนี้ แต่ไม่พบคำอธิบายที่น่าพอใจ ทุกคนสามารถตอบและอธิบายวิธีแก้ปัญหาสำหรับคำถามนี้ได้หรือไม่? นอกจากนี้ยังมีตัวอย่างอื่น ๆ ของอัลกอริทึมการเรียนรู้ด้วยเครื่องไม่เชิงเส้นคืออะไร?

ต้นไม้การตัดสินใจคือการทำแผนที่ที่ไม่ใช่เชิงเส้นของการX yนี่เป็นเรื่องง่ายที่จะดูว่าคุณใช้ฟังก์ชั่นโดยพลการและสร้างต้นไม้ให้มีความลึกสูงสุดหรือไม่

ตัวอย่างเช่น:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

แน่นอนว่านี่เป็นต้นไม้ที่สมบูรณ์แบบมากและจะไม่พูดคุยกัน แต่มันแสดงให้เห็นว่าทำไมแผนภูมิการตัดสินใจจึงเป็นแผนที่ที่ไม่ใช่เชิงเส้น

เมื่อเร็ว ๆ นี้เพื่อนของฉันถูกถามว่าอัลกอริทึมการตัดสินใจต้นไม้เป็นอัลกอริทึมเชิงเส้นหรือไม่เชิงเส้นในการสัมภาษณ์

ต้นไม้การตัดสินใจเป็นลักษณนามแบบไม่เชิงเส้นเช่นโครงข่ายประสาทเทียมเป็นต้นโดยทั่วไปจะใช้สำหรับการจำแนกข้อมูลที่ไม่สามารถแยกได้แบบเป็นเส้นตรง

แม้ว่าคุณจะพิจารณาตัวอย่างการถดถอยแล้วต้นไม้การตัดสินใจก็ไม่เชิงเส้น

ตัวอย่างเช่นเส้นการถดถอยเชิงเส้นจะมีลักษณะดังนี้:

จุดสีแดงคือจุดข้อมูล

และพล็อตการถดถอยต้นไม้ตัดสินใจจะมีลักษณะดังนี้:

ดังนั้นต้นไม้การตัดสินใจที่ชัดเจนจึงไม่ใช่แบบเส้นตรง

ต้นไม้ตัดสินใจไม่เป็นเชิงเส้น ไม่เหมือนกับสมการถดถอยเชิงเส้นไม่มีสมการที่แสดงความสัมพันธ์ระหว่างตัวแปรอิสระและตัวแปรตาม

Ex:

การถดถอยเชิงเส้น - ราคาผลไม้ = b0 + b1 * ความสดใหม่ + b2 * ขนาด

ต้นไม้ตัดสินใจ - โหนด: สุก - ใช่หรือไม่ | สด - ใช่หรือไม่ | ขนาด - <5,> 5 แต่ <10 และ> 10 |

ในกรณีที่สองไม่มีความสัมพันธ์เชิงเส้นระหว่างตัวแปรอิสระและตัวแปรตาม

ดังที่หลายคนชี้ให้เห็นต้นไม้การถดถอย / การตัดสินใจเป็นรูปแบบที่ไม่ใช่เชิงเส้น อย่างไรก็ตามโปรดทราบว่ามันเป็นตัวแบบเชิงเส้นทีละชิ้น : ในแต่ละย่าน (กำหนดโดยวิธีที่ไม่ใช่เชิงเส้น) มันเป็นแบบเชิงเส้น ในความเป็นจริงรูปแบบเป็นเพียงค่าคงที่ท้องถิ่น

$\theta$

$1(A)$

$VC$$2^d$$d$$2^{2^d}$$m$$d$$min(2^d, m)$ID3C4.5