KNN เป็นอัลกอริทึมการเรียนรู้ที่เลือกปฏิบัติหรือไม่?

17

ดูเหมือนว่า KNN เป็นอัลกอริทึมการเรียนรู้แบบเลือกปฏิบัติ แต่ฉันไม่พบแหล่งข้อมูลออนไลน์ใด ๆ ยืนยันสิ่งนี้

machine-learning classification k-nearest-neighbour

19

KNN เป็นอัลกอริธึมการเลือกปฏิบัติเนื่องจากเป็นแบบจำลองความน่าจะเป็นแบบมีเงื่อนไขของตัวอย่างที่เป็นของคลาสที่กำหนด หากต้องการดูสิ่งนี้ให้พิจารณาว่าจะเข้าสู่กฏการตัดสินใจของ kNN อย่างไร

ฉลากระดับสอดคล้องกับชุดของจุดซึ่งอยู่ในเขตบางอย่างในพื้นที่คุณลักษณะRถ้าคุณดึงคะแนนตัวอย่างจากการแจกแจงความน่าจะเป็นจริง, , อย่างอิสระดังนั้นความน่าจะเป็นในการวาดตัวอย่างจากคลาสนั้นคือ $R$ $p(x)$

P = \int_{R} p (x) d x

$P = \int_{R} p(x) dx$

เกิดอะไรขึ้นถ้าคุณมีคะแนนความน่าจะเป็นที่คะแนนของคะแนนเหล่านั้นตกอยู่ในภูมิภาคตามการกระจายแบบทวินาม, $N$ $K$ $N$ $R$

P r o b (K) = (\binom{N}{K}) P^{K} (1 - P)^{N - K}

$Prob(K) = {{N} \choose {K}}P^{K}(1-P)^{N-K}$

ในฐานะที่เป็นกระจายนี้คือแหลมอย่างรวดเร็วเพื่อที่ว่าน่าจะสามารถประมาณโดยค่าเฉลี่ยของ{N} การประมาณเพิ่มเติมคือการแจกแจงความน่าจะเป็นเหนือยังคงที่ประมาณดังนั้นเราสามารถประมาณอินทิกรัลโดย โดยที่คือปริมาตรรวมของ ภูมิภาค. ภายใต้การประมาณนี้{} $N \to \infty$ $\frac{K}{N}$ $R$

P = \int_{R} p (x) d x \approx p (x) V

$P = \int_{R} p(x) dx \approx p(x)V$

V

$V$

p (x) \approx \frac{K}{N V}

$p(x) \approx \frac{K}{NV}$

ตอนนี้ถ้าเรามีหลายคลาสเราสามารถทำซ้ำการวิเคราะห์ที่เหมือนกันสำหรับแต่ละอันซึ่งจะให้เรา โดยที่เป็นจำนวนจุดจากชั้นซึ่งอยู่ภายในว่าภูมิภาคและเป็นจำนวนรวมของจุดที่อยู่ในระดับC_kแจ้งให้ทราบล่วงหน้า N

p (x | C_{k}) = \frac{K_{k}}{N_{k} V}

$p(x|C_{k}) = \frac{K_{k}}{N_{k}V}$

K_{k}

$K_{k}$

k

$k$

N_{k}

$N_{k}$

C_{k}

$C_k$

\sum_{k} N_{k} = N

$\sum_{k}N_{k}=N$

การทำซ้ำการวิเคราะห์การกระจายทวินามมันเป็นเรื่องง่ายที่จะเห็นว่าเราสามารถที่จะประเมินก่อน{N} $P(C_{k}) = \frac{N_{k}}{N}$

การใช้กฎ Bayes, ซึ่งเป็นกฎสำหรับ kNN

P (C_{k} | x) = \frac{p (x | C_{k}) p (C_{k})}{p (x)} = \frac{K_{k}}{K}

$P(C_{k}|x) = \frac{p(x|C_{k})p(C_{k})}{p(x)} = \frac{K_{k}}{K}$

— jpmuc
แหล่งที่มา

2

การอ้างอิงไม่รวมถึงข้อมูลใด ๆ ใน KNN มันถูกต้องหรือไม่

— bayerj

1

ฉันหมายถึงการเน้นสิ่งที่เข้าใจสำหรับอัลกอริทึมการเลือกปฏิบัติเทียบกับกำเนิด

— jpmuc

5

คำตอบโดย @jpmuc ดูเหมือนจะไม่ถูกต้อง แบบจำลอง Generative จำลองการแจกแจงพื้นฐาน P (x / Ci) จากนั้นใช้ทฤษฎีบทของ Bayes เพื่อค้นหาความน่าจะเป็นหลัง นั่นคือสิ่งที่แสดงในคำตอบนั้นแล้วจึงสรุปตรงกันข้าม โอ้

เพื่อให้ KNN เป็นแบบจำลองกำเนิดเราควรจะสามารถสร้างข้อมูลสังเคราะห์ได้ ดูเหมือนว่าเป็นไปได้เมื่อเรามีข้อมูลการฝึกอบรมเบื้องต้น แต่เริ่มจากไม่มีข้อมูลการฝึกอบรมและการสร้างข้อมูลสังเคราะห์เป็นไปไม่ได้ ดังนั้น KNN จึงไม่เหมาะกับโมเดลจำลอง

หนึ่งอาจแย้งว่า KNN เป็นรูปแบบการเลือกปฏิบัติเพราะเราสามารถวาดขอบเขตการจำแนกสำหรับการจำแนกหรือเราสามารถคำนวณหลัง P (Ci / x) แต่ทั้งหมดนี้เป็นจริงในกรณีของแบบจำลองกำเนิดเช่นกัน แบบจำลองการแบ่งแยกที่แท้จริงไม่ได้บอกอะไรเกี่ยวกับการกระจายตัว แต่ในกรณีของ KNN เรารู้มากมายเกี่ยวกับการแจกจ่ายพื้นฐาน infact เรากำลังจัดเก็บชุดฝึกทั้งหมด

ดังนั้นดูเหมือนว่า KNN จะอยู่ตรงกลางระหว่างโมเดลการกำเนิดและการเลือกปฏิบัติ อาจเป็นเหตุผลที่ KNN ไม่ได้จัดหมวดหมู่ภายใต้โมเดลการกำเนิดหรือการเลือกปฏิบัติใด ๆ ในบทความที่มีชื่อเสียง ลองเรียกมันว่าโมเดลที่ไม่ใช่พารามิเตอร์

— Binu Jasim
แหล่งที่มา

ผมไม่เห็นด้วย. "ตัวแยกประเภททั่วไปเรียนรู้รูปแบบของความน่าจะเป็นร่วม, p (x, y), ของอินพุต x และเลเบล y และทำการทำนายโดยใช้กฎของเบย์เพื่อคำนวณ p (ylx) แล้วเลือกเลเบล y ที่เป็นไปได้มากที่สุด ดิสทริบิวเตอร์ discriminative รุ่นหลัง p (ylx) โดยตรงหรือเรียนรู้แผนที่โดยตรงจากอินพุต x กับป้ายชื่อชั้น " ดูที่ "บน Discriminative vs. Generators Classifiers: การเปรียบเทียบการถดถอยโลจิสติกและ Bayes ไร้เดียงสา

— jpmuc

3

ฉันได้เจอหนังสือที่บอกว่าตรงกันข้าม ( เช่นรูปแบบการจัดประเภท Nonparametric Generative )

นี่คือลิงค์ออนไลน์: Machine Learning A Perspective มุมมองที่น่าจะเป็นโดย Murphy, Kevin P. (2012)

ข้อความที่ตัดตอนมาจากหนังสือ:

— Gürol Canbek
แหล่งที่มา

ต้องเป็นความผิดพลาด ..

1

ฉันยอมรับว่า kNN เลือกปฏิบัติ เหตุผลก็คือมันไม่ได้จัดเก็บหรือพยายามที่จะเรียนรู้รูปแบบ (น่าจะเป็น) ที่อธิบายข้อมูล (ตรงข้ามกับเช่น Naive Bayes)

คำตอบของ juampa ทำให้ฉันสับสนเนื่องจากความเข้าใจของฉันตัวแยกประเภทแบบกำเนิดเป็นสิ่งหนึ่งที่พยายามอธิบายวิธีการสร้างข้อมูล (เช่นใช้แบบจำลอง) และคำตอบนั้นบอกว่ามันเป็นการเลือกปฏิบัติเนื่องจากเหตุผลนี้ ...

— อาเมียร์
แหล่งที่มา

1

โมเดลทั่วไปเรียนรู้ P (Ck, X) ดังนั้นคุณสามารถสร้างข้อมูลเพิ่มเติมได้โดยใช้การแจกแจงแบบร่วม ในทางตรงกันข้ามรูปแบบการเลือกปฏิบัติจะได้เรียนรู้ P (Ck | X) นี่คือสิ่งที่ @juampa ชี้ไปที่ด้วย KNN

— Zhubarb

1

ณ เวลาการจัดหมวดหมู่ทั้งกำเนิดและการเลือกปฏิบัติสิ้นสุดลงโดยใช้ความน่าจะเป็นเงื่อนไขที่จะทำให้การคาดการณ์ อย่างไรก็ตามตัวแยกประเภทแบบกำเนิดได้เรียนรู้ถึงความน่าจะเป็นร่วมและโดยกฎเบย์จะคำนวณเงื่อนไขในขณะที่การจำแนกแบบลักษณนามนั้นจะคำนวณโดยตรงตามเงื่อนไขหรือให้การประมาณที่ดีที่สุดเท่าที่จะทำได้

— rapaio