วิธีทำความเข้าใจข้อเสียของ K-mean

K-mean เป็นวิธีที่ใช้กันอย่างแพร่หลายในการวิเคราะห์กลุ่ม ในความเข้าใจของฉันวิธีนี้ไม่จำเป็นต้องมีข้อสมมติฐานใด ๆ เช่นให้ชุดข้อมูลและจำนวนกลุ่มที่กำหนดไว้ล่วงหน้าฉันและฉันเพิ่งใช้อัลกอริทึมนี้ซึ่งช่วยลดผลรวมของข้อผิดพลาดกำลังสอง (SSE) ภายในคลัสเตอร์กำลังสอง ความผิดพลาด

k-mean จึงเป็นปัญหาการหาค่าเหมาะที่สุด

ฉันอ่านเนื้อหาเกี่ยวกับข้อเสียของ k-mean ส่วนใหญ่พูดว่า:

• k- หมายถึงถือว่าความแปรปรวนของการกระจายของแต่ละคุณลักษณะ (ตัวแปร) เป็นทรงกลม;
• ตัวแปรทั้งหมดมีความแปรปรวนเดียวกัน
• ความน่าจะเป็นก่อนหน้านี้สำหรับ k k ทั้งหมดนั้นเหมือนกันกล่าวคือแต่ละกลุ่มมีจำนวนการสังเกตอย่างเท่าเทียมกัน

หากมีการละเมิดสมมติฐานข้อใดข้อหนึ่งใน 3 ข้อใดข้อหนึ่งของ k-mean จะล้มเหลว

ฉันไม่เข้าใจตรรกะหลังคำสั่งนี้ ฉันคิดว่าวิธี k-mean ไม่มีข้อสมมติฐานเป็นหลักมันแค่ลด SSE ลงเท่านั้นดังนั้นฉันจึงไม่สามารถเห็นลิงก์ระหว่างการลด SSE และ "สมมติฐาน" ทั้งสามนี้

ในขณะที่ฉันชอบคำตอบของเดวิดโรบินสันที่นี่เป็นจำนวนมาก แต่นี่เป็นบทวิจารณ์เพิ่มเติมเกี่ยวกับค่า k

การทำคลัสเตอร์ข้อมูลที่ไม่ใช่คลัสเตอร์

เรียกใช้ k-mean กับข้อมูลที่เหมือนกันและคุณจะยังคงได้รับกลุ่ม! มันไม่ได้บอกคุณเมื่อข้อมูลไม่รวมกลุ่มและสามารถนำการวิจัยของคุณไปสู่จุดจบแบบนี้ได้

อ่อนไหวต่อขนาด

การลดขนาดชุดข้อมูลของคุณจะเปลี่ยนผลลัพธ์ทั้งหมด แม้ว่าตัวเองจะไม่เลว แต่ก็ไม่ได้ตระหนักว่าคุณต้องให้ความสนใจเป็นพิเศษกับการปรับขนาดข้อมูลของคุณให้แย่ ปัจจัยการปรับเป็นพิเศษพารามิเตอร์ที่ซ่อนอยู่ใน K-หมายความว่า "เริ่มต้น" 1 จึงจะมองข้ามได้ง่าย แต่มีผลกระทบสำคัญ ( แต่ของหลักสูตรนี้นำไปใช้กับขั้นตอนวิธีการอื่น ๆ อีกมากมายเกินไป)$d$

นี่อาจเป็นสิ่งที่คุณเรียกว่า "ตัวแปรทั้งหมดมีความแปรปรวนเดียวกัน" นอกจากนั้นคุณควรพิจารณาปรับขนาดที่ไม่ใช่เชิงเส้นตามความเหมาะสม

นอกจากนี้ยังทราบว่ามันเป็นเพียงการแก้ปัญหาที่จะไต่ทุกแกนมีหน่วยความแปรปรวน สิ่งนี้ไม่รับประกันว่า k-mean ใช้งานได้ การปรับขึ้นอยู่กับความหมายของชุดข้อมูลของคุณ และถ้าคุณมีมากกว่าหนึ่งคลัสเตอร์คุณจะต้องการให้ทุกกลุ่ม (อิสระ) มีความแปรปรวนเดียวกันในทุกตัวแปรเช่นกัน

นี่คือตัวอย่างคลาสสิกตัวอย่างของชุดข้อมูลที่ k-mean ไม่สามารถทำคลัสเตอร์ได้ แกนทั้งสองเป็น iid ในแต่ละคลัสเตอร์ดังนั้นจึงเพียงพอที่จะทำสิ่งนี้ใน 1 มิติ แต่กลุ่มมีความแปรปรวนที่แตกต่างกันและ k- หมายถึงจึงแยกพวกเขาไม่ถูกต้อง

ฉันไม่คิดว่าตัวอย่างของการตอบโต้แบบ k สำหรับค่าเฉลี่ยนี้ครอบคลุมโดยคะแนนของคุณ:

• กลุ่มทั้งหมดนั้นเป็นทรงกลม (iid Gaussian)
• แกนทั้งหมดมีการกระจายตัวเดียวกันและแปรปรวน
• ทั้งสองกลุ่มมี 500 องค์ประกอบต่อกัน

ยัง k- หมายถึงยังล้มเหลวไม่ดี (และมันแย่ลงถ้าฉันเพิ่มความแปรปรวนเกินกว่า 0.5 สำหรับคลัสเตอร์ขนาดใหญ่) แต่: ไม่ใช่อัลกอริทึมที่ล้มเหลว มันเป็นสมมติฐานซึ่งไม่ถือ K-หมายความว่าทำงานได้อย่างสมบูรณ์มันเป็นเพียงการเพิ่มประสิทธิภาพเกณฑ์ที่ไม่ถูกต้อง

แม้ในชุดข้อมูลที่สมบูรณ์แบบก็สามารถติดขัดในระดับต่ำสุดในท้องถิ่น

ด้านล่างเป็นวิธีที่ดีที่สุดในการรัน 10 ค่า k ในชุดข้อมูล A3 แบบคลาสสิก นี้เป็นชุดข้อมูลสังเคราะห์ที่ออกแบบมาสำหรับ k 50 กลุ่มรูปร่าง Gaussian แต่ละอันแยกกันอย่างสมเหตุสมผล กระนั้นก็มีเพียง k-หมายถึง ++ และ 100 ซ้ำที่ฉันได้รับผลลัพธ์ที่คาดหวัง ... (ด้านล่างคือ 10 ซ้ำของ k-mean ปกติสำหรับภาพประกอบ)

คุณจะพบกลุ่มจำนวนมากในชุดข้อมูลนี้อย่างรวดเร็วโดยที่ k-mean ไม่สามารถหาโครงสร้างที่ถูกต้องได้ ยกตัวอย่างเช่นที่ด้านล่างขวาคลัสเตอร์แบ่งออกเป็นสามส่วน แต่ไม่มีวิธีใดวิธี k หมายถึงจะย้ายหนึ่งในเซ็นทรอยด์เหล่านี้ไปยังตำแหน่งที่แตกต่างกันอย่างสิ้นเชิงของชุดข้อมูล - มันติดอยู่ในระดับต่ำสุดในท้องถิ่น (และนี่คือ10 วิ่งที่ดีที่สุด !

และมีจำนวนมากของท้องถิ่นน้อยดังกล่าวในชุดข้อมูลนี้ บ่อยครั้งมากเมื่อคุณได้รับสองตัวอย่างจากคลัสเตอร์เดียวกันมันจะติดค้างในระดับต่ำสุดที่กลุ่มนี้ยังแยกออกจากกันและอีกสองกลุ่มรวมเข้าด้วยกันแทน ไม่เสมอไป แต่บ่อยครั้งมาก ดังนั้นคุณต้องทำซ้ำหลาย ๆ ครั้งเพื่อรับโชคดี ด้วยค่าเฉลี่ย 100 รอบของ k หมายถึงฉันยังคงนับข้อผิดพลาด 6 ข้อและอีก 1,000 ครั้งฉันได้รับข้อผิดพลาดนี้ถึง 4 ข้อ K-หมายถึง ++ โดยวิธียกน้ำหนักตัวอย่างแบบสุ่มทำงานได้ดีขึ้นมากในชุดข้อมูลนี้

หมายถึงต่อเนื่อง

ในขณะที่คุณสามารถรัน k-mean บนข้อมูลไบนารี (หรือข้อมูลที่จัดหมวดหมู่แบบเข้ารหัสร้อน) ผลลัพธ์จะไม่เป็นแบบไบนารีอีกต่อไป ดังนั้นคุณจะได้รับผลลัพธ์ แต่คุณอาจไม่สามารถตีความได้ในท้ายที่สุดเนื่องจากมีชนิดข้อมูลที่แตกต่างจากข้อมูลดั้งเดิมของคุณ

สมมติฐานที่ซ่อนอยู่: SSE เป็นมูลค่าที่ลด

นี่คือคำตอบที่แสดงให้เห็นข้างต้นแล้วแสดงให้เห็นเป็นอย่างดีกับการถดถอยเชิงเส้น มีบางกรณีใช้งานที่ k-หมายถึงทำให้รู้สึกที่สมบูรณ์แบบ เมื่อลอยด์ต้องถอดรหัสสัญญาณ PCM เขารู้จำนวนเสียงที่แตกต่างกันและข้อผิดพลาดกำลังสองน้อยที่สุดช่วยลดโอกาสในการถอดรหัสข้อผิดพลาด และในการวัดปริมาณสีของภาพคุณลดข้อผิดพลาดของสีน้อยที่สุดเมื่อลดจานสีด้วย แต่จากข้อมูลของคุณผลรวมของการเบี่ยงเบนกำลังสองเป็นเกณฑ์ที่มีความหมายที่จะลดลงหรือไม่?

ในตัวอย่างข้างต้นความแปรปรวนไม่คุ้มค่าที่จะลดขนาดให้น้อยที่สุดเนื่องจากมันขึ้นอยู่กับคลัสเตอร์ รูปแบบผสมของเสียนควรจะสอดคล้องกับข้อมูลดังที่แสดงในภาพด้านล่าง:

(แต่นี่ไม่ใช่วิธีที่ดีที่สุดเช่นกันมันเป็นเรื่องง่ายที่จะสร้างข้อมูลที่ไม่เป็นไปตามข้อสันนิษฐาน "การผสมผสานของ k เกาส์เซียน" เช่นเพิ่มเสียงพื้นหลัง)

ใช้งานง่ายเกินไป

สรุปแล้วมันง่ายเกินไปที่จะใส่ค่าเฉลี่ย k ในข้อมูลของคุณและยังได้ผลลัพธ์ออกมา (นั่นคือการสุ่มที่ค่อนข้างมาก แต่คุณจะไม่สังเกตเห็น) ฉันคิดว่ามันจะเป็นการดีกว่าถ้ามีวิธีที่สามารถล้มเหลวได้หากคุณไม่เข้าใจข้อมูลของคุณ ...

K- หมายถึงเป็นปริมาณ

หากคุณต้องการแบบจำลองเชิงทฤษฎีของสิ่งที่ k-mean ทำให้พิจารณาว่าเป็นแนวทางเชิงปริมาณไม่ใช่วิธีการจัดกลุ่ม

วัตถุประสงค์ของค่า k หมายถึงการลดความคลาดเคลื่อนกำลังสองน้อยที่สุด - เป็นตัวเลือกที่เหมาะสมถ้าคุณแทนที่ทุกวัตถุด้วยเซนทรอยด์ที่ใกล้ที่สุด (มันสมเหตุสมผลมากถ้าคุณตรวจสอบข้อมูลดั้งเดิมของกลุ่ม IMHO)

มีกรณีการใช้งานที่ดีสำหรับเรื่องนี้ กรณีการใช้ PCM เดิมของลอยด์มาถึงใจหรือเช่นquanization สี (วิกิพีเดีย) หากคุณต้องการที่จะลดภาพเพื่อ k สีที่คุณไม่ต้องการแทนที่พิกเซลพร้อม centroid ที่ใกล้ที่สุดทุก การลดความเบี่ยงเบนของสีกำลังสองน้อยที่สุดจะทำการวัดความเหมาะสมของ L2 ในการประมาณภาพโดยใช้สีเท่านั้น$k$

การหาปริมาณนี้อาจคล้ายกับตัวอย่างการถดถอยเชิงเส้น การถดถอยเชิงเส้นพบว่ารูปแบบเชิงเส้นที่ดีที่สุด และ k-mean ค้นหา (บางครั้ง) การลดค่า k ที่ดีที่สุดของชุดข้อมูลหลายมิติ โดยที่ "ดีที่สุด" เป็นข้อผิดพลาดกำลังสองน้อยที่สุด

IMHO, k- mean เป็นอัลกอริธึมquantizationที่ดี(ดูรูปแรกในโพสต์นี้ - ถ้าคุณต้องการประมาณข้อมูลที่ตั้งไว้ที่จุดสองจุดนี่เป็นตัวเลือกที่สมเหตุสมผล!) ถ้าคุณต้องการทำการวิเคราะห์แบบคลัสเตอร์เช่นเดียวกับในโครงสร้างการค้นพบ k-mean คือ IMHO ไม่ใช่ตัวเลือกที่ดีที่สุด มันมีแนวโน้มที่จะทำคลัสเตอร์เมื่อไม่มีกลุ่มและไม่สามารถรับรู้โครงสร้างต่าง ๆ ที่คุณเห็นข้อมูลจำนวนมาก

พิมพ์ดี: ภาพทั้งหมดถูกสร้างขึ้นด้วยELKI ข้อมูลถูกสร้างขึ้นโดยใช้.xmlรูปแบบการสร้างข้อมูล แต่เป็นข้อมูลพื้นฐานดังนั้นจึงไม่คุ้มค่าที่จะแบ่งปัน

เป็นคำถามที่ดีมาก - เป็นโอกาสที่จะแสดงให้เห็นว่าใครจะตรวจสอบข้อบกพร่องและสมมติฐานของวิธีการทางสถิติใด ๆ กล่าวคือสร้างข้อมูลและลองใช้อัลกอริธึมกับมัน!

เราจะพิจารณาสมมติฐานสองข้อของคุณและเราจะเห็นว่าเกิดอะไรขึ้นกับอัลกอริทึม k-mean เมื่อสมมติฐานเหล่านั้นเสีย เราจะยึดข้อมูลสองมิติเนื่องจากง่ายต่อการมองเห็น (ต้องขอบคุณคำสาปของมิติข้อมูลการเพิ่มมิติเพิ่มเติมมีแนวโน้มที่จะทำให้ปัญหาเหล่านี้รุนแรงขึ้นไม่น้อยลง) เราจะทำงานร่วมกับภาษาการเขียนโปรแกรมเชิงสถิติ R: คุณสามารถค้นหารหัสเต็มได้ที่นี่ (และโพสต์ในรูปแบบบล็อกที่นี่ )

การเบี่ยงเบน: สี่ของ Anscombe

ก่อนการเปรียบเทียบ ลองนึกภาพใครบางคนแย้งสิ่งต่อไปนี้:

ฉันอ่านเนื้อหาเกี่ยวกับข้อเสียของการถดถอยเชิงเส้นซึ่งคาดว่าจะมีแนวโน้มเชิงเส้นว่าส่วนที่เหลือจะกระจายตามปกติและไม่มีค่าผิดปกติ แต่การถดถอยเชิงเส้นทั้งหมดกำลังทำคือลดผลรวมของข้อผิดพลาดกำลังสอง (SSE) จากบรรทัดที่ทำนาย นั่นเป็นปัญหาการหาค่าเหมาะที่สุดที่สามารถแก้ไขได้ไม่ว่ารูปร่างของส่วนโค้งหรือการกระจายตัวของเศษซากจะเป็นเท่าไหร่ ดังนั้นการถดถอยเชิงเส้นจึงไม่จำเป็นต้องมีสมมติฐานในการทำงาน

ใช่แล้วการถดถอยเชิงเส้นทำงานได้โดยการลดผลรวมของส่วนที่เหลือกำลังสอง แต่นั่นด้วยตัวเองไม่ได้เป็นเป้าหมายของการถดถอยที่: สิ่งที่เรากำลังพยายามที่จะทำคือการวาดเส้นที่ทำหน้าที่เป็นที่เชื่อถือได้ทำนายเป็นกลางของปีบนพื้นฐานของx ทฤษฎีบท Gauss-มาร์คอฟบอกเราว่าลด SSE สำเร็จที่ goal- แต่ทฤษฎีบทที่วางอยู่บนสมมติฐานเฉพาะบางอย่าง หากสมมติฐานเหล่านั้นใช้งานไม่ได้คุณยังสามารถลด SSE ได้ แต่อาจไม่ทำเช่นนั้นสิ่งใด ลองนึกภาพว่า "คุณขับรถยนต์ด้วยการกดคันเร่ง: การขับรถนั้นเป็นกระบวนการ 'การเหยียบคันเร่ง' สามารถเหยียบคันเร่งได้ไม่ว่าจะมีแก๊สอยู่ในถังมากแค่ไหนดังนั้นแม้ว่าถังนั้นจะว่างเปล่าคุณก็ยังสามารถเหยียบคันเร่งแล้วขับรถได้

แต่การพูดคุยราคาถูก เรามาดูความเย็นความแข็งข้อมูล หรือข้อมูลที่สร้างขึ้นจริง

$R^2$

อาจกล่าวได้ว่า "การถดถอยเชิงเส้นยังคงใช้งานได้ในกรณีเหล่านี้เพราะมันลดผลรวมของกำลังสองของเศษเหลือ" แต่ชัยชนะของ Pyrrhic ! การถดถอยเชิงเส้นจะวาดเส้นเสมอ แต่ถ้าเป็นเส้นที่ไม่มีความหมายใครจะสนใจ?

ดังนั้นตอนนี้เราเห็นว่าการเพิ่มประสิทธิภาพสามารถทำได้ไม่ได้หมายความว่าเราบรรลุเป้าหมาย และเราเห็นว่าการสร้างข้อมูลและการมองเห็นมันเป็นวิธีที่ดีในการตรวจสอบสมมติฐานของแบบจำลอง ลองใช้สัญชาตญาณเราจะต้องใช้มันในอีกสักครู่

สมมติฐานที่ใช้งานไม่ได้: ข้อมูลที่ไม่เป็นทรงกลม

คุณยืนยันว่าอัลกอริทึม k-mean จะทำงานได้ดีบนคลัสเตอร์ที่ไม่ใช่ทรงกลม กลุ่มที่ไม่ใช่ทรงกลมเช่นนี้ ...

บางทีนี่อาจไม่ใช่สิ่งที่คุณคาดหวัง แต่ก็เป็นวิธีที่เหมาะสมอย่างยิ่งในการสร้างกลุ่ม เมื่อดูที่ภาพนี้มนุษย์เราจะจดจำคะแนนธรรมชาติสองกลุ่มได้ทันทีโดยไม่ผิดพลาด ดังนั้นมาดูกันว่า k-mean ทำอย่างไร: การมอบหมายจะแสดงเป็นสีศูนย์ที่ถูกจัดแสดงจะแสดงเป็น X

ดีที่ 's ไม่ถูกต้อง K-หมายความว่าพยายามใส่หมุดสี่เหลี่ยมในรูกลม - พยายามหาจุดศูนย์กลางที่ดีที่มีทรงกลมเรียบร้อยรอบตัว - และมันล้มเหลว ใช่มันยังคงลดผลรวมภายในกลุ่มของกำลังสองให้น้อยที่สุด - แต่ก็เหมือนกับใน Quartet ของ Anscombe ด้านบนมันเป็นชัยชนะของ Pyrrhic!

คุณอาจพูดว่า "นั่นไม่ใช่ตัวอย่างที่ยุติธรรม ... ไม่มีวิธีการจัดกลุ่มที่สามารถค้นหากลุ่มที่แปลกได้อย่างถูกต้อง" ไม่จริง! ลองทำคลัสเตอร์เชื่อมโยง ลำดับชั้นเดียว :

ถูกจับมัน! นี่เป็นเพราะการทำคลัสเตอร์แบบลำดับชั้นเดียวเชื่อมโยงทำให้สมมติฐานที่ถูกต้องสำหรับชุดข้อมูลนี้ (มีอีกสถานการณ์หนึ่งในระดับที่มันล้มเหลว)

คุณอาจพูดว่า "นั่นเป็นกรณีทางพยาธิวิทยาขั้นรุนแรงที่สุด" แต่มันไม่ใช่! ตัวอย่างเช่นคุณสามารถทำให้กลุ่มรอบนอกเป็นครึ่งวงกลมแทนที่จะเป็นวงกลมและคุณจะเห็นว่า k-mean ยังคงทำงานได้ดีมาก (และการจัดกลุ่มแบบลำดับชั้นยังทำได้ไม่ดี) ฉันสามารถสร้างสถานการณ์ที่มีปัญหาอื่น ๆ ได้อย่างง่ายดายและนั่นเป็นเพียงสองมิติ เมื่อคุณทำการจัดกลุ่มข้อมูล 16 มิติมีโรคทุกชนิดที่อาจเกิดขึ้นได้

ท้ายนี้ฉันควรทราบว่า k-mean ยังคงสามารถกู้ได้! หากคุณเริ่มต้นด้วยการแปลงข้อมูลของคุณเป็นพิกัดเชิงขั้วตอนนี้การจัดกลุ่มจะทำงานได้:

นั่นเป็นเหตุผลที่การทำความเข้าใจสมมติฐานที่ใช้เป็นพื้นฐานเป็นสิ่งสำคัญ: มันไม่เพียง แต่บอกคุณเมื่อวิธีมีข้อบกพร่องมันบอกวิธีการแก้ไข

สมมติฐานที่ขาด: กลุ่มที่มีขนาดไม่เท่ากัน

จะทำอย่างไรถ้ากลุ่มมีจำนวนคะแนนไม่เท่ากันซึ่งทำให้การจัดกลุ่ม k-mean แตกด้วย? ลองพิจารณาชุดของกลุ่มนี้ขนาด 20, 100, 500 ฉันสร้างจาก Gaussian หลายตัวแปร:

ดูเหมือนว่าค่าเฉลี่ย k อาจหากลุ่มพวกนั้นใช่ไหม ดูเหมือนว่าทุกอย่างจะถูกสร้างเป็นกลุ่มที่เรียบร้อยและเป็นระเบียบ ดังนั้นลองใช้วิธี k:

อุ๊ยตาย สิ่งที่เกิดขึ้นที่นี่เป็นเรื่องเล็กน้อย ในการค้นหาเพื่อลดผลรวมของสแควร์สภายในคลัสเตอร์ให้น้อยที่สุดอัลกอริทึม k-mean จะให้ "น้ำหนัก" มากขึ้นไปยังกลุ่มใหญ่ ในทางปฏิบัตินั่นหมายความว่ายินดีที่จะให้คลัสเตอร์เล็ก ๆ สิ้นสุดห่างจากศูนย์ใด ๆ ในขณะที่ใช้ศูนย์เหล่านั้นเพื่อ "แยก" คลัสเตอร์ที่ใหญ่กว่า

หากคุณเล่นกับตัวอย่างเหล่านี้เล็กน้อย ( รหัส R ที่นี่! ) คุณจะเห็นว่าคุณสามารถสร้างสถานการณ์จำลองได้มากขึ้นซึ่งค่าเฉลี่ย k ทำให้ค่านั้นผิดพลาดอย่างน่าอาย

สรุป: ไม่มีอาหารกลางวันฟรี

มีการก่อสร้างที่มีเสน่ห์ในคติชนวิทยาคณิตศาสตร์โดยWolpert และ Macreadyเรียกว่า "ทฤษฎีบทอาหารกลางวันฟรี" มันอาจเป็นทฤษฎีบทที่ฉันชื่นชอบในปรัชญาการเรียนรู้ของเครื่องและฉันมีโอกาสที่จะนำมันขึ้นมา (ฉันพูดถึงฉันรักคำถามนี้หรือไม่) แนวคิดพื้นฐานถูกระบุไว้ (ไม่ใช่อย่างจริงจัง) เช่นนี้: " ทุกอัลกอริทึมทำงานได้ดีพอ ๆ กัน "

ตอบโต้ด้วยเสียงง่าย ๆ ? พิจารณาว่าในทุกกรณีที่อัลกอริทึมใช้งานได้ฉันสามารถสร้างสถานการณ์ที่มันล้มเหลวอย่างมาก การถดถอยเชิงเส้นสมมติว่าข้อมูลของคุณตกตามเส้น แต่ถ้าเป็นไปตามคลื่นไซน์ t-test สมมติว่าตัวอย่างแต่ละตัวอย่างมาจากการแจกแจงแบบปกติ: แล้วถ้าคุณโยนออกนอกกลุ่ม อัลกอริธึมการไล่ระดับสีใด ๆ สามารถติดอยู่ใน Maxima ท้องถิ่นและการจำแนกประเภทภายใต้การดูแลใด ๆ ก็สามารถถูกหลอกได้

สิ่งนี้หมายความว่า? หมายความว่าสมมติฐานเป็นที่มาของพลังของคุณ! เมื่อ Netflix แนะนำภาพยนตร์ให้กับคุณก็สมมติว่าถ้าคุณชอบหนังหนึ่งเรื่องคุณจะชอบหนังที่คล้ายกัน (และในทางกลับกัน) ลองจินตนาการถึงโลกที่ไม่เป็นความจริงและรสนิยมของคุณจะถูกสุ่มกระจายออกไปอย่างไร้ที่ติในประเภทนักแสดงและผู้กำกับ อัลกอริทึมการแนะนำของพวกเขาจะล้มเหลวอย่างมาก มันจะสมเหตุสมผลหรือไม่ที่จะพูดว่า "ก็ยังคงลดข้อผิดพลาดกำลังสองที่คาดไว้เอาไว้ดังนั้นอัลกอริทึมก็ยังทำงาน" คุณไม่สามารถสร้างอัลกอริทึมการแนะนำโดยไม่มีการตั้งสมมติฐานเกี่ยวกับรสนิยมของผู้ใช้ - เหมือนกับที่คุณไม่สามารถสร้างอัลกอริทึมการจัดกลุ่มได้โดยไม่ต้องทำการตั้งสมมติฐานเกี่ยวกับลักษณะของกลุ่มเหล่านั้น

ดังนั้นอย่าเพิ่งยอมรับข้อเสียเหล่านี้ รู้จักพวกเขาเพื่อให้พวกเขาสามารถแจ้งอัลกอริทึมที่คุณเลือก ทำความเข้าใจกับพวกเขาดังนั้นคุณสามารถปรับแต่งอัลกอริทึมของคุณและแปลงข้อมูลของคุณเพื่อแก้ปัญหา และรักพวกเขาเพราะถ้านางแบบของคุณไม่มีทางผิดนั่นหมายความว่ามันจะไม่ถูกต้อง

ฉันต้องการเพิ่มคำตอบของ @ DavidRobinson ว่าการรวมกลุ่มกับความแปรปรวนของกลุ่มน้อยที่สุดเป็นปัญหาการปรับให้เหมาะสมแบบ combinatorialซึ่ง k-Means เป็นเพียงเทคนิคเดียว อันนี้ก็ไม่ดีเหมือนกัน นอกจากนี้พยายามที่จะปรับปรุง "กระดูกเปลือย" อย่างมีนัยสำคัญ k- หมายถึงอย่างใด (แต่อย่างรวดเร็ว!) การหาที่เมล็ดคลัสเตอร์ควรจะเป็นถึงวาระจากจุดเริ่มต้น: เนื่องจากเมล็ดส่งผลกระทบ (อย่างรุนแรง!) กลุ่มสุดท้ายมันจำนวน เพื่อ "รู้" ว่าอะไรดีที่สุดคือ ... ก่อนคำนวณจริง

อย่างไรก็ตามเนื่องจากปัญหาการปรับให้เหมาะสมส่วนใหญ่มันอาจจะคล้อยตามเทคนิคการปรับให้เหมาะสมบางอย่าง หนึ่งในนั้นใกล้เคียงกับโครงสร้างของปัญหาอย่างมาก (ตามที่ NFL ต้องการ!) และแน่นอนมันแสดงให้เห็นในผลลัพธ์ ฉันไม่ต้องการสร้างโฆษณาใด ๆ ที่นี่ (จะเป็น - และถูกต้อง - ต่อต้านมารยาท) ดังนั้นถ้าคุณสนใจให้อ่านที่นี่และตัดสินใจด้วยตัวเอง

ที่ถูกกล่าวว่าฉันเห็นด้วยกับ @ttnphns ว่า k-Means ไม่ได้ระบุส่วนผสมแบบเกาส์ - ฟังก์ชั่นค่าใช้จ่ายของปัญหาทั้งสองนั้นแตกต่างกันอย่างสิ้นเชิง แต่กลับกลายเป็นว่าหาที่ดีที่สุดที่เหมาะสม (ในแง่ของความน่าจะเป็นรุ่นที่ได้รับข้อมูล) ผสมแบบเกาส์ยังเป็นการเพิ่มประสิทธิภาพ combinatorialปัญหา - และเป็นหนึ่งที่มีการเพิ่มประสิทธิภาพร้ายแรงเทคนิคที่มีอยู่เช่นกัน อีกครั้งหนึ่งที่ไม่มีโฆษณา: คุณสามารถเข้าถึงข้อสรุปของคุณเองที่นี่ - ฉันเพียงแค่จะบอกว่าอัลกอริทึมที่กล่าวสามารถมีจริงถูกต้องระบุกลุ่มเช่นภาพสุดท้ายใน @ เดวิดรอบินสันโพสต์ มันยังถูกต้อง (เช่นในทางคณิตศาสตร์ที่กำหนดไว้อย่างดี) แก้ปัญหาตลอดกาลของค่าผิดปกตินั่นคือจุดข้อมูลที่ไม่ได้เป็นของกลุ่มใด ๆ เพราะพวกเขาเป็นเพียงการสุ่มอย่างสมบูรณ์ (ฉาวโฉ่พวกเขาตกราง k-หมายถึงอย่างสมบูรณ์ ) สิ่งนี้ทำได้โดยมีการแจกเครื่องแบบเพิ่มเติมอีกหนึ่งชุดแข่งขันกับเกาส์เซียน ... และผลลัพธ์ที่ยอดเยี่ยมคือจากข้อมูลที่กระจายอย่างสม่ำเสมอมันรายงานว่าไม่มีอะไรในนั้น (ฉันไม่เคยเห็นที่อื่นเลย)

ตอนนี้เห็นได้ชัดว่าตาม NFL และตามที่คุณชี้อย่างถูกต้องแม้แต่ Gaussian Mixtures ระดับโลกที่มีการระบุตัวตนที่ดีที่สุดในระดับโลกก็ขึ้นอยู่กับข้อสันนิษฐานก่อนหน้านั่นคือการกระจายข้อมูลเป็นไปตามปกติ โชคดีที่แม้ว่าขอบคุณกฎหมายจำนวนมากที่ปรากฏการณ์ทางธรรมชาติต่าง ๆ นานาไม่สอดคล้องกับสมมติฐานที่ว่า

การปฏิเสธความรับผิด: ด้วยคำขอโทษที่ลึกที่สุดของฉันฉันเขียนทั้งสองเอกสารข้างต้นและอัลกอริทึมที่พวกเขาพูดคุย

ป.ล. ฉันได้พบกับ Macready ในการประชุมหนึ่งครั้ง - เป็นคนที่ดีและสดใสมาก!

การพูดอย่างมีเหตุผลข้อเสียของ K-mean คือ:

• ต้องการการแยกเชิงเส้นของกลุ่ม
• จำเป็นต้องระบุจำนวนของกลุ่ม
• อัลกอริทึม: ขั้นตอนการภักดีไม่ได้รวมกันเป็นค่าสูงสุดระดับโลกที่แท้จริงแม้จะมีการเริ่มต้นที่ดีเมื่อมีหลายจุดหรือหลายมิติ

แต่ K-Mean ดีกว่าที่เราคิด ฉันค่อนข้างกระตือรือร้นเกี่ยวกับมันหลังจากทดสอบกับวิธีการจัดกลุ่มอื่น ๆ (สเปกตรัมความหนาแน่น ... ) และ LDA ในการจัดหมวดหมู่ข้อความในชีวิตจริงของหนึ่งล้านข้อความ: K- หมายถึงมีความแม่นยำดีกว่า LDA เช่น (88% vs 59%) วิธีการจัดกลุ่มอื่น ๆ นั้นดี แต่ K-Mean นั้นใกล้เคียงกับ ... และมีราคาไม่แพงมากในแง่ของความซับซ้อน

ฉันไม่เคยอ่านเกี่ยวกับวิธีการจัดกลุ่มที่ดีขึ้นในระดับสากลในปัญหาที่หลากหลาย การไม่พูดว่า K-mean ดีกว่าในระดับสากลเพียงแค่ว่าไม่มีซูเปอร์ฮีโร่กลุ่มสากลเท่าที่ฉันรู้ บทความมากมายหลายวิธีไม่ใช่การปฏิวัติอย่างแท้จริง (จากประสบการณ์ส่วนตัวที่ จำกัด ในการทดสอบบางข้อ)

เหตุผลหลักที่ว่าทำไมข้อเสียเปรียบเชิงตรรกะของ K-mean มักจะปรากฏชัดเจนเพียงอย่างเดียวคือการรวมกลุ่มของจุดในระนาบ 2D เป็นสิ่งที่คุณไม่ค่อยได้เรียนรู้ในเครื่อง หลายสิ่งจากสัญชาตญาณทางเรขาคณิตที่เป็นจริงใน 2D, 3D ... ไม่เกี่ยวข้องในมิติที่ค่อนข้างสูงหรือปริภูมิเวกเตอร์ที่เป็นนามธรรม (เช่นถุงคำ, เวกเตอร์ของตัวแปร ... )

การแยกเชิงเส้น: คุณแทบจะไม่ต้องจัดการกับกลุ่มวงกลมในข้อมูลชีวิตจริง เป็นการดียิ่งกว่าที่จะสมมติว่าไม่มีในกรณีนี้ การอนุญาตให้อัลกอริทึมของคุณค้นหามันจะอนุญาตให้มันค้นหากลุ่มวงกลมแปลก ๆ ในเสียง สมมติฐานเชิงเส้นใน K-mean ทำให้มันแข็งแกร่งขึ้นบ่อยครั้ง

จำนวนกลุ่ม: มักจะไม่มีกลุ่มอุดมคติที่แท้จริงที่คุณต้องการดู สำหรับการจำแนกข้อความเช่นอาจมี 100 หมวดหมู่ 105, 110 ... มันค่อนข้างเป็นอัตนัย การระบุจำนวนกลุ่มจะเทียบเท่ากับการระบุกลุ่มโกลบอล วิธีการจัดกลุ่มทั้งหมดต้องการข้อมูลจำเพาะที่ละเอียด

$10^{\text{a lot}}$

แต่อัลกอริทึมการจัดกลุ่มทั้งหมดมีข้อ จำกัด ดังกล่าว ตัวอย่างเช่นในการจัดกลุ่ม Spectral: คุณไม่พบ eigenvector จริงเพียงการประมาณเท่านั้น

ในช่วงเวลาเดียวกันการคำนวณห้องสมุด LDA ที่ได้รับการปรับให้เหมาะสมนั้นทำได้ดีกว่าการแปล K-mean ตั้งแต่นั้นมาฉันก็คิดแตกต่างออกไปเล็กน้อย

เพื่อให้เข้าใจถึงข้อเสียของ K-หมายความว่าฉันชอบที่จะคิดว่ามันคืออะไร

$K$$K$

$K$$\sigma^2 \mathbf{I}$$\sigma^2$$K$$\sigma^2 \rightarrow 0$

ดังนั้นสิ่งนี้บอกอะไรเราเกี่ยวกับข้อเสียของ K-mean

1. K-mean นำไปสู่กลุ่มที่ดู Gaussian หลายตัวแปร
2. เนื่องจากความแปรปรวนของตัวแปรมีค่าเท่ากัน K-mean นำไปสู่กลุ่มที่มีลักษณะเป็นทรงกลม
3. $K$
4. K-mean มีแนวโน้มไปทางกลุ่มที่มีขนาดเท่ากัน

K-mean เป็นอัลกอริธึมที่ค่อนข้าง จำกัด ประโยชน์ที่ได้รับจากสมมติฐานข้างต้นคุณสามารถดำเนินการกับอัลกอริทึมได้อย่างรวดเร็ว แต่ถ้าประสิทธิภาพการทำคลัสเตอร์เป็นสิ่งที่คุณให้ความสำคัญอันดับแรก K-Mean มัก จำกัด ในสถานการณ์จริงมากเกินไป