มีกรณีที่ไม่มี k ที่ดีที่สุดใน k-mean

สิ่งนี้อยู่ในใจฉันอย่างน้อยสองสามชั่วโมง ฉันพยายามหา k ที่เหมาะสมที่สุดสำหรับผลลัพธ์จากอัลกอริธึม k (หมายถึงความคล้ายคลึงกันโคไซน์ ) ดังนั้นฉันจึงวางแผนการบิดเบือนเป็นฟังก์ชันของจำนวนกลุ่ม ชุดข้อมูลของฉันคือชุดเอกสาร 800 ชุดในพื้นที่ 600 มิติ

จากสิ่งที่ฉันเข้าใจการหาจุดหัวเข่าหรือจุดศอกบนเส้นโค้งนี้ควรบอกฉันอย่างน้อยประมาณจำนวนของกลุ่มที่ฉันต้องใส่ข้อมูลของฉัน ฉันใส่กราฟด้านล่าง จุดที่ได้รับเส้นแนวตั้งสีแดงนั้นได้มาจากการทดสอบอนุพันธ์อันดับสองสูงสุด หลังจากทำทั้งหมดนี้ฉันติดอยู่กับสิ่งที่ง่ายกว่ามาก: กราฟนี้บอกอะไรฉันเกี่ยวกับชุดข้อมูล

มันบอกฉันไหมว่ามันไม่คุ้มกับการรวมกลุ่มและเอกสารของฉันขาดโครงสร้างหรือว่าฉันต้องตั้งค่า k ที่สูงมาก? สิ่งหนึ่งที่แปลกคือแม้ว่าจะมีค่า k ต่ำฉันก็เห็นเอกสารที่คล้ายกันรวมกันเป็นกลุ่มดังนั้นฉันจึงไม่แน่ใจว่าทำไมฉันถึงได้รับเส้นโค้งนี้ ความคิดใด ๆ

ในสถานการณ์ส่วนใหญ่ฉันจะคิดว่า dsuch พล็อตโดยทั่วไปหมายความว่าไม่มีโครงสร้างคลัสเตอร์ในข้อมูล อย่างไรก็ตามการจัดกลุ่มในมิติที่สูงมากเช่นนี้เป็นเรื่องยากสำหรับตัวชี้วัดระยะทางแบบยุคลิดระยะทางทุกระยะมีแนวโน้มที่จะเท่ากับจำนวนมิติที่เพิ่มขึ้น ดูนี้หน้าวิกิพีเดียสำหรับการอ้างอิงถึงเอกสารบางในหัวข้อนี้ กล่าวโดยย่อก็อาจเป็นมิติข้อมูลสูงของชุดข้อมูลที่เป็นปัญหา

นี้เป็นหลัก "การสาปแช่งของมิติ" การดูที่นี้หน้าวิกิพีเดียได้เป็นอย่างดี

กระดาษที่อาจเป็นที่สนใจคือ Sanguinetti, G. , "การลดมิติของ datsets แบบกลุ่ม", ธุรกรรม IEEE เกี่ยวกับการวิเคราะห์รูปแบบและความฉลาดของเครื่อง, ฉบับที่ 30 ไม่ 3, pp. 535-540, มีนาคม 2008 ( www ) ซึ่งเป็นเหมือนรุ่น LDA ที่ไม่มีผู้ดูแลซึ่งค้นหาพื้นที่ว่างในระดับต่ำที่เน้นโครงสร้างคลัสเตอร์ บางทีคุณอาจใช้วิธีนี้เป็นวิธีการแยกฟีเจอร์ก่อนที่จะดำเนินการกับค่า k?

คุณใช้ความคล้ายโคไซน์อย่างไร นี่คือสิ่งที่ถูกอ้างถึงเป็นทรงกลม K-mean หรือไม่? ชุดข้อมูลของคุณมีขนาดค่อนข้างเล็กดังนั้นฉันจะพยายามจินตนาการให้เป็นเครือข่าย สำหรับเรื่องนี้มันเป็นเรื่องธรรมดาที่จะใช้ความคล้ายคลึงกัน (จริง ๆ เช่นความคล้ายคลึงกันของโคไซน์หรือความสัมพันธ์ของเพียร์สัน) ใช้ตัด (พิจารณาความสัมพันธ์เหนือความคล้ายคลึงกันบางอย่างเท่านั้น) และดูผลลัพธ์ในเครือข่ายเช่น Cytoscape หรือ BioLayout . สิ่งนี้มีประโยชน์มากในการรับรู้ข้อมูล ประการที่สองฉันจะคำนวณค่าเอกพจน์สำหรับเมทริกซ์ข้อมูลของคุณหรือค่าลักษณะเฉพาะของเมทริกซ์ที่แปลงและปกติที่เหมาะสม (เมทริกซ์เอกสารเอกสารที่ได้รับในบางรูปแบบ) โครงสร้างกลุ่มควร (อีกครั้ง) แสดงเป็นกระโดดในรายการสั่งของค่าลักษณะเฉพาะหรือค่าเอกพจน์

โดยทั่วไปแล้ว k-หมายความว่าอาจรวมกันเป็นโซลูชั่นที่แตกต่างกันมากซึ่งอาจถือว่าไม่เหมาะสม สิ่งนี้เกิดขึ้นกับกลุ่มที่มีรูปร่างผิดปกติ

ที่ได้รับเพิ่มเติมสัญชาตญาณของคุณยังสามารถลองใช้วิธีการสร้างภาพอื่น: K-หมายความว่าคุณสามารถเห็นภาพหลายทำงานกับ K-หมายถึงการใช้ Graphgrams (ดูแพคเกจ graphgram WEKA - รับที่ดีที่สุดโดยผู้จัดการแพคเกจหรือนี่ . แนะนำและตัวอย่างนอกจากนี้ยังสามารถ พบที่นี่

ถ้าฉันเข้าใจกราฟอย่างถูกต้องมันคือพล็อตของจำนวนกลุ่ม K บนแกน x และระยะห่างของกลุ่มบนแกน y?

เนื่องจากฟังก์ชันวัตถุประสงค์ K ของคุณคือลด WCSS ให้น้อยที่สุดพล็อตนี้จึงควรลดความซ้ำซากจำเจ เมื่อคุณเพิ่มกลุ่มมากขึ้นระยะห่างระหว่างจุดในคลัสเตอร์จะลดลงเสมอ นี่เป็นปัญหาพื้นฐานของการเลือกแบบจำลองดังนั้นคุณต้องใช้ความซับซ้อนเพิ่มขึ้นอีกเล็กน้อย

อาจลองใช้สถิติ Gap: www-stat.stanford.edu/~tibs/ftp/gap.ps หรือคนอื่น ๆ ที่ชอบ

นอกจากนี้คุณอาจพบว่า K-หมายความว่าไม่ใช่เครื่องมือที่เหมาะสมสำหรับงาน คุณคาดว่าจะพบกลุ่มกี่กลุ่ม การใช้กฎความแปรปรวนสำหรับการลดขนาดสำหรับการจัดกลุ่มไม่เหมาะสม ดูกระดาษนี้สำหรับเมื่อทำการฉายภาพลงบนพีซี K-1 เครื่องแรกเป็นการวัดการประมวลผลล่วงหน้าที่เหมาะสม: http://people.csail.mit.edu/gjw/papers/jcss.ps

คุณสามารถดูได้อย่างรวดเร็วว่านี่เป็นสิ่งที่ถูกต้องหรือไม่โดยการวางแผนการฉายภาพลงบนสององค์ประกอบหลักแรก หากมีการแยกชัดเจน K หมายถึงควรจะโอเคถ้าไม่คุณต้องมองหาอย่างอื่น บางที K-subspaces หรือวิธีการทำคลัสเตอร์ subspace อื่น ๆ อย่าลืมวิธีการเหล่านี้ใช้กับระยะทางแบบยุคลิด ฉันไม่แน่ใจว่าการเปลี่ยนแปลงนี้เป็นอย่างไรสำหรับโคไซน์