K เร็วหมายถึงอัลกอริทึมสำหรับ 10 ^ 10 คะแนนหรือไม่

ฉันกำลังมองหาการจัดกลุ่ม k หมายถึงชุดของจุด 10 มิติ การจับ: มี 10 ^ 10 คะแนนคะแนน

ฉันกำลังมองหาเพียงศูนย์กลางและขนาดของกลุ่มที่ใหญ่ที่สุด (สมมติว่า 10 ถึง 100 กลุ่ม); ฉันไม่สนใจว่าคลัสเตอร์แต่ละจุดจะอยู่ในจุดใดการใช้ k-mean โดยเฉพาะนั้นไม่สำคัญ ฉันแค่กำลังมองหาเอฟเฟกต์ที่คล้ายกันค่าประมาณ k-mean หรืออัลกอริธึมที่เกี่ยวข้องจะดีมาก (minibatch-SGD หมายถึง ... ) เนื่องจาก GMM มีปัญหาเช่นเดียวกับ k-mean การทำ GMM กับข้อมูลขนาดเดียวกันก็น่าสนใจเช่นกัน

ในระดับนี้การสุ่มตัวอย่างข้อมูลอาจไม่เปลี่ยนผลลัพธ์อย่างมีนัยสำคัญ: โอกาสในการค้นหา 10 อันดับแรกของกลุ่มเดียวกันโดยใช้ตัวอย่างที่ 1 / 10,000 ของข้อมูลนั้นดีมาก แต่ถึงอย่างนั้นนั่นคือปัญหา 10 ^ 6 จุดซึ่งอยู่บน / เกินขอบของเวไนย

k หมายถึงจะขึ้นอยู่กับค่าเฉลี่ย

มันเป็นแบบจำลองกลุ่มโดยใช้วิธีการและทำให้การปรับปรุงโดยการเพิ่มข้อมูลเพิ่มเติมคือส่วนเล็กน้อย ข้อผิดพลาดของการประมาณค่าเฉลี่ยลดลงด้วย 1 / sqrt (n); ดังนั้นการเพิ่มข้อมูลเพิ่มเติมจ่ายออกน้อยลง ...

กลยุทธ์สำหรับข้อมูลขนาดใหญ่เช่นนั้นมักจะหมุนรอบการสุ่มตัวอย่าง:

ถ้าคุณต้องการใช้งาน sublinear คุณต้องทำการสุ่มตัวอย่าง!

ในความเป็นจริง Mini-Batch-Kmeans ฯลฯ ทำสิ่งนี้: ตัวอย่างซ้ำ ๆ จากชุดข้อมูล

อย่างไรก็ตามการสุ่มตัวอย่าง (โดยเฉพาะอย่างยิ่งการสุ่มตัวอย่างที่เป็นกลาง) นั้นไม่ได้ฟรีอย่างแน่นอน ... โดยปกติคุณจะต้องอ่านข้อมูลของคุณเป็นเส้นตรงตัวอย่างเนื่องจากคุณไม่ได้รับการเข้าถึงแบบสุ่มไปยังแต่ละระเบียน

ฉันจะไปกับอัลกอริทึมของ MacQueen ออนไลน์แล้ว โดยค่าเริ่มต้นจะส่งผ่านข้อมูลของคุณเพียงครั้งเดียว (แม้ว่าจะได้รับความนิยมในการทำซ้ำสิ่งนี้) ไม่ใช่เรื่องง่ายที่จะเผยแพร่ แต่ฉันคิดว่าคุณสามารถอ่านข้อมูลของคุณได้แบบเส้นตรงบอกว่า 10 ครั้งจาก SSD หรือไม่

ในฐานะที่เป็นความคิดเห็นด้านทราบว่าการใช้ K- หมายถึงสำหรับข้อมูล 10D อาจสิ้นสุดในที่ใดก็ได้ตามคำสาปของมิติ แน่นอนมันแตกต่างกันเล็กน้อยตามลักษณะของข้อมูล แต่เมื่อฉันพยายามกำหนดเกณฑ์ที่ K-Means เริ่มทำตัวแปลก ๆ เกี่ยวกับมิติฉันได้รับบางสิ่งบางอย่างเช่น 7D หลังจาก 7 มิติมันเริ่มพลาดกลุ่มที่ถูกต้อง (ข้อมูลของฉันถูกสร้างขึ้นด้วยตนเองตามการแจกแจงแบบเกาส์ 4 ส่วนที่แยกจากกันอย่างดีและฉันใช้ฟังก์ชั่นMATLAB kmeansสำหรับการทดลองเล็ก ๆ ของฉัน)