K- หมายถึง: มีการทำซ้ำหลายครั้งในสถานการณ์จริง

ฉันไม่ได้มีประสบการณ์ในอุตสาหกรรมในการขุดข้อมูลหรือข้อมูลขนาดใหญ่ดังนั้นชอบที่จะได้ยินคุณแบ่งปันประสบการณ์

ผู้คนใช้งาน k-mean, PAM, CLARA และอื่น ๆ ในชุดข้อมูลขนาดใหญ่จริง ๆ หรือไม่? หรือพวกมันสุ่มเลือกตัวอย่างจากมัน? หากพวกเขาใช้ตัวอย่างของชุดข้อมูลผลลัพธ์จะน่าเชื่อถือหากชุดข้อมูลนั้นไม่ได้รับการกระจายตามปกติ

ในสถานการณ์จริงเมื่อรันอัลกอริทึมเหล่านี้เราสามารถบอกได้ไหมว่าจะต้องทำซ้ำหลายครั้งจนกว่าจะเกิดการบรรจบกัน? หรือจำนวนการวนซ้ำมักเพิ่มขึ้นตามขนาดข้อมูลหรือไม่

ฉันถามสิ่งนี้เพราะฉันคิดว่าการพัฒนาวิธีการที่จะยุติอัลกอริทึมซ้ำก่อนการบรรจบกัน แต่ผลลัพธ์ยังคงเป็นที่ยอมรับ ฉันคิดว่ามันคุ้มค่าที่จะลองถ้าจำนวนการวนซ้ำพูดมากกว่า 1,000 ครั้งเพื่อให้เราสามารถประหยัดต้นทุนและเวลาในการคำนวณได้ คุณคิดอย่างไร?

1. K-mean ราคาถูก คุณสามารถที่จะเรียกใช้มันซ้ำหลายๆ

2. มีอัลกอริธึมที่ไม่ดี (หนึ่งมาตรฐาน) และอัลกอริธึมที่ดี สำหรับอัลกอริธึมที่ดีการทำซ้ำในภายหลังจะมีราคาน้อยกว่า 1% ของการทำซ้ำครั้งแรก

3. มีการนำไปใช้งานที่ช้ามาก ๆ อย่าใช้มัน

4. K-mean สำหรับข้อมูล "ใหญ่" ไม่มีอยู่ เพราะมันใช้ได้กับข้อมูลเวกเตอร์ที่มีมิติต่ำเท่านั้น คุณจะไม่เกินหน่วยความจำของเซิร์ฟเวอร์ที่ทันสมัยด้วยข้อมูลดังกล่าว ใช่มีข้อมูลที่ใหญ่กว่า - แต่คุณไม่สามารถใช้ k-mean ในการพูดข้อมูล Twitter หนึ่งเดือนเพราะจะไม่ให้ประโยชน์อะไรกับคุณ

ด้วยการใช้งานที่ดีบนเซิร์ฟเวอร์ที่ทันสมัยชุดข้อมูลที่ใหญ่ที่สุดที่คุณสามารถค้นหาได้ว่า k-mean ยังให้ผลลัพธ์ที่มีประโยชน์อาจต้องใช้เวลาน้อยกว่า 1 นาทีในการคำนวณจนกระทั่งการบรรจบกัน เหตุใดจึงต้องกังวลกับขีด จำกัด การทำซ้ำ