คำนวณปริมาณโดยประมาณสำหรับจำนวนเต็มโดยใช้ช่วงเวลา?

อพยพมาจากmath.stackexchange

ฉันกำลังประมวลผลจำนวนเต็มจำนวนมากและกำลังพิจารณาการติดตามสักครู่เพื่อให้สามารถคำนวณเปอร์เซ็นต์ไทล์สำหรับสตรีมได้โดยไม่ต้องจัดเก็บข้อมูลมากนัก วิธีที่ง่ายที่สุดในการคำนวณหาเปอร์เซ็นต์ไทล์คืออะไร มีวิธีที่ดีกว่าที่เกี่ยวข้องกับการจัดเก็บข้อมูลจำนวนเล็กน้อยเท่านั้นหรือไม่?

คุณไม่ได้ระบุสิ่งนี้อย่างชัดเจน แต่จากคำอธิบายปัญหาของคุณดูเหมือนว่าคุณจะอยู่หลังชุดของควอไทล์ (เช่น 50, 90, 95 และ 99)

หากเป็นเช่นนั้นฉันได้ประสบความสำเร็จอย่างมากกับวิธีการที่อธิบายไว้ใน"การคำนวณที่มีประสิทธิภาพของการให้น้ำหนักเชิงปริมาณมากกว่าการสตรีมข้อมูล"โดย Cormode et al มันเป็นอัลกอริทึมที่รวดเร็วซึ่งต้องการหน่วยความจำน้อยและง่ายต่อการใช้งาน

วิธีการนี้ใช้อัลกอริธึมก่อนหน้านี้โดย Greenwald และ Khanna ที่เก็บรักษาตัวอย่างเล็ก ๆ ของสตรีมอินพุตพร้อมกับขอบเขตบนและล่างตามลำดับของค่าในตัวอย่าง มันต้องการพื้นที่มากกว่าการรวบรวมสักครู่ แต่จะดีกว่าที่จะอธิบายส่วนหางที่น่าสนใจของการกระจายอย่างแม่นยำ

มีอัลกอริธึมที่ใหม่กว่าและง่ายกว่ามากสำหรับสิ่งนี้ซึ่งให้การประมาณค่าที่ดีของควอนไทล์ที่สูงมาก

$q$

ดูhttps://github.com/tdunning/t-digest