การคำนวณประชากรโดยประมาณของฟิลเตอร์บลูม

12

ให้ฟิลเตอร์บลูมของขนาด N-bits และฟังก์ชันแฮช K ซึ่ง M-bits (โดยที่ M <= N) ของฟิลเตอร์ถูกตั้งค่า

เป็นไปได้หรือไม่ที่จะประมาณจำนวนองค์ประกอบที่แทรกลงในตัวกรองบลูม

ตัวอย่างง่ายๆ

ฉันคร่ำครวญตัวอย่างต่อไปนี้สมมติว่า BF ของ 100 บิตและ 5 ฟังก์ชันแฮชที่ตั้งค่า 10 บิต ...

สถานการณ์กรณีที่ดีที่สุด: สมมติว่าฟังก์ชั่นแฮชสมบูรณ์แบบและแมปบิตที่ไม่ซ้ำกันสำหรับค่า X จำนวนหนึ่งจากนั้นกำหนด 10 บิตเราสามารถพูดได้ว่ามีเพียง 2 องค์ประกอบที่ใส่เข้าไปใน BF

สถานการณ์กรณีที่เลวร้ายที่สุด: สมมติว่าฟังก์ชันแฮชไม่ดีและแมปไปยังบิตเดียวกันอย่างสม่ำเสมอ (แต่ไม่ซ้ำกันในแต่ละอื่น ๆ ) จากนั้นเราสามารถพูดได้ว่า 10 องค์ประกอบถูกแทรกลงใน BF

ช่วงน่าจะเป็น [2,10] ซึ่งอาจอยู่ในช่วงนี้ประมาณโดยความน่าจะเป็นที่เป็นบวกปลอมของตัวกรอง - ฉันติดอยู่ที่จุดนี้

ds.data-structures pr.probability

— Tander Kulip
แหล่งที่มา

4

ทำไมไม่เก็บจำนวนองค์ประกอบที่ใส่เข้าไป? ใช้เวลาเพียงบิตเพิ่มเติม

หากคุณใส่องค์ประกอบ

O (\log n)

$O(\log n)$

n

$n$

— โจ

@ โจในขณะที่เป็นความคิดที่ดีมันจะทำลายคำถามที่น่าสนใจจริงๆ

— dan_waterworth

เพียงสังเกตว่าด้วยการซ้ำซ้อนวิธีการของ Joe จะมีข้อผิดพลาดเล็ก ๆ น้อย ๆ เนื่องจากเราไม่สามารถบอกได้อย่างแน่นอนเสมอเมื่อเพิ่มองค์ประกอบไม่ว่าจะมีอยู่แล้ว (และด้วยเหตุนี้เราควรเพิ่มจำนวนหรือไม่)

— usul

5

ใช่. จากวิกิพีเดีย :

หากคุณใส่องค์ประกอบลงในตัวกรองขนาดโดยใช้ฟังก์ชันแฮชความน่าจะเป็นที่บิตหนึ่งยังคงเป็น 0 $i$ $n$ $k$

z = {(1 - \frac{1}{n})}^{k i}

$z = \left(1 - \frac{1}{n}\right)^{ki}$

คุณสามารถวัดความน่าจะเป็นนี้เป็นสัดส่วน 0 บิตในตัวกรองของคุณ การแก้เพื่อให้ $i$

i = \frac{\ln (z)}{k \ln (1 - \frac{1}{n})}

$i = \frac{\ln(z)}{k\ln\left(1 - \frac{1}{n}\right)}$

ฉันได้ใช้สิ่งนี้ในทางปฏิบัติและตราบใดที่ตัวกรองของคุณไม่เกินความจุของมันข้อผิดพลาดโดยทั่วไปจะน้อยกว่า 0.1% สำหรับตัวกรองถึงบิตนับล้าน เมื่อตัวกรองเกินความจุข้อผิดพลาดของหลักสูตรจะเพิ่มขึ้น

— Jay Hacker
แหล่งที่มา

3

$k$ $k$ $nk$ $n$ $b$ $t$

P (t balls | b bins) = P (b bins | t balls) \cdot P (t) / P (b)

$P( t \mbox{ balls} | b \mbox{ bins} ) = P(b \mbox{ bins}| t \mbox{ balls}) \cdot P(t)/P(b)$

P (t)

$P(t)$

P (b)

$P(b)$

t

$t$

— โจ
แหล่งที่มา

2

คำถามที่น่าสนใจให้ดูที่กรณีเฉพาะบางอย่าง

$k$ $n_{on}$ $n_{total}$ $m$ $P(k, n_{on}, n_{total}, m)$

$km \lt n_{on}$ $P(k, n_{on}, n_{total}, m)$ $0$

$n_{on} = 1$ $km$ $km - 1$

$P(k, 1, n_{total}, m) = (1/n_{total})^{(km-1)}$

$n_{on} = 2$ $km$ $2$ $1$ $n_{total}(n_{total} - 1)$ $2$ $(2/n_{total})^{km}$ $2$

$n_{total}(n_{total} - 1)(2/n_{total})^{km}$

$1$ $2$

$P(k, 2, n_{total}, m) = n_{total}(n_{total} - 1)(2/n_{total})^{km} - (1/n_{total})^{(km-1)}$

ฉันคิดว่าเราสามารถพูดคุยเรื่องนี้ได้ทันที

$P(k, n_{on}, n_{total}, m) = {n_{total} \choose n_{on}}(n_{on}/n_{total})^{km} - \sum_{i=1}^{i<n_{on}} P(k, i, n_{total}, m)$

ฉันไม่แน่ใจว่าจะทำให้สูตรนี้คล้อยตามการคำนวณมากขึ้นได้อย่างไร นำมาใช้อย่างไร้เดียงสามันจะส่งผลให้เวลาดำเนินการชี้แจงเวลาแม้ว่ามันเป็นเรื่องเล็ก ๆ น้อย ๆ ผ่านการบันทึกเพื่อให้บรรลุเวลาเชิงเส้น แล้วมันเป็นเพียงกรณีของการค้นหาที่มีแนวโน้มมากที่สุดเมตรสัญชาตญาณของฉันบอกว่าจะมียอดเดียวดังนั้นจึงอาจเป็นไปได้ที่จะหาได้อย่างรวดเร็ว แต่ไร้เดียงสาคุณแน่นอนสามารถหาส่วนใหญ่อาจเมตร2) $m$ $O(n^2)$

— dan_waterworth
แหล่งที่มา

ฉันคิดว่าสูตรของคุณยกเลิกไปที่ (ไม่สนใจปัจจัยคงที่) คุณสามารถคำนวณสูงสุดของการวิเคราะห์นี้: ขยายปัจจัยแรกของคำที่สองและลบปัจจัยคงที่เพื่อกำจัดทั้งหมดแล้วสูตรของคุณกลายเป็นเรื่องง่ายมาก

(\binom{n_{t o t a l}}{n_{o n}}) n_{o n}^{k m} - (\binom{n_{t o t a l}}{n_{o n} - 1}) (n_{o n} - 1)^{k m}

${n_{total} \choose n_{on}}n_{on}^{km}- {n_{total} \choose n_{on}-1}(n_{on}-1)^{km}$ n choose k

— จูลส์

@Jules ยอดเยี่ยมฉันแน่ใจว่าสิ่งที่จะเกิดขึ้น แต่ไม่มีเวลาที่จะคิดออก

— dan_waterworth

คุณยังสามารถมาถึงสูตรนั้นได้โดยตรงด้วยวิธีต่อไปนี้:x-1) จากนั้นเสียบสำหรับx)

P (n_{o n} = x) = P (n_{o n} \leq x) - P (n_{o n} < x) = P (n_{o n} \leq x) - P (n_{o n} \leq x - 1)

$P(n_{on} = x) = P(n_{on} \leq x) - P(n_{on} < x) = P(n_{on} \leq x) - P(n_{on} \leq x-1)$

(\binom{n_{t o t a l}}{x}) (x / n_{t o t a l})^{k m}

${n_{total} \choose x} (x/n_{total})^{km}$

P (n_{o n} \leq x)

$P(n_{on} \leq x)$

— จูลส์

2

สมมติว่ามีการกระจายแฮชอย่างสม่ำเสมอ

ให้เป็นจำนวนของการแทรกแฮช เนื่องจากเรามี hashes เข้าถังขยะถ้าเรามี hashes เข้าถังขยะและกัญชาต่อไปจะเข้าสู่การเป็นหนึ่งในบรรดาจากถังขยะหรือถ้าเรามี hashes เข้าถังและกัญชาถัดไป เป็นหนึ่งในถังขยะอื่น ๆเรามี: $i$ $i$ $m$ $i-1$ $m$ $m$ $n$ $i-1$ $m-1$ $n-(m-1)$

$P(m,i) = P(m,i-1)(m/n) + P(m-1,i-1)(n-(m-1))/n$

เขียนใหม่:

$P(m,i) = \frac{1}{n}(mP(m,i-1) + (n-m+1)P(m-1,i-1))$

เรายังมีและเมื่อ และเมื่อ0 สิ่งนี้ให้อัลกอริธึมการเขียนโปรแกรมแบบไดนามิกสำหรับการคำนวณ P การคำนวณที่เพิ่มให้คุณได้มากที่สุดโดยประมาณความน่าจะเป็น $P(0,0) = 1$ $P(m,0) = 0$ $m \neq 0$ $P(0,i) = 0$ $i \neq 0$ $O(mi)$ $i$ $P(m,i)$

ถ้าเรารู้ว่าเราได้ถกกันเข้าไปในตัวกรองบานนี้ครั้งและเรามี hashes ต่อรายการแล้วจำนวนรายการที่เป็น k $i$ $k$ $i/k$

เพื่อเพิ่มความเร็วคุณสามารถทำบางสิ่งได้ ปัจจัยของสามารถถูกปล่อยออกมาได้เนื่องจากมันไม่ได้เปลี่ยนตำแหน่งสูงสุด คุณสามารถแบ่งปันแบบไดนามิกโปรแกรมตารางที่มีหลายสายการเพื่อลด (asymptotic) เวลาวิ่งไป(นาโนเมตร) หากคุณเต็มใจที่จะเชื่อว่ามีค่าสูงสุดเพียงครั้งเดียวคุณสามารถหยุดการทำซ้ำมากกว่าก่อนและใช้เวลาโดยที่คือจุดที่ใช้เวลาสูงสุดหรือแม้แต่ทำการค้นหาแบบไบนารีและรับn) $\frac{1}{n}$ $P(m,i)$ $O(nm)$ $i$ $O(jm)$ $j$ $P$ $O(m \log n)$

— จูลส์
แหล่งที่มา

2

แนวคิดหลักคือประมาณความคาดหวังของจำนวนศูนย์บิต

สำหรับแต่ละบิตความเป็นไปได้ของการเป็นศูนย์หลังจากแทรกเสื้อกับ K ฟังก์ชันแฮชคือ{N}} $(1-\frac{1}{N})^{Kt} \approx e^{-\frac{Kt}{N}}$

ดังนั้นความคาดหวังของหมายเลขศูนย์บิตควรเป็น:

$N e^{-\frac{Kt}{N}}$ ประมาณโดยการสังเกต $N - M$

ในที่สุดเราก็ได้ $t = - \frac{N}{K} ln(1-\frac{M}{N})$

— Yanghong Zhong
แหล่งที่มา

1

ความน่าจะเป็นที่บิตหนึ่งคือ 1 หลังจากการแทรก n คือ: P = 1 - (1 - 1 / m) ^ (kn)

ให้ X_i เป็นตัวแปรสุ่มแบบแยกซึ่งเป็น 1 หากบิตที่ตำแหน่ง i'th คือ 1 และ 0 ให้ X = X_1 + X_2 + .... + X_m จากนั้น E [X] = m * P

ถ้าจำนวนบิตที่ตั้งไว้ทั้งหมดคือ S ดังนั้น: E [X] = S ซึ่งแสดงถึง m * P = S ซึ่งสามารถแก้ไขได้สำหรับ n

— Nikhil
แหล่งที่มา