ขอบเขตล่างที่แน่นหนาของเวลาตัวรวบรวมคูปองคืออะไร

20

ในคลาสสิกคูปองปัญหาสะสมเป็นที่รู้จักกันดีว่าเวลาที่ที่จำเป็นเพื่อให้ชุดของคูปองสุ่มหยิบตอบสนอง ,และC} $T$ $n$ $E[T] \sim n \ln n$ $Var(T) \sim n^2$ $\Pr(T > n \ln n + cn) < e^{-c}$

นี้ถูกผูกไว้บนเป็นดีกว่าที่กำหนดโดยความไม่เท่าเทียมกันเซฟซึ่งจะเป็นประมาณ $1/c^2$ 2

คำถามของฉันคือ: มีขอบเขตต่ำกว่าที่ดีกว่า -Chebyshev ที่สอดคล้องกันสำหรับ $T$ ? (เช่นมีอะไรบางอย่างเช่น $\Pr(T < n \ln n - cn) < e^{-c}$ )?

probability probability-inequalities coupon-collector-problem

— เดวิด
แหล่งที่มา

ขอบเขตล่างที่เห็นได้ชัดคือ

Pr (T < n) = 0

$\Pr(T<n) = 0$ แต่ฉันเดาว่าคุณรู้เรื่องนั้น ...

— onestop

14

ฉันให้คำตอบนี้เป็นคำตอบที่สองเนื่องจากการวิเคราะห์เป็นระดับประถมศึกษาอย่างสมบูรณ์และให้ผลลัพธ์ที่ต้องการ

ข้อเสนอสำหรับ $c > 0$ และ $n \geq 1$ ,

P (T < n \log n - c n) < e^{- c} .

$\mathbb{P}(T < n \log n - c n ) < e^{-c} \>.$

แนวคิดเบื้องหลังการพิสูจน์นั้นง่าย:

แทนเวลาจนกว่าคูปองทั้งหมดจะถูกเก็บรวบรวมเป็น $T = \sum_{i=1}^n T_i$ ที่ $T_i$ เป็นเวลาที่ $i$ TH (บัดนี้) ที่ไม่ซ้ำกันคูปองจะถูกเก็บรวบรวม $T_i$ เป็นตัวแปรสุ่มเรขาคณิตกับเวลาเฉลี่ยของ $\frac{n}{n-i+1}$ 1}
ใช้เวอร์ชันของ Chernoff ที่ถูกผูกไว้และทำให้ง่ายขึ้น

พิสูจน์

สำหรับและใด ๆเรามี $t$ $s > 0$

P (T < t) = P (e^{- s T} > e^{- s t}) \leq e^{s t} E e^{- s T} .

$\mathbb{P}(T < t) = \mathbb{P}( e^{-s T} > e^{-s t} ) \leq e^{s t} \mathbb{E} e^{-s T} \> .$

เนื่องจากและเป็นอิสระเราสามารถเขียน $T = \sum_i T_i$ $T_i$

E e^{- s T} = \prod_{i = 1}^{n} E e^{- s T_{i}}

$\mathbb{E} e^{-s T} = \prod_{i=1}^n \mathbb{E} e^{- s T_i}$

ตอนนี้เนื่องจากเป็นรูปทรงเรขาคณิตสมมติว่าความน่าจะเป็นที่จะประสบความสำเร็จจากนั้นการคำนวณอย่างง่ายจะแสดง $T_i$ $p_i$

E e^{- s T_{i}} = \frac{p_{i}}{e^{s} - 1 + p_{i}} .

$\mathbb{E} e^{-s T_i} = \frac{p_i}{e^s - 1 + p_i} .$

สำหรับปัญหาของเรามี , , , ฯลฯ ดังนั้น $p_i$ $p_1 = 1$ $p_2 = 1 - 1/n$ $p_3 = 1 - 2/n$

\prod_{i = 1}^{n} E e^{- s T_{i}} = \prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} .

$\prod_{i=1}^n \mathbb{E} e^{-s T_i} = \prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n}.$

ลองเลือก และสำหรับบาง0 จากนั้น และ , ให้ผลผลิต $s = 1/n$ $t = n \log n - c n$ $c > 0$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

e^{s} = e^{1 / n} \geq 1 + 1 / n

$e^s = e^{1/n} \geq 1 + 1/n$

\prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} \leq \prod_{i = 1}^{n} \frac{i}{i + 1} = \frac{1}{n + 1} .

$\prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n} \leq \prod_{i=1}^n \frac{i}{i+1} = \frac{1}{n+1} \> .$

เมื่อรวมเข้าด้วยกันเราจะได้รับ

P (T < n \log n - c n) \leq \frac{n}{n + 1} e^{- c} < e^{- c}

$P(T < n \log n - c n) \leq \frac{n}{n+1} e^{-c} < e^{-c}$

ตามที่ต้องการ

— พระราชาคณะ
แหล่งที่มา

เป็นสิ่งที่ดีมากและเป็นสิ่งที่แพทย์สั่ง ขอขอบคุณ.

— David

@ David แค่อยากรู้อยากเห็น: แอปพลิเคชันที่ต้องการคืออะไร

— พระคาร์ดินัล

เรื่องยาว. ฉันพยายามพิสูจน์ขอบเขตล่างสำหรับเวลาการผสมของห่วงโซ่มาร์คอฟที่ฉันปรุงเพื่อวิเคราะห์เวลาการทำงานของอัลกอริทึมที่ฉันสนใจ .collector ปัญหา BTW, ฉันได้รับการเล่นรอบกับพยายามที่จะหาตรงชนิดของ Chernoff สไตล์ผูกพันนี้ แต่ไม่ได้คิดวิธีการกำจัดของผลิตภัณฑ์ว่าในฉันโทรดีเลือก :-)

i

$i$

s = 1 / n

$s = 1/n$

— David

@ David,ในขณะที่เกือบจะไม่แน่นอนอย่างแน่นอนดูเหมือนว่าสิ่งที่ชัดเจนที่จะลองตั้งแต่ที่ให้ซึ่งเป็นคำเดียวกับที่ได้รับมาสำหรับ ขอบเขตบน

s = 1 / n

$s = 1/n$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

— พระคาร์ดินัล

1

คำขอ : หลักฐานที่ฉันให้ไว้ข้างต้นเป็นของฉันเอง ฉันทำงานด้วยความเพลิดเพลินเนื่องจากปัญหาทำให้ฉันทึ่ง อย่างไรก็ตามฉันไม่อ้างสิทธิ์ในสิ่งแปลกใหม่ จริง ๆ แล้วฉันไม่สามารถจินตนาการได้ว่าการพิสูจน์ที่คล้ายกันโดยใช้เทคนิคที่คล้ายกันนั้นไม่มีอยู่ในวรรณกรรม หากใครรู้ถึงการอ้างอิงโปรดโพสต์มันเป็นความคิดเห็นที่นี่ ฉันอยากจะรู้มากของหนึ่ง

— พระคาร์ดินัล

9

แม้ว่า @cardinal ได้ให้คำตอบที่ให้ขอบเขตที่ฉันกำลังมองหาอยู่แล้ว แต่ฉันได้พบอาร์กิวเมนต์ที่คล้ายคลึงกับสไตล์ของ Chernoff ที่สามารถให้ขอบเขตที่แข็งแกร่งกว่า:

ข้อเสนอ : (สิ่งนี้แข็งแกร่งสำหรับ )

P r (T \leq n \log n - c n) \leq \exp (- \frac{3 c^{2}}{π^{2}}) .

$Pr (T \leq n \log n - c n) \leq \exp(- \frac{3c^2}{\pi^2} ) \> .$

c > \frac{π^{2}}{3}

$c > \frac{\pi^2}{3}$

หลักฐาน :

ในขณะที่พระคาร์ดินัล @ คำตอบของเราสามารถใช้ความจริงที่ว่าเป็นผลรวมของการเป็นอิสระตัวแปรสุ่มเรขาคณิตด้วยโอกาสที่จะประสบความสำเร็จ n มันตามมาว่าและn $T$ $T_i$ $p_i = 1 - i/n$ $E[T_i] = 1/p_i$ $E[T] = \sum_{i=1}^{n} E[T_i] = n \sum_{i=1}^n \frac{1}{i}\geq n \log n$

ตอนนี้กำหนดตัวแปรใหม่และS_i จากนั้นเราสามารถเขียน $S_i : = T_i - E[T_i]$ $S : = \sum_i S_i$

Pr (T \leq n \log n - c n) \leq Pr (T \leq E [T] - c n) = Pr (S \leq - c n)

$\Pr (T \leq n \log n - c n) \leq \Pr (T \leq E[T] - c n) = \Pr (S \leq - c n)$

= Pr (\exp (- s S) \geq \exp (s c n)) \leq e^{- s c n} E [e^{- s S}]

$= \Pr\left(\exp(-s S ) \geq \exp( s cn) \right) \leq e^{-s c n} E\left[ e^{-s S} \right]$

เราคำนวณค่าเฉลี่ย

E [e^{- s S}] = \prod_{i} E [e^{- s S_{i}}] = \prod_{i} \frac{e^{s / p_{i}}}{1 + \frac{1}{p_{i}} (e^{s} - 1)} \leq e^{\frac{1}{2} s^{2} \sum_{i} p_{i}^{- 2}}

$E[e^{-s S}] = \prod_i E[e^{-s S_i}] = \prod_i \frac{e^{s / p_i} } {1 + \frac{1}{p_i} (e^s -1)} \leq e^{\frac{1}{2}s^2\sum_i p_i^{-2}}$ โดยที่ความไม่เท่าเทียมกันดังต่อไปนี้จากข้อเท็จจริงที่ว่าและยังสำหรับ0

e^{s} - 1 \geq s

$e^s - 1\geq s$

\frac{e^{z}}{1 + z} \leq e^{\frac{1}{2} z^{2}}

$\frac{e^z}{1+z}\leq e^{\frac{1}{2}z^2}$

z \geq 0

$z\geq 0$

ดังนั้นตั้งแต่ , เราสามารถเขียน $\sum_i p_i ^{-2} = n^2 \sum_{i=1}^{n-1} \frac{1}{i^2} \leq n^2 \pi^2/6$

\begin{aligned} Pr (T \leq n \log n - c n) \leq e^{\frac{1}{12} (n π s)^{2} - s c n} . \end{aligned}

$\begin{align*} \Pr( T \leq n \log n - c n ) \leq e^{\frac{1}{12} (n \pi s)^2 - s c n}. \end{align*}$

การลดขนาดในที่สุดเราก็ได้รับ $s>0$

Pr (T \leq n \log n - c n) \leq e^{- \frac{3 c^{2}}{π^{2}}}

$\Pr( T \leq n\log n -cn ) \leq e^{-\frac{3 c^2 }{\pi^2}}$

— เดวิด
แหล่งที่มา

1

(+1) โมดูโล่พิมพ์ผิดเล็กน้อยนี่เป็นสิ่งที่ดี ขยายบางสิ่งบางอย่างใกล้เคียงกับค่าเฉลี่ยเมื่อคุณทำดีกว่าบ่อยครั้ง ฉันไม่แปลกใจที่เห็นการบรรจบกันของลำดับที่สูงขึ้นในแง่ของผลลัพธ์แบบอะซิมโทติค ทีนี้ถ้าคุณแสดงขอบเขตบนที่คล้ายกันนี้ซึ่งพิสูจน์นั้นเป็นคำย่อในคำศัพท์ของ Vershynin ซึ่งมีผลกระทบมากมายเกี่ยวกับความเข้มข้นของการวัด

(T - n \log n) / n

$(T-n\log n)/n$

— พระคาร์ดินัล

1

c

$c$

- c

$-c$

s

$s$

- s

$-s$

E [e^{s S}] \leq \prod_{i} \frac{e^{- s / p_{i}}}{1 - \frac{s}{p_{i}}}

$E[e^{sS}] \leq \prod_i \frac{e^{-s/p_i}}{1 - \frac{s}{p_i}}$

\frac{e^{- z}}{1 - z} \leq \exp (\frac{z^{2}}{2 (1 - z)})

$\frac{e^{-z}}{1-z} \leq \exp( \frac{z^2}{2(1-z)} )$

E [e^{s S}] \leq e^{\frac{1}{2} s^{2} \sum_{i} \frac{p_{i}^{2}}{(1 - s / p_{i})}}

$E[e^{sS}] \leq e^{\frac{1}{2} s^2\sum_i \frac{p_i^2}{(1-s/p_i)}}$

2

T = \sum_{i} T_{i}

$T = \sum_i T_i$

T_{i}

$T_i$

p_{i}

$p_i$

\sum_{i} p_{i}^{- 2} \leq A < \infty

$\sum_i p_i^{-2} \leq A < \infty$

Pr (T \leq E [T] - a) \leq e^{- \frac{a^{2}}{2 A}}

$\Pr ( T \leq E[T] - a ) \leq e^{-\frac{a^2}{2A}}$

4

หมายเหตุสำคัญ : ฉันตัดสินใจที่จะลบหลักฐานที่ฉันให้ไว้ในคำตอบนี้ มันใช้เวลานานกว่าการคำนวณมากขึ้นใช้ค้อนที่ใหญ่กว่าและพิสูจน์ผลลัพธ์ที่อ่อนแอกว่าเมื่อเปรียบเทียบกับหลักฐานอื่น ๆ ที่ฉันได้รับ ทุกรอบวิธีที่ด้อยกว่า (ในมุมมองของฉัน) หากคุณสนใจจริงๆฉันคิดว่าคุณสามารถดูการแก้ไขได้

$n \to \infty$ $n$

ผลasymptoticดังต่อไปนี้ถือ

P (T > n \log n + c n) \to 1 - e^{- e^{- c}}

$\mathbb{P}(T > n \log n + c n ) \to 1 - e^{-e^{-c}}$

และ

P (T \leq n \log n - c n) \to e^{- e^{c}} .

$\mathbb{P}(T \leq n \log n - c n ) \to e^{-e^c} \>.$

$c \in \mathbb{R}$ $n \to \infty$ $c$

ดูเช่น Motwani และ Raghavan อัลกอริทึมแบบสุ่มหน้า 60--63 สำหรับการพิสูจน์

นอกจากนี้ : เดวิดกรุณาแสดงหลักฐานสำหรับขอบเขตที่ระบุไว้ของเขาในความคิดเห็นต่อคำตอบนี้

— พระราชาคณะ
แหล่งที่มา

n

$n$

1

A_{i}

$A_i$

i

$i$

n \log n + c n

$n \log n + cn$

P (τ > n \log n + c n) = P (\cup_{i} A_{i}) \leq \sum_{i} P (A_{i})

$P(\tau >n\log n+cn )=P (\cup_{i} A_i ) \leq \sum_i P(A_i)$

1 - n^{- 1}

$1 − n^{−1}$

i

$i$

\sum_{i} (1 - 1 / n)^{n \log n + c n} \leq n \exp (\frac{n \log n + c n}{n}) = e^{- c}

$\sum_i (1 - 1/n)^{n \log n + cn} \leq n \exp(\frac{n \log n + cn}{n} ) = e^{-c}$

{T < t_{n}}

$\{T < t_n\}$

t_{n}

$t_n$

@ David มีสัญญาณพลิกในการพิสูจน์ของคุณด้านบน แต่ฉันแน่ใจว่ามันชัดเจนสำหรับผู้อ่านคนอื่นด้วย

— พระคาร์ดินัล

@ David โปรดดูคำตอบสำหรับคำถามของคุณ วิธีนี้แตกต่างจากขอบบนที่คุณให้ แต่เครื่องมือที่ใช้นั้นเกือบจะเป็นระดับประถมศึกษาซึ่งตรงกันข้ามกับคำตอบที่ฉันให้ไว้ที่นี่

— พระคาร์ดินัล

2

Benjamin Doerr ให้ (ในบท "การวิเคราะห์การค้นหาแบบสุ่ม: เครื่องมือจากทฤษฎีความน่าจะเป็น" ในหนังสือ "ทฤษฎีการค้นหาแบบสุ่มการค้นหา" ดูลิงค์สำหรับ PDF ออนไลน์) เป็นหลักฐานที่ค่อนข้างง่าย

$T$ $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le e^{-n^{\epsilon}}$ ε

$n$ $\epsilon$

นี่คือภาพร่างที่พิสูจน์ได้

$X_i$ $i$ $t$ $\Pr[X_i=1]=(1-1/n)^t$ $X_i$ $I\subseteq[n]$ $\Pr[\forall i\in I, X_i=1]\le\prod_{i\in I}\Pr[X_i=1]$ $i$ $t$ $j$ $t$ ดึง

$I$ $\Pr[\forall i\in I, X_i=1|X_j=1]\le\Pr[\forall i\in I,X_i=1]$ $j\notin I$ $\Pr[\forall i\in I, X_i=1|X_j=0]\ge\Pr[\forall i\in I,X_i=1]$ . Doerr only gives an intuitive argument for this. One avenue to a proof is as follows. One can observe that conditioned on the $j$ coupon coming after all of the coupons in $I$ , that the probability of drawing a new coupon from $I$ after drawing $k$ so far is now $\frac{|I|-k}{n-1}$ , instead of the previous $\frac{|I|-k}{n}$ . So decomposing the time to collect all coupons as a sum of geometric random variables, we can see that conditioning on the $j$ -coupon coming after $I$ increases the success probabilities, and thus doing the conditioning only makes it more likely to collect the coupons earlier (by stochastic dominance: each geometric random variable is increased, in terms of stochastic dominance, by the conditioning, and this dominance can then be applied to the sum).

Given this negative correlation, it follows that $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le (1-(1-1/n)^t)^n$ , which gives the desired bound with $t=(1-\epsilon)(n-1)\ln n$ .

— miforbes
แหล่งที่มา