ขอบบนเอ็กซ์โพเนนเชียล

สมมติว่าเรามี IID ตัวแปรสุ่มที่มีการกระจายtheta) เราจะสังเกตตัวอย่างของในวิธีต่อไปนี้ให้เป็นอิสระตัวแปรสุ่มสมมติว่าและของ มีความเป็นอิสระและกำหนดขนาดของกลุ่มตัวอย่างY_i 's ระบุของ ' s อยู่ในตัวอย่างและเราต้องการที่จะศึกษาส่วนของความสำเร็จในตัวอย่างที่กำหนดโดย $X_1,\dots,X_n$ $\mathrm{Ber}(\theta)$ $X_i$ $Y_1,\dots,Y_n$ $\mathrm{Ber}(1/2)$ $X_i$ $Y_i$ $N=\sum_{i=1}^n Y_i$ $Y_i$ $X_i$

Z = {\begin{cases} \frac{1}{N} \sum_{i = 1}^{n} X_{i} Y_{i} & if N > 0, \\ 0 & if N = 0 . \end{cases}

$Z = \begin{cases} \frac{1}{N}\sum_{i=1}^n X_i Y_i & \text{if}\quad N > 0\, , \\ 0 & \text{if} \quad N = 0 \, . \end{cases}$ สำหรับ , เราต้องการที่จะหาที่ถูกผูกไว้บนสำหรับที่สูญสลายชี้แจงกับnความไม่เสมอภาคของ Hoeffding ไม่ได้ใช้งานได้ทันทีเนื่องจากการพึ่งพาระหว่างตัวแปร

ϵ > 0

$\epsilon>0$

P r (Z \geq θ + ϵ)

$\mathrm{Pr}\!\left(Z \geq \theta + \epsilon\right)$

n

$n$

probability-inequalities

— เซน
แหล่งที่มา

ให้X_iY_i (i)ไม่ขึ้นกับหรือไม่? (ii) ไม่ใช่ ? ... ดังนั้นมันไม่ชัดเจนสำหรับฉันที่ไม่ใช่ 'ผลรวมของตัวแปรสุ่มอิสระ'

Z_{i} = \frac{_{1}}{^{N}} X_{i} Y_{i}

$Z_i = \frac{_1}{^N} X_iY_i$

Z_{i}

$Z_i$

Z_{j \neq i}

$Z_{j\neq i}$

Z = \sum Z_{i}

$Z=\sum Z_i$

Z

$Z$

— Glen_b

อ่าจุดดี ฉันคิดเกี่ยวกับมากกว่าNแต่คุณเขียนแล้วให้ ? นั่นคือผลรวมของทุกกรณีไม่ว่าจะเท่ากับ 1 หรือ 0 ... ไม่นั่นไม่ได้ผล ตัวเศษเหมือนกัน แต่ตัวส่วนนั้นแตกต่างกัน

n

$n$

N

$N$

Z_{i} = \frac{1}{n} X_{i} Y_{i}

$Z_i = \frac{1}{n}X_iY_i$

Z = \sum_{i = 1}^{n} Z_{i}

$Z=\sum_{i=1}^n Z_i$

Y

$Y$

— Glen_b -Reinstate Monica

นั่นให้น้อยกว่าส่วนของความสำเร็จในตัวอย่างซึ่งเป็นปริมาณความสนใจในปัญหาเพราะตั้งแต่n

(1 / n) \sum_{i = 1}^{n} X_{i} Y_{i} \leq (1 / N) \sum_{i = 1}^{n} X_{i} Y_{i}

$(1/n)\sum_{i=1}^n X_i Y_i\leq (1/N)\sum_{i=1}^n X_i Y_i$

N \leq n

$N\leq n$

— Zen

ใช่นั่นเป็นเหตุผลที่ฉันลงเอยด้วย "ไม่ว่าจะไม่ทำงาน" มีความไม่เท่าเทียมกันที่นำไปใช้กับกรณีที่ไม่เป็นอิสระเช่นความไม่เท่าเทียมบางอย่างของเบิร์นสไตน์ (ดูรายการที่สี่) และมีจำนวนของความไม่เท่าเทียมกันที่นำไปใช้กับ martingales (แม้ว่าฉันไม่รู้ว่าสิ่งเหล่านั้นจะใช้ที่นี่)

— Glen_b -Reinstate Monica

ฉันจะดูและพยายามค้นหาการเชื่อมต่อกับผลลัพธ์ของ martingales ขอบเขตของนั้นง่ายมาก ( ) ว่ามันเป็นการดึงดูดที่จะเชื่อมต่อสิ่งนี้กับโดยใช้การปรับสภาพบางอย่าง

U = (1 / n) \sum_{i = 1}^{n} X_{i} Y_{i}

$U=(1/n)\sum_{i=1}^nX_i Y _i$

P r (U \geq θ / 2 + ϵ) \leq \exp (- 2 n ϵ^{2})

$\mathrm{Pr}(U\geq \theta/2+\epsilon)\leq \exp(-2n\epsilon^2)$

Z

$Z$

— Zen

คำตอบ:

เราสามารถวาดการเชื่อมต่อกับความไม่เท่าเทียมกัน Hoeffding ในทางธรรมโดยตรง

โปรดทราบว่าเรามี

{Z > θ + ϵ} = {\sum_{i} X_{i} Y_{i} > (θ + ϵ) \sum_{i} Y_{i}} = {\sum_{i} (X_{i} - θ - ϵ) Y_{i} > 0} .

$\{ Z > \theta + \epsilon\} = \big\{\sum_i X_i Y_i > (\theta + \epsilon)\sum_i Y_i \big\} = \big\{ \sum_i (X_i - \theta - \epsilon) Y_i > 0 \} \>.$

ตั้งเพื่อให้เป็น iid,และ โดยการประยุกต์ใช้ความไม่เท่าเทียมกันของ Hoeffding (ตั้งแต่และรับค่าในช่วงเวลาหนึ่งขนาด) $Z_i = (X_i - \theta - \epsilon)Y_i + \epsilon/2$ $Z_i$ $\mathbb E Z_i = 0$

P (Z > θ + ϵ) = P (\sum_{i} Z_{i} > n ϵ / 2) \leq e^{- n ϵ^{2} / 2},

$\mathbb P( Z > \theta + \epsilon ) = \mathbb P\big(\sum_i Z_i > n \epsilon/2\big) \leq e^{-n \epsilon^2/2}\>,$

Z_{i} \in [- θ - ϵ / 2, 1 - θ - ϵ / 2]

$Z_i \in [-\theta-\epsilon/2,1-\theta-\epsilon/2]$

มีวรรณกรรมที่เกี่ยวข้องและน่าสนใจมากมายที่สร้างขึ้นในช่วงหลายปีที่ผ่านมาโดยเฉพาะอย่างยิ่งในหัวข้อที่เกี่ยวข้องกับทฤษฎีเมทริกซ์แบบสุ่มกับการใช้งานที่หลากหลาย หากคุณสนใจสิ่งนี้ฉันขอแนะนำ:

R. Vershynin, การแนะนำเบื้องต้นเกี่ยวกับการวิเคราะห์แบบไม่ใช้ซีมโทติคของเมทริกซ์แบบสุ่ม , บทที่ 5 ของการตรวจวัดแบบบีบอัด, ทฤษฎีและการใช้งาน แก้ไขโดย Y. Eldar และ G. Kutyniok สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์, 2555

ฉันคิดว่างานนิทรรศการมีความชัดเจนและเป็นวิธีที่ดีมากในการปรับตัวให้เข้ากับวรรณกรรมได้อย่างรวดเร็ว

— พระราชาคณะ
แหล่งที่มา

เนื่องจากรวมในคำจำกัดความของพวกเขาฉันมีความประทับใจที่ (ขอบเขตไม่เปลี่ยนแปลง)

Z_{i}

$Z_i$

ϵ / 2

$\epsilon/2$

Z_{i} \in [- θ - ϵ / 2, 1 - θ - ϵ / 2]

$Z_i \in [-\theta-\epsilon/2,1-\theta-\epsilon/2]$

— Alecos Papadopoulos

เรียน @Zen: โปรดทราบว่าการบัญชีอย่างรอบคอบของเคสจะช่วยให้คุณสามารถแทนที่ความไม่เท่าเทียมที่เข้มงวดโดยทุกที่โดยไม่ต้องเปลี่ยนขอบเขตสุดท้าย

N = 0

$N=0$

>

$>$

\geq

$\geq$

— พระคาร์ดินัล

เรียน @ cardinal: ฉันได้สร้างข้อความใหม่เพราะจริงๆแล้วเป็นตัวประมาณค่าเล็กน้อยของเนื่องจาก(1-1

Z

$Z$

θ

$\theta$

E [Z] = E [I_{{N = 0}} Z] + E [I_{{N > 0}} Z] = (1 - 1 / 2^{n}) θ

$\mathrm{E}[Z]=\mathrm{E}[I_{\{N=0\}}Z]+\mathrm{E}[I_{\{N>0\}}Z] = (1-1/2^n)\,\theta$

— Zen

รายละเอียดในการดูแลของกรณี $N=0$

\begin{aligned} {Z \geq θ + ϵ} & = ({Z \geq θ + ϵ} \cap {N = 0}) \cup ({Z \geq θ + ϵ} \cap {N > 0}) \\ = ({0 \geq θ + ϵ} \cap {N = 0}) \cup ({Z \geq θ + ϵ} \cap {N > 0}) \\ = (\emptyset \cap {N = 0}) \cup ({Z \geq θ + ϵ} \cap {N > 0}) \\ = {\sum_{i = 1}^{n} X_{i} Y_{i} \geq (θ + ϵ) \sum_{i = 1}^{n} Y_{i}} \cap {N > 0} \\ \subset {\sum_{i = 1}^{n} X_{i} Y_{i} \geq (θ + ϵ) \sum_{i = 1}^{n} Y_{i}} \\ = {\sum_{i = 1}^{n} (X_{i} - θ - ϵ) Y_{i} \geq 0} \\ = {\sum_{i = 1}^{n} ((X_{i} - θ - ϵ) Y_{i} + ϵ / 2) \geq n ϵ / 2} . \end{aligned}

$\begin{align} \{Z\geq\theta+\epsilon\} &= \left(\{Z\geq\theta+\epsilon\} \cap \{N=0\}\right) \cup \left(\{Z\geq\theta+\epsilon\} \cap \{N>0\}\right) \\ &= \left(\{0\geq\theta+\epsilon\} \cap \{N=0\}\right) \cup \left(\{Z\geq\theta+\epsilon\} \cap \{N>0\}\right) \\ &= \left(\emptyset \cap \{N=0\}\right) \cup \left(\{Z\geq\theta+\epsilon\} \cap \{N>0\}\right) \\ &= \left\{\sum_{i=1}^n X_iY_i\geq(\theta+\epsilon)\sum_{i=1}^n Y_i\right\} \cap \{N>0\} \\ &\subset \left\{\sum_{i=1}^n X_iY_i\geq(\theta+\epsilon)\sum_{i=1}^n Y_i\right\} \\ &= \left\{\sum_{i=1}^n (X_i-\theta-\epsilon)Y_i\geq 0\right\} \\ &= \left\{\sum_{i=1}^n \left((X_i-\theta-\epsilon)Y_i+\epsilon/2\right)\geq n\epsilon/2\right\} \, . \end{align}$

สำหรับ Alecos

\begin{aligned} E [\sum_{i = 1}^{n} W_{i}] & = E [I_{{\sum_{i = 1}^{n} Y_{i} = 0}} \sum_{i = 1}^{n} W_{i}] + E [I_{{\sum_{i = 1}^{n} Y_{i} > 0}} \sum_{i = 1}^{n} W_{i}] \\ = E [I_{{\sum_{i = 1}^{n} Y_{i} > 0}} \frac{\sum_{i = 1}^{n} Y_{i}}{\sum_{i = 1}^{n} Y_{i}}] = E [I_{{\sum_{i = 1}^{n} Y_{i} > 0}}] = 1 - 1 / 2^{n} . \end{aligned}

$\begin{align} \mathrm{E}\!\left[\sum_{i=1} ^n W_i\right]&=\mathrm{E}\!\left[I_{\{\sum_{i=1}^n Y_i=0\}}\sum_{i=1} ^n W_i\right] + \mathrm{E}\!\left[I_{\{\sum_{i=1}^n Y_i>0\}}\sum_{i=1} ^n W_i\right] \\ &=\mathrm{E}\!\left[I_{\{\sum_{i=1}^n Y_i>0\}}\frac{\sum_{i=1} ^n Y_i}{\sum_{i=1}^n Y_i}\right]=\mathrm{E}\!\left[I_{\{\sum_{i=1}^n Y_i>0\}}\right]=1-1/2^n \, . \end{align}$

— เซน
แหล่งที่มา

คำตอบนี้ยังคงกลายพันธุ์ เวอร์ชันปัจจุบันไม่เกี่ยวข้องกับการสนทนาที่ฉันมีกับ @cardinal ในความคิดเห็น (แม้ว่าจะผ่านการสนทนานี้ฉันรู้ว่าโชคดีที่วิธีการปรับสภาพไม่ได้ปรากฏที่ใดก็ได้)

สำหรับความพยายามนี้ฉันจะใช้อีกส่วนหนึ่งของเอกสารต้นฉบับของปี 1963ของHoeffdingได้แก่ ส่วนที่ 5 "ผลรวมของตัวแปรสุ่มขึ้นอยู่กับ"

ตั้งค่า

W_{i} \equiv \frac{Y_{i}}{\sum_{i = 1}^{n} Y_{i}}, \sum_{i = 1}^{n} Y_{i} \neq 0, \sum_{i = 1}^{n} W_{i} = 1, n \geq 2

$W_i \equiv \frac {Y_i}{\sum_{i=1}^nY_i}, \qquad \sum_{i=1}^nY_i \neq 0, \qquad \sum_{i=1}^nW_i=1, \qquad n\geq 2$

ในขณะที่เราตั้งถ้า0 $W_i =0$ $\sum_{i=1}^nY_i = 0$

จากนั้นเราก็มีตัวแปร

Z_{n} = \sum_{i = 1}^{n} W_{i} X_{i}, E (Z_{n}) \equiv μ_{n}

$Z_n= \sum_{i=1}^nW_iX_i, \qquad E(Z_n) \equiv \mu_n$

เราสนใจในความน่าจะเป็น

P r (Z_{n} \geq μ_{n} + ϵ), ϵ < 1 - μ_{n}

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon), \qquad \epsilon < 1-\mu_n$

สำหรับความไม่เท่าเทียมอื่น ๆ อีกมากมาย Hoeffding เริ่มใช้เหตุผลของเขาโดยสังเกตว่า และนั่น

P r (Z_{n} \geq μ_{n} + ϵ) = E [1_{{Z_{n} - μ_{n} - ϵ \geq 0}}]

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon) = E\left[\mathbf 1_{\{Z_n-\mu_n -\epsilon \geq 0\}}\right]$

1_{{Z_{n} - μ_{n} - ϵ \geq 0}} \leq \exp {h (Z_{n} - μ_{n} - ϵ)}, h > 0

$\mathbf 1_{\{Z_n-\mu_n -\epsilon\geq 0\}} \leq \exp\Big\{h(Z_n-\mu_n -\epsilon)\Big\}, \qquad h>0$

สำหรับกรณีที่ขึ้นอยู่กับตัวแปรตาม Hoeffding เราใช้ความจริงที่ว่าและเรียกใช้ความไม่เท่าเทียมของ Jensen สำหรับฟังก์ชันเลขชี้กำลัง (นูน) เพื่อเขียน $\sum_{i=1}^nW_i=1$

e^{h Z_{n}} = \exp {h (\sum_{i = 1}^{n} W_{i} X_{i})} \leq \sum_{i = 1}^{n} W_{i} e^{h X_{i}}

$e^{hZ_n} = \exp\left\{h\left(\sum_{i=1}^nW_iX_i\right)\right\} \leq \sum_{i=1}^nW_ie^{hX_i}$

และเชื่อมโยงผลลัพธ์เพื่อมาถึง

P r (Z_{n} \geq μ_{n} + ϵ) \leq e^{- h (μ_{n} + ϵ)} E [\sum_{i = 1}^{n} W_{i} e^{h X_{i}}]

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon) \leq e^{-h(\mu_n+\epsilon)}E\left[\sum_{i=1}^nW_ie^{hX_i}\right]$

มุ่งเน้นไปที่กรณีของเราเนื่องจากและมีความเป็นอิสระค่าที่คาดหวังสามารถแยกออกได้ $W_i$ $X_i$

P r (Z_{n} \geq μ_{n} + ϵ) \leq e^{- h (μ_{n} + ϵ)} \sum_{i = 1}^{n} E (W_{i}) E (e^{h X_{i}})

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon) \leq e^{-h(\mu_n+\epsilon)}\sum_{i=1}^nE(W_i)E\left(e^{hX_i}\right)$

ในกรณีของเราคือ iid Bernoullis พร้อมพารามิเตอร์และเป็นฟังก์ชันสร้างช่วงเวลาทั่วไปใน ,ชั่วโมง ดังนั้น $X_i$ $\theta$ $E[e^{hX_i}]$ $h$ $E[e^{hX_i}] = 1-\theta +\theta e^h$

P r (Z_{n} \geq μ_{n} + ϵ) \leq e^{- h (μ_{n} + ϵ)} (1 - θ + θ e^{h}) \sum_{i = 1}^{n} E (W_{i})

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon) \leq e^{-h(\mu_n+\epsilon)}(1-\theta +\theta e^h)\sum_{i=1}^nE(W_i)$

การลด RHS ให้น้อยที่สุดด้วยความเคารพต่อเราจะได้รับ $h$

e^{h^{*}} = \frac{(1 - θ) (μ_{n} + ϵ)}{θ (1 - μ_{n} - ϵ)}

$e^{h^*} = \frac {(1-\theta)(\mu_n+\epsilon)}{\theta(1-\mu_n-\epsilon)}$

เสียบเข้าไปในความไม่เท่าเทียมกันและจัดการที่เราได้รับ

P r (Z_{n} \geq μ_{n} + ϵ) \leq {(\frac{θ}{μ_{n} + ϵ})}^{μ_{n} + ϵ} \cdot {(\frac{1 - θ}{1 - μ_{n} - ϵ})}^{1 - μ_{n} - ϵ} \sum_{i = 1}^{n} E (W_{i})

$\mathrm{Pr}(Z_n\geq \mu_n +\epsilon) \leq \left(\frac {\theta}{\mu_n+\epsilon}\right)^{\mu_n+\epsilon}\cdot \left(\frac {1-\theta}{1-\mu_n-\epsilon}\right)^{1-\mu_n-\epsilon}\sum_{i=1}^nE(W_i)$

ในขณะที่

P r (Z_{n} \geq θ + ϵ) \leq {(\frac{θ}{θ + ϵ})}^{θ + ϵ} \cdot {(\frac{1 - θ}{1 - θ - ϵ})}^{1 - θ - ϵ} \sum_{i = 1}^{n} E (W_{i})

$\mathrm{Pr}(Z_n\geq \theta +\epsilon) \leq \left(\frac {\theta}{\theta+\epsilon}\right)^{\theta+\epsilon}\cdot \left(\frac {1-\theta}{1-\theta-\epsilon}\right)^{1-\theta-\epsilon}\sum_{i=1}^nE(W_i)$

Hoeffding แสดงให้เห็นว่า

{(\frac{θ}{θ + ϵ})}^{θ + ϵ} \cdot {(\frac{1 - θ}{1 - θ - ϵ})}^{1 - θ - ϵ} \leq e^{- 2 ϵ^{2}}

$\left(\frac {\theta}{\theta+\epsilon}\right)^{\theta+\epsilon}\cdot \left(\frac {1-\theta}{1-\theta-\epsilon}\right)^{1-\theta-\epsilon} \leq e^{-2\epsilon^2}$

ความอนุเคราะห์จาก OP (ขอบคุณฉันเหนื่อยเล็กน้อย ... )

\sum_{i = 1}^{n} E (W_{i}) = 1 - 1 / 2^{n}

$\sum_{i=1}^n E(W_i) =1-1/2^n$

ดังนั้นในที่สุด "ตัวแปรตามเข้าหา" ทำให้เรา

P r (Z_{n} \geq θ + ϵ) \leq (1 - \frac{1}{2^{n}}) e^{- 2 ϵ^{2}} \equiv B_{D}

$\mathrm{Pr}(Z_n\geq \theta +\epsilon) \leq (1-\frac 1{2^n})e^{-2\epsilon^2} \equiv B_D$

ลองเปรียบเทียบนี้เพื่อผูกพันพระคาร์ดินัลที่อยู่บนพื้นฐานของ "ความเป็นอิสระ" การเปลี่ยนแปลงB_Iเพื่อความมุ่งมั่นของเราที่จะเข้มงวดมากขึ้นเราต้องการ $B_I$

B_{D} = (1 - \frac{1}{2^{n}}) e^{- 2 ϵ^{2}} \leq e^{- n ϵ^{2} / 2} = B_{I}

$B_D=(1-\frac 1{2^n})e^{-2\epsilon^2} \leq e^{-n\epsilon^2/2}=B_I$

\Rightarrow \frac{2^{n} - 1}{2^{n}} \leq \exp {(\frac{4 - n}{2}) ϵ^{2}}

$\Rightarrow \frac {2^n-1}{2^n} \leq \exp\left\{\left(\frac {4-n}{2}\right)\epsilon^2\right\}$

ดังนั้นสำหรับเรามีB_I สำหรับค่อนข้างเร็วแน่นกว่าแต่สำหรับเล็กมากในขณะที่แม้แต่หน้าต่างเล็ก ๆ นี้ก็ยังแปรสภาพเป็นศูนย์ได้อย่างรวดเร็ว ตัวอย่างเช่นสำหรับหากว่ามีความเข้มงวดมากขึ้น ดังนั้นในทุกข้อ จำกัด ของพระคาร์ดินัลจึงมีประโยชน์มากกว่า $n\leq 4$ $B_D \leq B_I$ $n \geq 5$ $B_I$ $B_D$ $\epsilon$ $n=12$ $\epsilon \geq 0.008$ $B_I$

ความคิดเห็น
เพื่อหลีกเลี่ยงการแสดงผลที่ทำให้เข้าใจผิดเกี่ยวกับกระดาษต้นฉบับของ Hoeffding ฉันต้องพูดถึงว่า Hoeffding ตรวจสอบกรณีของการรวมกันแบบนูนขึ้นกับตัวแปรสุ่ม specificaly เขา 's เป็นตัวเลขไม่ตัวแปรสุ่มขณะที่แต่ละเป็นผลรวมของตัวแปรสุ่มอิสระในขณะที่การพึ่งพาอาจมีอยู่ระหว่าง ' s จากนั้นเขาจะพิจารณา "สถิติ U" ต่างๆที่สามารถแสดงด้วยวิธีนี้ $W_i$ $X_i$ $X_i$

— Alecos Papadopoulos
แหล่งที่มา

Alecos: (ดูที่มาของคำตอบของฉัน) ขอบเขตของคุณจะไม่สลายตัวแบบเอกซ์โปเนนเชียลโดยมีตามที่คาร์ดินัลทำ

E [W_{1}] = (1 - 1 / 2^{n}) / n

$\mathrm{E}[W_1]=(1-1/2^n)/n$

n

$n$

— Zen

@Zen อันที่จริง (ในความเป็นจริงมันจะเพิ่มขึ้นตามขนาดตัวอย่างแม้ว่าจะถูก จำกัด ขอบเขต) นั่นเป็นสาเหตุที่ขอบเขตของ Cardinal นั้นมีประโยชน์มากกว่าสำหรับขนาดตัวอย่างส่วนใหญ่

— Alecos Papadopoulos