การทำความเข้าใจหลักฐานของบทแทรกที่ใช้ในความไม่เท่าเทียม Hoeffding

ฉันกำลังศึกษาบันทึกการบรรยายของ Larry Wasserman เกี่ยวกับสถิติที่ใช้ Casella และ Berger เป็นข้อความหลัก ฉันกำลังทำงานผ่านบันทึกการบรรยายของเขาชุดที่ 2และติดอยู่ในการได้มาของบทแทรกที่ใช้ในความไม่เท่าเทียมกันของ Hoeffding (pp.2-3) ฉันกำลังทำซ้ำการพิสูจน์ในหมายเหตุด้านล่างและหลังจากการพิสูจน์ฉันจะชี้ให้เห็นว่าฉันติดอยู่ที่ไหน

บทแทรก

สมมติว่าและข แล้ว 2/8} $\mathbb{E}(X) = 0$ $a \le X \le b$ $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

พิสูจน์

ตั้งแต่ $a \le X \le b$ เราสามารถเขียน $X$ เป็นรวมกันนูนและคือ ที่{} โดยการนูนของฟังก์ชันเรามี $a$ $b$ $X = \alpha b + (1 - \alpha) a$ $\alpha = \frac{X-a}{b-a}$ $y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

รับความคาดหวังของทั้งสองฝ่ายและใช้ข้อเท็จจริง $\mathbb{E}(X) = 0$ เพื่อรับ

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

ที่ $u = t(b-a)$ , $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ และ $\gamma = -a /(b-a)$ (BA) โปรดทราบว่า $g(0) = g^{'}(0) = 0$ 0 นอกจากนี้ยัง $g^{''}(u) \le 1/4$ สำหรับทุก $u > 0$ 0

ตามทฤษฎีบทของเทย์เลอร์มี $\varepsilon \in (0, u)$ เช่นนั้น $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

ดังนั้น $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$ {8}}

ฉันสามารถทำตามหลักฐานจนกระทั่ง

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ แต่ฉันไม่สามารถที่จะคิดออกว่าจะได้รับ\ $u, g(u), \gamma$

probability probability-inequalities

— อานันท์
แหล่งที่มา

เป็นที่น่าสนใจว่าค่าสูงสุดของคือและทำให้ผลลัพธ์นั้นมีประสิทธิภาพซึ่งดูเหมือนจะคุ้นเคยเกินกว่าที่จะเกิดขึ้นจากความบังเอิญที่แท้จริง ฉันสงสัยว่าอาจมีวิธีอื่นที่อาจเป็นไปได้ง่ายขึ้นในการหาผลลัพธ์ผ่านการโต้แย้งที่น่าจะเป็น

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

— Dilip Sarwate

เข้าใจ @DilipSarwate ของฉันอยู่ที่ความแปรปรวนที่เกิดขึ้นสูงสุดสำหรับตัวแปรสุ่มเครื่องแบบB) ความแปรปรวนของคือ{12} คุณช่วยอธิบายได้ว่าคุณได้รับอย่างไร?

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— อานันท์

โดยมุ่งเน้นมวลบนจุดสิ้นสุด ...

— เอลวิส

@DilipSarwate ฉันได้เพิ่มความคิดเห็นบางส่วนในการพิสูจน์ที่อาจชี้แจงบิต liitle ทำไมกรณีที่เลวร้ายที่สุดคือความแปรปรวนสูงสุด

— Elvis

@DilipSarwate - ดูบทแทรก 1 และการออกกำลังกาย 1 ที่นี่: terrytao.wordpress.com/2010/01/03/... ดูเหมือนว่ามันมีต้นกำเนิดที่ง่ายกว่าโดยอาศัยความไม่เท่าเทียมของเซ่นและการขยายตัวของเทย์เลอร์ แต่รายละเอียดของสิ่งนี้ยังไม่ชัดเจนสำหรับฉัน บางทีบางคนก็สามารถเข้าใจได้ (ได้รับจาก (9) ถึง (10) และการออกกำลังกาย 1)

— Leo

ฉันไม่แน่ใจว่าฉันเข้าใจคำถามของคุณถูกต้องหรือไม่ ฉันจะพยายามตอบ: ลองเขียนเป็นฟังก์ชันของ : นี่ เป็นไปตามธรรมชาติตามที่คุณต้องการที่ถูกผูกไว้ใน8}

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

ช่วยด้วยประสบการณ์ที่คุณจะรู้ว่ามันจะดีกว่าที่จะเลือกที่จะเขียนมันในรูปแบบ(U)} จากนั้น นำไปสู่ กับกว่าปริญญาตรี} $e^{g(u)}$

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

นั่นเป็นสิ่งที่คุณขอหรือไม่?

แก้ไข: ความคิดเห็นเล็กน้อยเกี่ยวกับหลักฐาน

เคล็ดลับแรกที่ควรได้รับการพิจารณาอย่างรอบคอบ: ถ้าเป็นฟังก์ชันนูนและเป็นตัวแปรสุ่มกึ่งกลางแล้ว ที่เป็นตัวแปรที่ไม่ต่อเนื่องที่กำหนดโดย ดังนั้นคุณจะได้คือ ตัวแปรกึ่งกลางที่มีการสนับสนุนในซึ่งมีความแปรปรวนสูงสุด: โปรดทราบว่าหากเราแก้ไขความกว้างการสนับสนุน $\phi$ $a\le X\le b$ $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ นี่คือน้อยกว่าดังที่ Dilip กล่าวไว้ในความคิดเห็นซึ่งเป็นเพราะ ; ถูกผูกไว้จะบรรลุสำหรับA $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
ตอนนี้หันไปหาปัญหาของเรา ทำไมจึงเป็นไปได้ที่จะได้รับขอบเขตขึ้นอยู่กับ ? โดยสังหรณ์ใจมันเป็นเพียงเรื่องของการลดขนาดของ : ถ้าคุณมีขอบเขตสำหรับกรณีดังนั้นขอบเขตทั่วไป สามารถหาได้โดยการซัก(BA)) ทีนี้ลองนึกถึงชุดของตัวแปรที่อยู่ตรงกลางด้วยการสนับสนุนความกว้าง 1: ไม่มีอิสระมากนักดังนั้นขอบเขตเช่นจึงควรมีอยู่ อีกวิธีคือพูดง่ายๆว่าโดยบทแทรกเหนือจากนั้นโดยทั่วไปซึ่งขึ้นอยู่กับและ $u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ : หากคุณแก้ไขและและปล่อยให้แตกต่างกันมีเพียงหนึ่งระดับอิสระ และ , ,a_0 เราได้รับ คุณเพียงแค่ต้องไปหาผูกพันที่เกี่ยวข้องกับเฉพาะยู $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
ตอนนี้เรามั่นใจแล้วว่าสามารถทำได้มันต้องง่ายกว่านี้มาก! คุณไม่จำเป็นต้องคิดว่าจะจะเริ่มต้นด้วย ประเด็นก็คือว่าคุณต้องเขียนทุกอย่างเป็นหน้าที่ของและ\ โน้ตตัวแรกที่ , ,และ U จากนั้น ตอนนี้เราอยู่ในกรณีเฉพาะ ... ฉัน คิดว่าคุณสามารถเสร็จสิ้น $g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

ฉันหวังว่าฉันจะอธิบายให้ชัดเจนขึ้นเล็กน้อย

— เอลวิส
แหล่งที่มา

นั่นคือสิ่งที่ฉันกำลังมองหา ขอบคุณมาก.

— อานันท์

@ และฉันรู้ว่ามันเป็นเรื่องยากที่จะทำตามคำแนะนำอย่างไรก็ตามฉันคิดว่าคุณไม่ควรเริ่มต้นด้วยการให้ความสำคัญกับรายละเอียดทางเทคนิค แต่พยายามที่จะเข้าใจว่าทำไมขอบเขตดังกล่าวจึงมีอยู่ ... ฉันพยายามแสดงให้คุณเห็นว่าทำไมในส่วนที่สองเพิ่มเมื่อเช้านี้ (คุณต้องนอนกับคำถามเช่นนี้ - อย่างน้อยฉันก็ต้อง) ฉันคิดว่ามันน่ากลัวว่าสัญชาติญาณประเภทนี้จะไม่ปรากฏในหนังสือเรียนส่วนใหญ่ ... แม้ว่าคุณจะได้รับส่วนทางเทคนิคตราบใดที่คุณไม่มีความคิดทุกอย่างก็ดูน่าอัศจรรย์ ขอบคุณและ CrossV ที่ให้โอกาสฉันคิดในรายละเอียด!

— Elvis

ว้าว! +1 สำหรับการแก้ไข ขอบคุณ แต่มันจะไม่ดีถ้ามันเป็นไปได้ที่จะได้อะไรแบบ

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— Dilip Sarwate

@Elvis ขอบคุณสำหรับคำแนะนำและสละเวลาในการเขียนส่วนที่ใช้งานง่าย ฉันต้องใช้เวลาพอสมควรในการทำความเข้าใจสิ่งนี้!

— อานันท์

@ เอลวิสเกี่ยวกับปรีชาญาณฉันต้องการชี้แจงความเข้าใจของฉัน เพื่อให้ได้ขอบเขตที่คมชัดยิ่งขึ้นเราต้องการเวลาที่สูงขึ้น มาร์คอฟใช้ช่วงเวลาแรก Chebyshev วินาทีที่สองและ Hoeffding ใช้ mgf ถูกต้องหรือไม่ หากใครบางคนสามารถขยายและชี้แจงส่วนนี้มันจะดี

— อานันท์