ความไม่แน่นอนน่าจะเป็น

ฉันกำลังมองหาอสมการความน่าจะเป็นบางอย่างสำหรับผลรวมของตัวแปรสุ่มที่ไม่มีขอบเขต ฉันจะซาบซึ้งจริงๆถ้าใครสามารถให้ความคิดกับฉัน

ปัญหาของฉันคือการหาขอบเขตบนเอ็กซ์โพเนนเชียลเหนือความน่าจะเป็นที่ผลรวมของตัวแปรสุ่มแบบไม่ จำกัด จำนวน iid ซึ่งอันที่จริงแล้วการคูณของสอง iid Gaussian มีค่าเกินกว่าค่าที่แน่นอนเช่น $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ ที่ $X = \sum_{i=1}^{N} w_iv_i$ , $w_i$ และ $v_i$ ถูกสร้างขึ้นจาก IID $\mathcal{N}(0, \sigma)$ )

ฉันพยายามใช้ Chernoff ผูกโดยใช้โมเมนต์สร้างฟังก์ชัน (MGF) ขอบเขตที่ได้รับมาจาก:

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

ที่เป็น MGF ของXแต่ขอบเขตไม่แน่นนัก ปัญหาหลักในปัญหาของฉันคือตัวแปรสุ่มไม่มีขอบเขตและน่าเสียดายที่ฉันไม่สามารถใช้ขอบเขตของความไม่เท่าเทียม Hoeffding $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ $X$

ฉันจะมีความสุขถ้าคุณช่วยฉันหาคำอธิบายที่รัดกุม

— Farzad
แหล่งที่มา

ดูเหมือนปัญหาที่เกี่ยวข้องกับการตรวจจับการบีบอัด ค้นหาบันทึกของ R. Vershynin เกี่ยวกับทฤษฎีเมทริกซ์แบบสุ่มแบบ nonasymptotic โดยเฉพาะขอบเขตของสิ่งที่เขาเรียกว่าตัวแปรสุ่มแบบเอ็กซ์โพเนเชียน นั่นจะช่วยให้คุณเริ่มต้นได้ หากคุณต้องการตัวชี้เพิ่มเติมแจ้งให้เราทราบและฉันจะพยายามโพสต์ข้อมูลเพิ่มเติม

— พระคาร์ดินัล

มีคำถามและคำตอบอย่างน้อยสองสามข้อในหัวข้อนี้ใน math.SE (ข้อจำกัดความรับผิดชอบ: รวมถึงคำถามที่ฉันเข้าร่วม)

— พระคาร์ดินัล

ผลิตภัณฑ์

w_{i} v_{i}

$w_i v_i$ มีการกระจายแบบ 'ผลิตภัณฑ์ปกติ' ผมเชื่อว่าค่าเฉลี่ยของผลิตภัณฑ์นี้คือศูนย์และความแปรปรวนเป็น

σ^{4}

$\sigma^4$ ที่

σ^{2}

$\sigma^2$ คือความแปรปรวนของ

w_{i}

$w_i$ และv_i

v_{i}

$v_i$ สำหรับ

N

$N$ largeish คุณสามารถใช้ทฤษฎีบทขีด จำกัด กลางที่จะได้รับ norality ประมาณX

X

$X$ หากคุณสามารถคำนวณความเบี่ยงเบนของการแจกแจงปกติได้ฉันเชื่อว่าคุณสามารถใช้ทฤษฎีบท Berry-Esseen เพื่อกำหนดอัตราการลู่เข้าของ CDF

— shabbychef

@shabbychef, Berry-Esseen มีลู่สวยช้าเนื่องจากเป็นเครื่องแบบที่ถูกผูกไว้เหนือระดับทุกฟังก์ชั่นการกระจายF

F

$F$

— พระคาร์ดินัล

@DilipSarwate: ขออภัยที่ฉันเพิ่งเห็นความคิดเห็นของคุณจากสักครู่ที่ผ่านมา ฉันคิดว่าคุณอาจสนใจในบทความเล็ก ๆ ต่อไปนี้ซึ่งฉันได้เชื่อมโยงกับคณิตศาสตร์สองสามครั้งเช่นกัน TK Phillips และ R. Nelson (1995) ช่วงเวลาที่ถูกผูกไว้แน่นกว่าของ Chernoff ในแง่บวก ความน่าจะเป็น , สถิติอเมริกัน , ฉบับที่ 42, ฉบับที่ 2. , 175-178

— พระคาร์ดินัล

คำตอบ:

การใช้ Chernoff ผูกไว้คุณแนะนำสำหรับที่จะระบุในภายหลัง, ที่ความไม่เท่าเทียมกันครั้งที่สองถือขอบคุณสำหรับการใด ๆ2) ตอนนี้รับ และทางด้านขวามือจะกลายเป็นที่ทำให้ สำหรับการใด ๆ(0,1) $s\le 1/(2\sigma^2)$

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$

x \in (0, 1 / 2)

$x\in(0,1/2)$

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

ถนนอีกสายหนึ่งคือการใช้ความไม่เท่าเทียมกันของความเข้มข้นโดยตรงเช่นความไม่เท่าเทียมกันของแฮนสัน - ไรท์หรือความไม่เท่าเทียมกันของสมาธิสำหรับความโกลาหลแบบเกาส์ในลำดับ 2 ซึ่งรวมถึงตัวแปรสุ่มที่คุณสนใจ

วิธีที่ง่ายกว่าโดยไม่ต้องใช้ฟังก์ชั่นสร้างช่วงเวลา

รับเพื่อความเรียบง่าย (มิฉะนั้นอาจมีการลดขนาดโดยการหารด้วย ) $\sigma=1$ $\sigma^2$

เขียนและ T คุณจะขอขอบเขตบนของN) $v=(v_1,...,v_n)^T$ $w=(w_1,...,w_n)^T$ $P(v^Tw>\epsilon N)$

ให้. จากนั้นโดยความเป็นอิสระของ และเป็นอิสระจากด้วยการมีองศาอิสระ $Z= w^T v/\|v\|$ $Z\sim N(0,1)$ $v,w$ $\|v\|^2$ $Z$ $\chi^2$ $n$

โดยขอบเขตมาตรฐานของตัวแปรสุ่มมาตรฐานและ , เมื่อรวมกับการรวมกลุ่มจะให้ขอบเขตบน ของรูปแบบ2/2) $\chi^2$

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$

— jlewk
แหล่งที่มา

ผูกไว้ที่คุณได้รับคือการสั่งซื้อเป็น\ ผมไม่คิดว่าคุณสามารถทำได้ดีมากสำหรับทั่วไป\จากหน้า Wikipedia บนตัวแปรผลิตภัณฑ์การแจกแจงของคือโดยที่เป็นฟังก์ชัน Bessel ที่แก้ไข จาก (10.25.3) ในรายการฟังก์ชัน DLMF ,ดังนั้นสำหรับใหญ่เพียงพอซึ่งไม่ได้ให้ขอบเขตแบบเกาส์เซียนย่อยให้คุณ $e^{-\epsilon}$ $\epsilon \to \infty$ $\epsilon$ $w_i v_i$ $K_0(z)/\pi$ $K_0$ $K_0(t) \sim e^{-t}/\sqrt{t}$ $x$ $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$

— BookYourLuck
แหล่งที่มา