ผลรวมของตัวแปรสุ่มแบบเอกซ์โปเนนเชียลอิสระ

เราสามารถพิสูจน์ผลความเข้มข้นที่คมชัดในผลรวมของตัวแปรสุ่มอิสระชี้แจงคือให้เป็นตัวแปรสุ่มอิสระดังกล่าวว่าlambda_i} ให้x_i เราสามารถพิสูจน์ขอบเขตของฟอร์ม2} สิ่งนี้ตามมาโดยตรงหากเราใช้รูปแบบความแปรปรวนของ chernoff ขอบเขตและด้วยเหตุนี้ฉันเชื่อว่าเป็นจริง แต่ขอบเขตที่ฉันอ่านต้องการขอบเขตที่ จำกัด หรือมีการพึ่งพาขอบเขตขอบเขตของตัวแปร ใครช่วยชี้ให้ฉันเห็นหลักฐานข้างต้น $X_1, \ldots X_r$ $Pr(X_i < x) = 1 - e^{-x/\lambda_i}$ $Z = \sum X_i$ $Pr(|Z-\mu_Z|>t) < e^{-t^2/\sum (\lambda_i)^2}$

pr.probability randomness chernoff-bound

— จู้จี้
แหล่งที่มา

เพียงทำตามหลักฐานของ chernoff: มันง่ายที่จะ จำกัด ช่วงเวลาของเลขชี้กำลังของตัวแปรสุ่มแบบเลขชี้กำลัง

— Sasho Nikolov

ฉันพยายามที่จะพิสูจน์ซ้ำของ chernoff ฉันไม่ได้สำหรับกรณีที่เรียบง่ายเมื่อทุก

λ_{i} = λ

$\lambda_i = \lambda$ λ

ฉันจะได้รับชนิดของความสัมพันธ์ที่ฉันกำลังมองหาอยู่ภายใต้สภาวะรุนแรงของ

t < n λ

$t < n\lambda$ λ

เงื่อนไขดังกล่าวเกิดขึ้นตามธรรมชาติหรือเป็นเพราะการแก้ปัญหาของฉันไม่ค่อยดี

— NA

ตรวจสอบเลมม่า 2.8 ที่นี่eprint.iacr.org/2010/076.pdf

— Sasho Nikolov

ใช่มันสมเหตุสมผลแล้ว แม้จะอยู่ในบทแทรกของพวกเขาพวกเขามีสภาพบน

t

$t$ เป็นพอขนาดเล็ก ตกลงแล้ววิธีแก้ปัญหาของฉันดูเหมือนจะถูกต้อง ขอบคุณมากสำหรับลิงค์และข้อเสนอแนะ

— NA

Pr [X_{i} < x] = e^{- λ_{i} x}

$\Pr[X_i < x] = e^{-\lambda_i x}$

x

$x$

Pr [X_{i} < x] = 1 - e^{- λ_{i} x}

$\Pr[X_i < x] = 1-e^{-\lambda_i x}$

λ_{i}^{- 2}

$\lambda_i^{-2}$

คำตอบ:

สำหรับ concreteness ให้บอกว่า pdf ของ rvคือ $X_i$

p (X_{i} = x) = \frac{1}{2} λ_{i} e^{- λ_{i} | x |} .

$p(X_i = x) = \frac{1}{2} \lambda_i e^{-\lambda_i|x|}.$

นี่คือการแจกแจงแบบ Laplace หรือการแจกแจงเลขชี้กำลังสองเท่า ความแปรปรวนของมันคือ2} cdf คือ $\frac{2}{\lambda_i^2}$

Pr [X_{i} \leq x] = 1 - \frac{1}{2} e^{- λ_{i} x}

$\Pr[X_i \leq x] = 1 - \frac{1}{2}e^{-\lambda_i x}$ สำหรับ0

x \geq 0

$x \geq 0$

ฟังก์ชั่นสร้างช่วงเวลาของคือ $X_i$

E e^{u X_{i}} = \frac{1}{1 - u^{2} / λ_{i}^{2}},

$\mathbf{E}\ e^{uX_i} = \frac{1}{1 - u^2/\lambda_i^2},$ สำหรับ<\การใช้ข้อเท็จจริงนี้และวิธีโมเมนต์เอ็กซ์โพเนนเชียลซึ่งเป็นมาตรฐานในการพิสูจน์ขอบเขตของ Chernoff คุณจะได้รับและ , ความไม่เท่าเทียมกันดังต่อไปนี้

| u | < λ_{i}

$|u| < \lambda_i$

X = \sum_{i} X_{i}

$X = \sum_i X_i$

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2 = 2\sum_i \lambda_i^{-2}$

Pr [X > t σ] < e^{- t^{2} / 4},

$\Pr[X > t\sigma] < e^{-t^2/4},$ ตราบเท่าที่lambda_i} คุณสามารถค้นหารายละเอียดที่มาในหลักฐานของ Lemma 2.8 ของเอกสารนี้

t \leq 2 σ min_{i} λ_{i}

$t \leq 2\sigma \min_{i}{\lambda_i}$

— Sasho Nikolov
แหล่งที่มา

ขอบคุณมากสำหรับคำตอบ อย่างไรก็ตามในการประยุกต์ใช้ของฉันมันไม่เป็นความจริง necessaily ว่า_i แต่ใครจะคาดคิดความเข้มข้นแข็งแกร่งยิ่งขึ้นในกรณี_i เราสามารถได้ผลลัพธ์เช่นนั้นถ้าเราไม่ใช้การประมาณซึ่ง จำกัด ช่วงของในการพิสูจน์ แต่การวิเคราะห์นั้นไม่สามารถจัดการได้ในกรณีที่แตกต่างกัน's ข้อเสนอแนะใด ๆ ที่อยู่ข้างหน้า?

t \leq \sqrt{2} σ m i n_{i} λ_{i}

$t \leq \sqrt{2} \sigma min_i \lambda _i$

t > \sqrt{2} σ m i n_{i} λ_{i}

$t > \sqrt{2} \sigma min_i \lambda _i$

1 / (1 - x) \leq e^{c x}

$1/(1-x) \leq e^{cx}$

t

$t$

λ_{i}^{'} s

$\lambda _i 's$

— NA

นี่จะเป็นการโบกมืออย่างแรง แต่ฉันคาดหวังว่าค่าที่มากเช่นนี้น่าจะเกิดขึ้นเมื่อจำนวนน้อยเกินค่ามัธยฐานของโดยมาก แต่ตัวแปรเลขชี้กำลังสองเท่านั้นมีหางที่หนักกว่า gaussians และมีจำนวนน้อยที่ไม่สามารถตั้งสมาธิได้อย่างแน่นหนา

X

$X$

X_{i}

$X_i$

| X_{i} |

$|X_i|$

— Sasho Nikolov

ฉันรู้ว่าสิ่งที่ฉันเขียนข้างต้นไม่ชัดเจน: ฉันคาดว่าทางออกในหางดูเหมือนหางของอีก rvซึ่งเป็นผลรวมของ rv เลขชี้กำลังสองเท่าจำนวนเล็กน้อยหางของดังกล่าวไม่ควรเป็น ย่อยเกาส์

X

$X$

X^{'}

$X'$

X^{'}

$X'$

— Sasho Nikolov

สำหรับการกระจาย Laplace ถ้าคุณใช้การเชื่อมโยงของ Bernoulli คุณสามารถเขียนได้

E e^{u \sum_{i} X_{i}} = \prod_{i} \frac{1}{1 - u^{2} / λ_{i}^{2}} \leq \frac{1}{1 - u^{2} σ^{2} / 2},

$Ee^{u\sum_i X_i} = \prod_i \frac1{1-u^2/\lambda_i^2} \le \frac1{1-u^2\sigma^2/2},$ ที่2} จากนั้นวิธีการคลาสสิก Chernoff ที่จะให้

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2=2\sum_i\lambda_i^{-2}$

ราคา [\underset{ผม}{Σ} X_{ผม} \geq เสื้อ σ] \leq \frac{1 + \sqrt{1 + 2 {เสื้อ}^{2}}}{2} {อี}^{1 - \sqrt{1 + 2 {เสื้อ}^{2}}} \leq {\begin{cases} (อี เสื้อ / \sqrt{2} + 1) {อี}^{- \sqrt{2} เสื้อ} \\ {อี}^{- {เสื้อ}^{2} / 2 + {เสื้อ}^{4} / 8} \end{cases} .

$\Pr[\sum_i X_i \ge t\sigma]\le \tfrac{1+\sqrt{1+2t^2}}{2} e^{1-\sqrt{1+2t^2}} \le\cases{ (et/\sqrt2+1) e^{-\sqrt{2}t} \\ e^{-t^2/2 + t^4/8}} .$

โปรดทราบว่าขอบเขตเหล่านี้ถือสำหรับค่าที่ไม่ จำกัด ของและ\ขอบเขตด้านขวาแสดงทั้งสองระบบที่เป็นไปได้ สำหรับค่าขนาดเล็กของเราจะได้รับความเข้มข้น `ปกติ 'ในขณะที่สำหรับค่าขนาดใหญ่ของเราจะได้รับซึ่งเป็น CDF สำหรับ ตัวแปรแบบกระจาย Laplace เดียว $t$ $\lambda_i$ $t$ $e^{-t^2/2}$ $t$ $\approx e^{-\sqrt{2}t}$

ขอบเขตช่วยให้คุณสามารถสอดแทรกระหว่างสองสถานการณ์ แต่ฉันสงสัยว่าในเกือบทุกกรณีหนึ่งจะมีความมั่นคงในใหญ่หรือค่ายขนาดเล็ก $1-\sqrt{1+2t^2}$ $t$ $t$

สำหรับการกระจายชี้แจงเทคนิคเดียวกันให้เราที่1 ดังนั้น ดังนั้นคุณยังคงได้รับสิ่งที่ปกติเล็กน้อย แต่ด้วยมากกว่าอย่างที่เราหวังไว้ ฉันไม่รู้ว่ามันเป็นไปได้ไหมที่จะได้ความผูกพันในแง่ของความแปรปรวน คุณสามารถลองศึกษาแต่ดูเหมือนจะไม่ง่ายที่จะทำงานด้วย $Ee^{u\sum_iX_i}\le\frac{1}{1-u\mu}$ $\mu=\sum_i 1/\lambda_i$

ราคา [(\underset{ผม}{Σ} X_{ผม}) - μ \geq เสื้อ μ] \leq (เสื้อ + 1) {อี}^{- เสื้อ} \leq {อี}^{- {เสื้อ}^{2} / 2 + {เสื้อ}^{3} / 3} .

$\Pr[(\sum_i X_i)-\mu \ge t\mu]\le (t+1) e^{-t} \le e^{-t^2/2+t^3/3}.$

t μ

$t\mu$

t σ

$t\sigma$

E e^{u (\sum X_{i} - μ)^{2}}

$Ee^{u(\sum X_i-\mu)^2}$

— โทมัส Ahle
แหล่งที่มา

ฉันไม่มีเวลาที่จะหารายละเอียด แต่ฉันมั่นใจว่า 99.9% ว่าเราจะได้รับขอบเขตของตัวแปรสุ่มแบบกระจายอย่างทวีคูณซึ่งขึ้นอยู่กับความแปรปรวน ขอบเขตของคุณในขณะสร้างฟังก์ชั่นที่ดูหลวมเกินไป

— Warren Schudy

@Warren Schudy แนวทางของคุณคืออะไร?

— โทมัส Ahle

สองวิธีที่เห็นได้ชัดที่ฉันเห็น: 1. ขอบเขตที่สองที่แสดงรายการไว้ที่en.wikipedia.org/wiki/…ดูเหมือนว่าควรจะใช้ได้ 2. ค้นหาขอบเขตที่แน่นขึ้นในฟังก์ชั่นสร้างช่วงเวลา

— Warren Schudy

Pr [\sum_{i} X_{i} \geq t σ] \leq e^{- t^{2} / 2}

$\Pr[\sum_iX_i\ge t\sigma]\le e^{-t^2/2}$

t \leq σ min_{i} λ_{i} / 2

$t\le\sigma\min_i\lambda_i/2$

คงหนีไม่พ้นขอบเขตสไตล์เกาส์เซียนที่จะหยุดในบางจุด แม้แต่ตัวแปรสุ่มแบบกระจายแบบเอ็กซ์โพเนนเชียลเดี่ยวก็มีหางที่อ้วนกว่าแบบเกาส์ใด ๆ

— Warren Schudy