ย้อนกลับ Chernoff ที่ถูกผูกไว้


31

มีสิ่งที่ตรงกันข้ามกับเชอร์คอฟซึ่งขอบเขตว่าความน่าจะเป็นหางนั้นน้อยมาก

เช่นถ้าเป็นอิสระตัวแปรสุ่มทวินามและx_i] จากนั้นเราสามารถพิสูจน์สำหรับฟังก์ชั่นบางฉX1,X2,,Xnμ=E[i=1nXi]Pr[i=1nXi(1+δ)μ]f(μ,δ,n)f


1
ตัวอย่างของคุณมีการถามมากเกินไป: ด้วยขอบเขต Chernoff มาตรฐานแสดงให้เห็นว่าและ\ Pr [| T \ cap S_2 | \ sqrt {1.1} \ leq n ^ {1/3}]มากที่สุด\ exp (-cn ^ { 1/3})สำหรับบางค p=n2/3Pr[|TS1|1.1n1/3]Pr[|TS2|1.1n1/3]exp(cn1/3)c
โคลิน McQuillan

คุณพูดถูกฉันสับสนเกี่ยวกับคำที่อยู่ใน chernoff ที่มีสี่เหลี่ยม ฉันเปลี่ยนคำถามเพื่อสะท้อนความอ่อนแอ ฉันไม่คิดว่ามันจะช่วยฉันในแอปพลิเคชันปัจจุบันของฉัน แต่อาจน่าสนใจด้วยเหตุผลอื่น
Ashwinkumar BV

คำตอบ:


28

นี่คือข้อพิสูจน์ที่ชัดเจนว่าการยึด Chernoff มาตรฐานนั้นแน่นถึงปัจจัยคงที่ในเลขยกกำลังสำหรับพารามิเตอร์เฉพาะช่วงหนึ่ง (โดยเฉพาะอย่างยิ่งเมื่อใดก็ตามที่ตัวแปรคือ 0 หรือ 1 และ 1 ที่มีความน่าจะเป็น 1/2 หรือน้อยกว่าและϵ(0,1/2)และขอบเขตบนของ Chernoff นั้นน้อยกว่าค่าคงที่)

หากคุณพบข้อผิดพลาดโปรดแจ้งให้เราทราบ

บทแทรก 1. (ความรัดกุมของ Chernoff ผูกมัด) ให้Xเป็นค่าเฉลี่ยของkอิสระ, ตัวแปรสุ่ม 0/1 (rv) สำหรับϵ(0,1/2]และp(0,1/2] , สมมติว่าϵ2pk3 ,

(i) ถ้า rv แต่ละอันมีค่าความน่าจะเป็นสูงสุดที่pดังนั้น

Pr[X(1ϵ)p]  exp(9ϵ2pk).

(ii) ถ้าแต่ละ rv คือ 1 ที่มีความน่าจะเป็นอย่างน้อยpดังนั้น

Pr[X(1+ϵ)p]  exp(9ϵ2pk).

พิสูจน์ เราใช้การสังเกตต่อไปนี้:

การอ้างสิทธิ์ 1.ถ้าดังนั้น 1k1(k)  1e2π(k)(kk)k

หลักฐานการอ้างสิทธิ์ 1. จากการประมาณของ Stirling, โดยที่i!=2πi(i/e)ieλλ[1/(12i+1),1/12i].

ดังนั้นซึ่งก็คือ อย่างน้อย QED(k)k!!(k)!

2πk(ke)k2π(e)  2π(k)(ke)kexp(112k+1112112(k))
  12π(k)(kk)ke1.

บทพิสูจน์ของบทแทรก 1 (i) โดยไม่สูญเสียของทั่วไปถือว่าแต่ละ 0/1 ตัวแปรสุ่มในผลรวม 1 ที่มีความน่าจะเป็นตรงหน้าหมายเหตุเท่ากับผลรวมและ{}X pPr[X(1ϵ)p]i=0(1ϵ)pkPr[X=i/k]Pr[X=i/k]=(ki)pi(1p)ki

แก้ไข 1 ข้อตกลงในผลรวมเพิ่มขึ้นดังนั้นคำที่มีดัชนี แต่ละรายการจะมีค่าอย่างน้อยดังนั้นผลรวมของพวกเขาจึงมีมูลค่ารวมอย่างน้อย k] เพื่อให้การพิสูจน์สมบูรณ์เราแสดงให้เห็นว่า =(12ϵ)pk+1iPr[X=/k](ϵpk2)Pr[X=/k]

(ϵpk2)Pr[X=/k]  exp(9ϵ2pk).

สมมติฐานและ ให้ดังนั้นด้านซ้ายมือด้านบนจึงมีอย่างน้อยell} ใช้การอ้างสิทธิ์ 1 เพื่อผูกมัดนี่จะเป็นอย่างน้อย โดยที่ และ ϵ2pk3ϵ1/2ϵpk623ϵpk(k)p(1p)k(k)ABA=23eϵpk/2πB=(k)(kk)kp(1p)k.

จะเสร็จสิ้นเราจะแสดงและPK)Aexp(ϵ2pk)Bexp(8ϵ2pk)

อ้างสิทธิ์ 2 Aexp(ϵ2pk)

หลักฐานการเรียกร้อง 2. สมมติฐานและ บ่งบอกถึง (i)12ϵ2pk3ϵ1/2pk12

ตามคำนิยาม1 โดย (i),12 ดังนั้น (ii)PKpk+1pk121.1pk

แทนด้านขวามือของ (ii) สำหรับในให้ (iii)ปี่}AA23eϵpk/2.2π

สมมติฐานหมายถึงซึ่ง (iii) ให้ (iv)0.1ϵ2pk3ϵpk3A23e3/2.2π0.1

จากก็ต่อว่า (V)0.04ϵ2pk3exp(ϵ2pk)exp(3)0.04

(iv) และ (v) อ้างสิทธิ์ร่วมกัน QED

เรียกร้อง 3. PK})Bexp(8ϵ2pk)

หลักฐานการเรียกร้อง 3. แก้ไขดังกล่าวว่า\ ทางเลือกของนัยดังนั้นการเรียกร้องจะถือตราบเท่าที่2PK) การที่แต่ละด้านของความไม่เท่าเทียมกันหลังนี้มีอำนาจและทำให้มันง่ายขึ้นก็เท่ากับ การแทนที่และทำให้มันง่ายขึ้นเทียบเท่ากับ δ=(1δ)pk
δ2ϵBexp(2δ2pk)1/

pk(k(1p)k)k/1  exp(2δ2pk).
=(1δ)pk
(1δ)(1+δp1p)1(1δ)p1  exp(2δ21δ).
การลอการิทึมของทั้งสองฝ่ายและใช้สองครั้งมันจะเก็บตราบเท่าที่ ด้านซ้ายมือด้านบนช่วยให้ซึ่งน้อยกว่าเพราะ . QEDln(1+z)z
δ+δp1p(1(1δ)p1)  2δ21δ.
δ2/(1p)(1δ)2δ2/(1δ)p1/2

การเรียกร้องที่ 2 และ 3 บ่งบอก2PK}) สิ่งนี้แสดงถึงส่วน (i) ของบทแทรกABexp(ϵ2pk)exp(8ϵ2pk)

บทพิสูจน์ของบทแทรก 1 (ii) โดยไม่สูญเสียของทั่วไปถือว่าแต่ละตัวแปรสุ่มคือกับความน่าจะตรงหน้า1p

หมายเหตุk] แก้ไข1Pr[X(1+ϵ)p]=i=(1ϵ)pknPr[X=i/k]^=(1+2ϵ)pk1

สุดท้ายเงื่อนไขในผลรวมอย่างน้อย ซึ่งเป็นอย่างน้อยPK}) (หลักฐานที่เป็นเช่นเดียวกับ (i) ยกเว้นแทนที่ด้วย และถูกแทนที่ด้วยเช่นนั้น .) QEDϵpk(ϵpk2)Pr[X=^/k]exp(9ϵ2pk)^δδ^^=(1+δ^)pk


มีหลาย [ข้อผิดพลาดในการประมวลผลทางคณิตศาสตร์] s - มีโอกาสที่จะแก้ไขได้หรือไม่
Aryeh

นิพจน์ทางคณิตศาสตร์เหล่านั้นใช้แสดงได้ดี ด้วยเหตุผลบางอย่างคำสั่ง \ select ไม่ทำงานใน mathjax ไม่ใช่ \ binom เช่น$ A \ เลือกข$ให้เลือกข สันนิษฐานว่านี่เป็นข้อผิดพลาดในการกำหนดค่า mathjax หวังว่ามันจะได้รับการแก้ไขในไม่ช้า ขณะเดียวกันเห็นบทแทรก 5.2 ในภาคผนวกของarxiv.org/pdf/cs/0205046v2.pdfหรือcs.ucr.edu/~neal/Klein15Number (ab)
Neal Young

22

Berry-Esseen ทฤษฎีบทสามารถให้ขอบเขตหางน่าจะต่ำกว่าตราบเท่าที่พวกเขาจะสูงกว่า1/2}n1/2

เครื่องมือที่คุณสามารถใช้อีกประการหนึ่งคือความไม่เท่าเทียมกัน Paley-Zygmund มันบอกเป็นนัยว่าสำหรับเลขจำนวนเต็มคู่ใด ๆ , และตัวแปรสุ่มที่มีมูลค่าแท้จริงใด ๆ,kX

Pr[|X|>=12(E[Xk])1/k]E[Xk]24E[X2k]

ร่วมกับทฤษฎีบทพหุนามสำหรับเป็นผลรวมของตัวแปรสุ่ม Rademacher Paley-Zygmund จะได้รับขอบเขตที่ต่ำกว่าที่คุณรักที่แข็งแกร่ง นอกจากนี้ยังใช้งานได้กับตัวแปรสุ่มที่มีขอบเขตอิสระ ตัวอย่างเช่นคุณสามารถได้รับผลรวมของอิสระ 4 ฉลาดตัวแปรสุ่มเป็นมีความน่าจะคงที่Xnn±1Ω(n)


14

ถ้าคุณโอเคกับผลบวกของการทดลองของเบอร์นูลี (และไม่พูดการสุ่มตัวแปรที่มีขอบเขต) ต่อไปนี้จะค่อนข้างแน่น

ความไม่เท่าเทียมของ Slud * Letจะ IID ดึงจาก RV Bernoulli กับและให้จำนวนเต็มจะได้รับ ถ้า (a)และหรือ (b)ดังนั้นที่เป็น cdf ของมาตรฐานทั่วไป{Xi}i=1nE(X1)=pknp1/4npknpkn(1p)

Pr[iXik]1Φ(knpnp(1p)),
Φ

(การจัดการการโต้เถียงกับเป็นการเปลี่ยนมาตรฐานปกติสิ่งนี้เห็นด้วยกับสิ่งที่ CLT บอกคุณจริง ๆ แล้วมันบอกเราว่า Binomials พอใจเงื่อนไขของทฤษฎีบทจะครอง Gaussians ที่สอดคล้องกันบนหาง)Φ

จากที่นี่คุณสามารถใช้ขอบเขตบนเพื่อรับสิ่งที่ดีกว่า ยกตัวอย่างเช่นในหนังสือเล่มแรกของ Feller ในหัวข้อ Gaussians มันจะปรากฏขึ้นสำหรับทุก ๆว่าที่คือความหนาแน่นของมาตรฐานปกติ มีขอบเขตที่คล้ายกันในบทความ Wikipedia สำหรับ "Q-function" เช่นกันΦz>0

z1+z2φ(z)<1Φ(z)<1zφ(z),
φ

นอกเหนือจากนั้นและสิ่งที่คนอื่นพูดคุณสามารถลองใช้ Binomial ได้โดยตรงหรือบางทีอาจใช้สเตอร์ลิงบ้างก็ได้

(*) ข้อความที่ใหม่กว่าของความไม่เสมอภาคของ Slud ออกจากเงื่อนไขเหล่านี้บางอย่าง; ฉันทำซ้ำสิ่งที่อยู่ในกระดาษของ Slud


7

ทฤษฎีบท de Moivre-Laplace แสดงให้เห็นว่าตัวแปรเช่นหลังจากได้รับการทำให้เป็นมาตรฐานอย่างเหมาะสมและภายใต้เงื่อนไขบางประการ ก็เพียงพอแล้วหากคุณต้องการลดขอบเขตคงที่|TS1|

สำหรับขอบเขตที่ต่ำกว่าเช่นคุณต้องใช้เครื่องมือที่ละเอียดกว่านี้เล็กน้อย นี่คือหนึ่งในการอ้างอิงที่ฉันรู้จัก (แต่โดยบังเอิญเท่านั้น - ฉันไม่เคยมีโอกาสใช้ความไม่เท่าเทียมเช่นนี้มาก่อน) บางขอบเขตที่ต่ำกว่าอย่างชัดเจนเกี่ยวกับความน่าจะเป็นหางของการแจกแจงทวินามจะได้รับเป็นทฤษฎีบท 1.5 หนังสือกราฟสุ่มโดยเบลาโบลโลบาส, เคมบริดจ์, พิมพ์ครั้งที่ 2 ที่อ้างอิงต่อไปจะได้รับการแนะนำให้รู้จักกับความน่าจะเป็นและการประยุกต์ใช้โดยการตัดและฐานรากของความน่าจะเป็นโดยRényinc


4

ทฤษฎีบท Littlewood-Offord ไม่ใช่สิ่งที่คุณต้องการ แต่มันให้สิ่งที่ฉันคิดว่าเป็น "reverse Chernoff" ที่ถูกผูกไว้ด้วยการแสดงว่าผลรวมของตัวแปรสุ่มไม่น่าจะตกอยู่ในช่วงเล็ก ๆ ที่มีค่าเฉพาะ (รวมถึง ความคาดหวัง) บางทีมันอาจจะมีประโยชน์

อย่างเป็นทางการทฤษฎีบทมีดังนี้

ทฤษฎีบท Littlewood-Offord ทั่วไป : ให้และเป็นจำนวนจริงเช่นนั้นสำหรับและปล่อยให้เป็นตัวแปรสุ่มแบบอิสระที่มีค่าเป็นศูนย์และหนึ่ง สำหรับสมมติว่าสำหรับทั้งหมด จากนั้นสำหรับ , โดยที่เป็นค่าคงที่ขึ้นอยู่กับเท่านั้นa1,,ans>0|ai|s1inX1,,Xn0<p12pPr[Xi=0]1p1inrR

Pr[ri=1naiXi<r+s]cpn
cpp

3
มันอาจเป็นประโยชน์กับคนอื่น ๆ ที่จะรู้ว่าผลลัพธ์ประเภทนี้เรียกอีกอย่างว่า "ความไม่เท่าเทียมกันของลูกบอลขนาดเล็ก" และ Nguyen และ Vu มีการสำรวจที่ยอดเยี่ยมpeople.math.osu.edu/nguyen.1261/cikk/LO-survey.pdf . มุมมองของฉันที่นี่แตกต่างจากของคุณเล็กน้อย ฉันคิดว่า "reverse Chernoff" ถูกผูกไว้เพื่อให้การประมาณค่าความน่าจะเป็นของลูกบอลขนาดเล็กลดลงประมาณ 0 ฉันคิดว่าความไม่เท่าเทียมกันของลูกบอลขนาดเล็กเป็นเชิงคุณภาพโดยบอกว่าความน่าจะเป็นของลูกบอลขนาดเล็ก ความรู้สึกย้อนกลับ Chernoff ขอบเขตมักจะพิสูจน์ได้ง่ายกว่าอสมการลูกเล็ก
Sasho Nikolov

3

เลขชี้กำลังใน Chernoff มาตรฐานผูกไว้ตามที่ระบุไว้ใน Wikipedia นั้นแน่นสำหรับตัวแปรสุ่มที่มีค่า 0/1 Letและให้เป็นลำดับของตัวแปรสุ่มอิสระเช่นว่าสำหรับแต่ละ ,และ1-P จากนั้นสำหรับ , 0<p<1X1,X2,iPr[Xi=1]=pPr[Xi=0]=1pε>0

2D(p+εp)nn+1Pr[i=1nXi(p+ε)n]2D(p+εp)n.

ที่นี่ซึ่งเป็น Kullback-Leibler divergence ระหว่าง Bernoulli สุ่ม ตัวแปรที่มีพารามิเตอร์และy ที่D(xy)=xlog2(x/y)+(1x)log2((1x)/(1y))xy

ตามที่ได้กล่าวมาขอบเขตบนในความไม่เท่าเทียมกันข้างต้นได้รับการพิสูจน์ใน Wikipedia ( https://en.wikipedia.org/wiki/Chernoff_bound ) ภายใต้ชื่อ "Chernoff-Hoeffding ทฤษฎีบทรูปแบบเพิ่มเติม" ขอบเขตล่างสามารถพิสูจน์ได้โดยใช้เช่น "วิธีการประเภท" ดูเลมม่า II.2 ใน [1] นอกจากนี้ยังครอบคลุมในตำราเรียนคลาสสิกเกี่ยวกับทฤษฎีข้อมูลโดย Cover และ Thomas

[1] Imre Csiszár: วิธีการของประเภท ธุรกรรม IEEE เกี่ยวกับทฤษฎีข้อมูล (1998) http://dx.doi.org/10.1109/18.720546


นอกจากนี้ยังเป็นที่น่าสังเกตว่าและสำหรับกรณีทั่วไปของมันเป็น4) นี้แสดงให้เห็นว่าเมื่อโดยทั่วไปผูกพันคม (และเมื่อสำหรับ ) D(p+δpp)=p22pδ2+O(δ3)p=1/212δ2+O(δ4)δ=O(n1/3)eCδ2δ=O(n1/4)p=1/2
โทมัส Ahle
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.