ย้อนกลับ Chernoff ที่ถูกผูกไว้


31

มีสิ่งที่ตรงกันข้ามกับเชอร์คอฟซึ่งขอบเขตว่าความน่าจะเป็นหางนั้นน้อยมาก

เช่นถ้าเป็นอิสระตัวแปรสุ่มทวินามและx_i] จากนั้นเราสามารถพิสูจน์สำหรับฟังก์ชั่นบางฉX1,X2,…,Xnμ=E[∑i=1nXi]Pr[∑i=1nXi≥(1+δ)μ]≥f(μ,δ,n)f


1
ตัวอย่างของคุณมีการถามมากเกินไป: ด้วยขอบเขต Chernoff มาตรฐานแสดงให้เห็นว่าและ\ Pr [| T \ cap S_2 | \ sqrt {1.1} \ leq n ^ {1/3}]มากที่สุด\ exp (-cn ^ { 1/3})สำหรับบางค p=n−2/3Pr[|T∩S1|≥1.1n1/3]Pr[|T∩S2|1.1≤n1/3]exp⁡(−cn1/3)c
— โคลิน McQuillan

คุณพูดถูกฉันสับสนเกี่ยวกับคำที่อยู่ใน chernoff ที่มีสี่เหลี่ยม ฉันเปลี่ยนคำถามเพื่อสะท้อนความอ่อนแอ ฉันไม่คิดว่ามันจะช่วยฉันในแอปพลิเคชันปัจจุบันของฉัน แต่อาจน่าสนใจด้วยเหตุผลอื่น
— Ashwinkumar BV

คำตอบ:


28

นี่คือข้อพิสูจน์ที่ชัดเจนว่าการยึด Chernoff มาตรฐานนั้นแน่นถึงปัจจัยคงที่ในเลขยกกำลังสำหรับพารามิเตอร์เฉพาะช่วงหนึ่ง (โดยเฉพาะอย่างยิ่งเมื่อใดก็ตามที่ตัวแปรคือ 0 หรือ 1 และ 1 ที่มีความน่าจะเป็น 1/2 หรือน้อยกว่าและϵ∈(0,1/2)และขอบเขตบนของ Chernoff นั้นน้อยกว่าค่าคงที่)

หากคุณพบข้อผิดพลาดโปรดแจ้งให้เราทราบ

บทแทรก 1. (ความรัดกุมของ Chernoff ผูกมัด) ให้Xเป็นค่าเฉลี่ยของkอิสระ, ตัวแปรสุ่ม 0/1 (rv) สำหรับϵ∈(0,1/2]และp∈(0,1/2] , สมมติว่าϵ2pk≥3 ,

(i) ถ้า rv แต่ละอันมีค่าความน่าจะเป็นสูงสุดที่pดังนั้น

Pr[X≤(1−ϵ)p] ≥ exp⁡(−9ϵ2pk).

(ii) ถ้าแต่ละ rv คือ 1 ที่มีความน่าจะเป็นอย่างน้อยpดังนั้น

Pr[X≥(1+ϵ)p] ≥ exp⁡(−9ϵ2pk).

พิสูจน์ เราใช้การสังเกตต่อไปนี้:

การอ้างสิทธิ์ 1.ถ้าดังนั้น 1≤ℓ≤k−1(kℓ) ≥ 1e2πℓ(kℓ)ℓ(kk−ℓ)k−ℓ

หลักฐานการอ้างสิทธิ์ 1. จากการประมาณของ Stirling, โดยที่i!=2πi(i/e)ieλλ∈[1/(12i+1),1/12i].

ดังนั้นซึ่งก็คือ อย่างน้อย QED(kℓ)k!ℓ!(k−ℓ)!

2πk(ke)k2πℓ(ℓe)ℓ  2π(k−ℓ)(k−ℓe)k−ℓexp⁡(112k+1−112ℓ−112(k−ℓ))
 ≥ 12πℓ(kℓ)ℓ(kk−ℓ)k−ℓe−1.

บทพิสูจน์ของบทแทรก 1 (i) โดยไม่สูญเสียของทั่วไปถือว่าแต่ละ 0/1 ตัวแปรสุ่มในผลรวม 1 ที่มีความน่าจะเป็นตรงหน้าหมายเหตุเท่ากับผลรวมและ{}X pPr[X≤(1−ϵ)p]∑i=0⌊(1−ϵ)pk⌋Pr[X=i/k]Pr[X=i/k]=(ki)pi(1−p)k−i

แก้ไข 1 ข้อตกลงในผลรวมเพิ่มขึ้นดังนั้นคำที่มีดัชนี แต่ละรายการจะมีค่าอย่างน้อยดังนั้นผลรวมของพวกเขาจึงมีมูลค่ารวมอย่างน้อย k] เพื่อให้การพิสูจน์สมบูรณ์เราแสดงให้เห็นว่า ℓ=⌊(1−2ϵ)pk⌋+1i≥ℓPr[X=ℓ/k](ϵpk−2)Pr[X=ℓ/k]

(ϵpk−2)Pr[X=ℓ/k] ≥ exp⁡(−9ϵ2pk).

สมมติฐานและ ให้ดังนั้นด้านซ้ายมือด้านบนจึงมีอย่างน้อยell} ใช้การอ้างสิทธิ์ 1 เพื่อผูกมัดนี่จะเป็นอย่างน้อย โดยที่ และ ϵ2pk≥3ϵ≤1/2ϵpk≥623ϵpk(kℓ)pℓ(1−p)k−ℓ(kℓ)ABA=23eϵpk/2πℓB=(kℓ)ℓ(kk−ℓ)k−ℓpℓ(1−p)k−ℓ.

จะเสร็จสิ้นเราจะแสดงและPK)A≥exp⁡(−ϵ2pk)B≥exp⁡(−8ϵ2pk)

อ้างสิทธิ์ 2 A≥exp⁡(−ϵ2pk)

หลักฐานการเรียกร้อง 2. สมมติฐานและ บ่งบอกถึง (i)12ϵ2pk≥3ϵ≤1/2pk≥12

ตามคำนิยาม1 โดย (i),12 ดังนั้น (ii)PKℓ≤pk+1pk≥12ℓ≤1.1pk

แทนด้านขวามือของ (ii) สำหรับในให้ (iii)ปี่}ℓAA≥23eϵpk/2.2π

สมมติฐานหมายถึงซึ่ง (iii) ให้ (iv)0.1ϵ2pk≥3ϵpk≥3A≥23e3/2.2π≥0.1

จากก็ต่อว่า (V)0.04ϵ2pk≥3exp⁡(−ϵ2pk)≤exp⁡(−3)≤0.04

(iv) และ (v) อ้างสิทธิ์ร่วมกัน QED

เรียกร้อง 3. PK})B≥exp⁡(−8ϵ2pk)

หลักฐานการเรียกร้อง 3. แก้ไขดังกล่าวว่า\ ทางเลือกของนัยดังนั้นการเรียกร้องจะถือตราบเท่าที่2PK) การที่แต่ละด้านของความไม่เท่าเทียมกันหลังนี้มีอำนาจและทำให้มันง่ายขึ้นก็เท่ากับ การแทนที่และทำให้มันง่ายขึ้นเทียบเท่ากับ δℓ=(1−δ)pk
ℓδ≤2ϵB≥exp⁡(−2δ2pk)−1/ℓ

ℓpk(k−ℓ(1−p)k)k/ℓ−1 ≤ exp⁡(2δ2pkℓ).
ℓ=(1−δ)pk
(1−δ)(1+δp1−p)1(1−δ)p−1 ≤ exp⁡(2δ21−δ).
การลอการิทึมของทั้งสองฝ่ายและใช้สองครั้งมันจะเก็บตราบเท่าที่ ด้านซ้ายมือด้านบนช่วยให้ซึ่งน้อยกว่าเพราะ . QEDln⁡(1+z)≤z
−δ+δp1−p(1(1−δ)p−1) ≤ 2δ21−δ.
δ2/(1−p)(1−δ)2δ2/(1−δ)p≤1/2

การเรียกร้องที่ 2 และ 3 บ่งบอก2PK}) สิ่งนี้แสดงถึงส่วน (i) ของบทแทรกAB≥exp⁡(−ϵ2pk)exp⁡(−8ϵ2pk)

บทพิสูจน์ของบทแทรก 1 (ii) โดยไม่สูญเสียของทั่วไปถือว่าแต่ละตัวแปรสุ่มคือกับความน่าจะตรงหน้า1p

หมายเหตุk] แก้ไข1Pr[X≥(1+ϵ)p]=∑i=⌈(1−ϵ)pk⌉nPr[X=i/k]ℓ^=⌈(1+2ϵ)pk⌉−1

สุดท้ายเงื่อนไขในผลรวมอย่างน้อย ซึ่งเป็นอย่างน้อยPK}) (หลักฐานที่เป็นเช่นเดียวกับ (i) ยกเว้นแทนที่ด้วย และถูกแทนที่ด้วยเช่นนั้น .) QEDϵpk(ϵpk−2)Pr[X=ℓ^/k]exp⁡(−9ϵ2pk)ℓℓ^δ−δ^ℓ^=(1+δ^)pk


มีหลาย [ข้อผิดพลาดในการประมวลผลทางคณิตศาสตร์] s - มีโอกาสที่จะแก้ไขได้หรือไม่
— Aryeh

นิพจน์ทางคณิตศาสตร์เหล่านั้นใช้แสดงได้ดี ด้วยเหตุผลบางอย่างคำสั่ง \ select ไม่ทำงานใน mathjax ไม่ใช่ \ binom เช่น$ A \ เลือกข$ให้เลือกข สันนิษฐานว่านี่เป็นข้อผิดพลาดในการกำหนดค่า mathjax หวังว่ามันจะได้รับการแก้ไขในไม่ช้า ขณะเดียวกันเห็นบทแทรก 5.2 ในภาคผนวกของarxiv.org/pdf/cs/0205046v2.pdfหรือcs.ucr.edu/~neal/Klein15Number (ab)
— Neal Young

22

Berry-Esseen ทฤษฎีบทสามารถให้ขอบเขตหางน่าจะต่ำกว่าตราบเท่าที่พวกเขาจะสูงกว่า1/2}n−1/2

เครื่องมือที่คุณสามารถใช้อีกประการหนึ่งคือความไม่เท่าเทียมกัน Paley-Zygmund มันบอกเป็นนัยว่าสำหรับเลขจำนวนเต็มคู่ใด ๆ , และตัวแปรสุ่มที่มีมูลค่าแท้จริงใด ๆ,kX

Pr[|X|>=12(E[Xk])1/k]≥E[Xk]24E[X2k]

ร่วมกับทฤษฎีบทพหุนามสำหรับเป็นผลรวมของตัวแปรสุ่ม Rademacher Paley-Zygmund จะได้รับขอบเขตที่ต่ำกว่าที่คุณรักที่แข็งแกร่ง นอกจากนี้ยังใช้งานได้กับตัวแปรสุ่มที่มีขอบเขตอิสระ ตัวอย่างเช่นคุณสามารถได้รับผลรวมของอิสระ 4 ฉลาดตัวแปรสุ่มเป็นมีความน่าจะคงที่Xnn±1Ω(n)


14

ถ้าคุณโอเคกับผลบวกของการทดลองของเบอร์นูลี (และไม่พูดการสุ่มตัวแปรที่มีขอบเขต) ต่อไปนี้จะค่อนข้างแน่น

ความไม่เท่าเทียมของ Slud * Letจะ IID ดึงจาก RV Bernoulli กับและให้จำนวนเต็มจะได้รับ ถ้า (a)และหรือ (b)ดังนั้นที่เป็น cdf ของมาตรฐานทั่วไป{Xi}i=1nE(X1)=pk≤np≤1/4np≤knp≤k≤n(1−p)

Pr[∑iXi≥k]≥1−Φ(k−npnp(1−p)),
Φ

(การจัดการการโต้เถียงกับเป็นการเปลี่ยนมาตรฐานปกติสิ่งนี้เห็นด้วยกับสิ่งที่ CLT บอกคุณจริง ๆ แล้วมันบอกเราว่า Binomials พอใจเงื่อนไขของทฤษฎีบทจะครอง Gaussians ที่สอดคล้องกันบนหาง)Φ

จากที่นี่คุณสามารถใช้ขอบเขตบนเพื่อรับสิ่งที่ดีกว่า ยกตัวอย่างเช่นในหนังสือเล่มแรกของ Feller ในหัวข้อ Gaussians มันจะปรากฏขึ้นสำหรับทุก ๆว่าที่คือความหนาแน่นของมาตรฐานปกติ มีขอบเขตที่คล้ายกันในบทความ Wikipedia สำหรับ "Q-function" เช่นกันΦz>0

z1+z2φ(z)<1−Φ(z)<1zφ(z),
φ

นอกเหนือจากนั้นและสิ่งที่คนอื่นพูดคุณสามารถลองใช้ Binomial ได้โดยตรงหรือบางทีอาจใช้สเตอร์ลิงบ้างก็ได้

(*) ข้อความที่ใหม่กว่าของความไม่เสมอภาคของ Slud ออกจากเงื่อนไขเหล่านี้บางอย่าง; ฉันทำซ้ำสิ่งที่อยู่ในกระดาษของ Slud


7

ทฤษฎีบท de Moivre-Laplace แสดงให้เห็นว่าตัวแปรเช่นหลังจากได้รับการทำให้เป็นมาตรฐานอย่างเหมาะสมและภายใต้เงื่อนไขบางประการ ก็เพียงพอแล้วหากคุณต้องการลดขอบเขตคงที่|T∩S1|

สำหรับขอบเขตที่ต่ำกว่าเช่นคุณต้องใช้เครื่องมือที่ละเอียดกว่านี้เล็กน้อย นี่คือหนึ่งในการอ้างอิงที่ฉันรู้จัก (แต่โดยบังเอิญเท่านั้น - ฉันไม่เคยมีโอกาสใช้ความไม่เท่าเทียมเช่นนี้มาก่อน) บางขอบเขตที่ต่ำกว่าอย่างชัดเจนเกี่ยวกับความน่าจะเป็นหางของการแจกแจงทวินามจะได้รับเป็นทฤษฎีบท 1.5 หนังสือกราฟสุ่มโดยเบลาโบลโลบาส, เคมบริดจ์, พิมพ์ครั้งที่ 2 ที่อ้างอิงต่อไปจะได้รับการแนะนำให้รู้จักกับความน่าจะเป็นและการประยุกต์ใช้โดยการตัดและฐานรากของความน่าจะเป็นโดยRényin−c


4

ทฤษฎีบท Littlewood-Offord ไม่ใช่สิ่งที่คุณต้องการ แต่มันให้สิ่งที่ฉันคิดว่าเป็น "reverse Chernoff" ที่ถูกผูกไว้ด้วยการแสดงว่าผลรวมของตัวแปรสุ่มไม่น่าจะตกอยู่ในช่วงเล็ก ๆ ที่มีค่าเฉพาะ (รวมถึง ความคาดหวัง) บางทีมันอาจจะมีประโยชน์

อย่างเป็นทางการทฤษฎีบทมีดังนี้

ทฤษฎีบท Littlewood-Offord ทั่วไป : ให้และเป็นจำนวนจริงเช่นนั้นสำหรับและปล่อยให้เป็นตัวแปรสุ่มแบบอิสระที่มีค่าเป็นศูนย์และหนึ่ง สำหรับสมมติว่าสำหรับทั้งหมด จากนั้นสำหรับ , โดยที่เป็นค่าคงที่ขึ้นอยู่กับเท่านั้นa1,…,ans>0|ai|≥s1≤i≤nX1,…,Xn0<p≤12p≤Pr[Xi=0]≤1−p1≤i≤nr∈R

Pr[r≤∑i=1naiXi<r+s]≤cpn
cpp

3
มันอาจเป็นประโยชน์กับคนอื่น ๆ ที่จะรู้ว่าผลลัพธ์ประเภทนี้เรียกอีกอย่างว่า "ความไม่เท่าเทียมกันของลูกบอลขนาดเล็ก" และ Nguyen และ Vu มีการสำรวจที่ยอดเยี่ยมpeople.math.osu.edu/nguyen.1261/cikk/LO-survey.pdf . มุมมองของฉันที่นี่แตกต่างจากของคุณเล็กน้อย ฉันคิดว่า "reverse Chernoff" ถูกผูกไว้เพื่อให้การประมาณค่าความน่าจะเป็นของลูกบอลขนาดเล็กลดลงประมาณ 0 ฉันคิดว่าความไม่เท่าเทียมกันของลูกบอลขนาดเล็กเป็นเชิงคุณภาพโดยบอกว่าความน่าจะเป็นของลูกบอลขนาดเล็ก ความรู้สึกย้อนกลับ Chernoff ขอบเขตมักจะพิสูจน์ได้ง่ายกว่าอสมการลูกเล็ก
— Sasho Nikolov

3

เลขชี้กำลังใน Chernoff มาตรฐานผูกไว้ตามที่ระบุไว้ใน Wikipedia นั้นแน่นสำหรับตัวแปรสุ่มที่มีค่า 0/1 Letและให้เป็นลำดับของตัวแปรสุ่มอิสระเช่นว่าสำหรับแต่ละ ,และ1-P จากนั้นสำหรับ , 0<p<1X1,X2,…iPr[Xi=1]=pPr[Xi=0]=1−pε>0

2−D(p+ε‖p)⋅nn+1≤Pr[∑i=1nXi≥(p+ε)n]≤2−D(p+ε‖p)⋅n.

ที่นี่ซึ่งเป็น Kullback-Leibler divergence ระหว่าง Bernoulli สุ่ม ตัวแปรที่มีพารามิเตอร์และy ที่D(x‖y)=xlog2⁡(x/y)+(1−x)log2⁡((1−x)/(1−y))xy

ตามที่ได้กล่าวมาขอบเขตบนในความไม่เท่าเทียมกันข้างต้นได้รับการพิสูจน์ใน Wikipedia ( https://en.wikipedia.org/wiki/Chernoff_bound ) ภายใต้ชื่อ "Chernoff-Hoeffding ทฤษฎีบทรูปแบบเพิ่มเติม" ขอบเขตล่างสามารถพิสูจน์ได้โดยใช้เช่น "วิธีการประเภท" ดูเลมม่า II.2 ใน [1] นอกจากนี้ยังครอบคลุมในตำราเรียนคลาสสิกเกี่ยวกับทฤษฎีข้อมูลโดย Cover และ Thomas

[1] Imre Csiszár: วิธีการของประเภท ธุรกรรม IEEE เกี่ยวกับทฤษฎีข้อมูล (1998) http://dx.doi.org/10.1109/18.720546


นอกจากนี้ยังเป็นที่น่าสังเกตว่าและสำหรับกรณีทั่วไปของมันเป็น4) นี้แสดงให้เห็นว่าเมื่อโดยทั่วไปผูกพันคม (และเมื่อสำหรับ ) D(p+δp‖p)=p2−2pδ2+O(δ3)p=1/212δ2+O(δ4)δ=O(n−1/3)e−Cδ2δ=O(n−1/4)p=1/2
— โทมัส Ahle
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.