มีสิ่งที่ตรงกันข้ามกับเชอร์คอฟซึ่งขอบเขตว่าความน่าจะเป็นหางนั้นน้อยมาก
เช่นถ้าเป็นอิสระตัวแปรสุ่มทวินามและx_i] จากนั้นเราสามารถพิสูจน์สำหรับฟังก์ชั่นบางฉ
มีสิ่งที่ตรงกันข้ามกับเชอร์คอฟซึ่งขอบเขตว่าความน่าจะเป็นหางนั้นน้อยมาก
เช่นถ้าเป็นอิสระตัวแปรสุ่มทวินามและx_i] จากนั้นเราสามารถพิสูจน์สำหรับฟังก์ชั่นบางฉ
คำตอบ:
นี่คือข้อพิสูจน์ที่ชัดเจนว่าการยึด Chernoff มาตรฐานนั้นแน่นถึงปัจจัยคงที่ในเลขยกกำลังสำหรับพารามิเตอร์เฉพาะช่วงหนึ่ง (โดยเฉพาะอย่างยิ่งเมื่อใดก็ตามที่ตัวแปรคือ 0 หรือ 1 และ 1 ที่มีความน่าจะเป็น 1/2 หรือน้อยกว่าและและขอบเขตบนของ Chernoff นั้นน้อยกว่าค่าคงที่)
หากคุณพบข้อผิดพลาดโปรดแจ้งให้เราทราบ
บทแทรก 1. (ความรัดกุมของ Chernoff ผูกมัด) ให้เป็นค่าเฉลี่ยของอิสระ, ตัวแปรสุ่ม 0/1 (rv) สำหรับและ , สมมติว่า ,
(i) ถ้า rv แต่ละอันมีค่าความน่าจะเป็นสูงสุดที่ดังนั้น
(ii) ถ้าแต่ละ rv คือ 1 ที่มีความน่าจะเป็นอย่างน้อยดังนั้น
พิสูจน์ เราใช้การสังเกตต่อไปนี้:
การอ้างสิทธิ์ 1.ถ้าดังนั้น
หลักฐานการอ้างสิทธิ์ 1. จากการประมาณของ Stirling, โดยที่
ดังนั้นซึ่งก็คือ อย่างน้อย QED
บทพิสูจน์ของบทแทรก 1 (i) โดยไม่สูญเสียของทั่วไปถือว่าแต่ละ 0/1 ตัวแปรสุ่มในผลรวม 1 ที่มีความน่าจะเป็นตรงหน้าหมายเหตุเท่ากับผลรวมและ{}
แก้ไข 1 ข้อตกลงในผลรวมเพิ่มขึ้นดังนั้นคำที่มีดัชนี แต่ละรายการจะมีค่าอย่างน้อยดังนั้นผลรวมของพวกเขาจึงมีมูลค่ารวมอย่างน้อย k] เพื่อให้การพิสูจน์สมบูรณ์เราแสดงให้เห็นว่า
สมมติฐานและ ให้ดังนั้นด้านซ้ายมือด้านบนจึงมีอย่างน้อยell} ใช้การอ้างสิทธิ์ 1 เพื่อผูกมัดนี่จะเป็นอย่างน้อย โดยที่ และ
จะเสร็จสิ้นเราจะแสดงและPK)
อ้างสิทธิ์ 2
หลักฐานการเรียกร้อง 2. สมมติฐานและ บ่งบอกถึง (i)12
ตามคำนิยาม1 โดย (i),12 ดังนั้น (ii)PK
แทนด้านขวามือของ (ii) สำหรับในให้ (iii)ปี่}
สมมติฐานหมายถึงซึ่ง (iii) ให้ (iv)0.1
จากก็ต่อว่า (V)0.04
(iv) และ (v) อ้างสิทธิ์ร่วมกัน QED
เรียกร้อง 3. PK})
หลักฐานการเรียกร้อง 3.
แก้ไขดังกล่าวว่า\
ทางเลือกของนัยดังนั้นการเรียกร้องจะถือตราบเท่าที่2PK) การที่แต่ละด้านของความไม่เท่าเทียมกันหลังนี้มีอำนาจและทำให้มันง่ายขึ้นก็เท่ากับ
การแทนที่และทำให้มันง่ายขึ้นเทียบเท่ากับ
การเรียกร้องที่ 2 และ 3 บ่งบอก2PK}) สิ่งนี้แสดงถึงส่วน (i) ของบทแทรก
บทพิสูจน์ของบทแทรก 1 (ii) โดยไม่สูญเสียของทั่วไปถือว่าแต่ละตัวแปรสุ่มคือกับความน่าจะตรงหน้า
หมายเหตุk] แก้ไข1
สุดท้ายเงื่อนไขในผลรวมอย่างน้อย ซึ่งเป็นอย่างน้อยPK}) (หลักฐานที่เป็นเช่นเดียวกับ (i) ยกเว้นแทนที่ด้วย และถูกแทนที่ด้วยเช่นนั้น .) QED
Berry-Esseen ทฤษฎีบทสามารถให้ขอบเขตหางน่าจะต่ำกว่าตราบเท่าที่พวกเขาจะสูงกว่า1/2}
เครื่องมือที่คุณสามารถใช้อีกประการหนึ่งคือความไม่เท่าเทียมกัน Paley-Zygmund มันบอกเป็นนัยว่าสำหรับเลขจำนวนเต็มคู่ใด ๆ , และตัวแปรสุ่มที่มีมูลค่าแท้จริงใด ๆ,
ร่วมกับทฤษฎีบทพหุนามสำหรับเป็นผลรวมของตัวแปรสุ่ม Rademacher Paley-Zygmund จะได้รับขอบเขตที่ต่ำกว่าที่คุณรักที่แข็งแกร่ง นอกจากนี้ยังใช้งานได้กับตัวแปรสุ่มที่มีขอบเขตอิสระ ตัวอย่างเช่นคุณสามารถได้รับผลรวมของอิสระ 4 ฉลาดตัวแปรสุ่มเป็นมีความน่าจะคงที่
ถ้าคุณโอเคกับผลบวกของการทดลองของเบอร์นูลี (และไม่พูดการสุ่มตัวแปรที่มีขอบเขต) ต่อไปนี้จะค่อนข้างแน่น
ความไม่เท่าเทียมของ Slud * Letจะ IID ดึงจาก RV Bernoulli กับและให้จำนวนเต็มจะได้รับ ถ้า (a)และหรือ (b)ดังนั้นที่เป็น cdf ของมาตรฐานทั่วไป
(การจัดการการโต้เถียงกับเป็นการเปลี่ยนมาตรฐานปกติสิ่งนี้เห็นด้วยกับสิ่งที่ CLT บอกคุณจริง ๆ แล้วมันบอกเราว่า Binomials พอใจเงื่อนไขของทฤษฎีบทจะครอง Gaussians ที่สอดคล้องกันบนหาง)
จากที่นี่คุณสามารถใช้ขอบเขตบนเพื่อรับสิ่งที่ดีกว่า ยกตัวอย่างเช่นในหนังสือเล่มแรกของ Feller ในหัวข้อ Gaussians มันจะปรากฏขึ้นสำหรับทุก ๆว่าที่คือความหนาแน่นของมาตรฐานปกติ มีขอบเขตที่คล้ายกันในบทความ Wikipedia สำหรับ "Q-function" เช่นกัน
นอกเหนือจากนั้นและสิ่งที่คนอื่นพูดคุณสามารถลองใช้ Binomial ได้โดยตรงหรือบางทีอาจใช้สเตอร์ลิงบ้างก็ได้
(*) ข้อความที่ใหม่กว่าของความไม่เสมอภาคของ Slud ออกจากเงื่อนไขเหล่านี้บางอย่าง; ฉันทำซ้ำสิ่งที่อยู่ในกระดาษของ Slud
ทฤษฎีบท de Moivre-Laplace แสดงให้เห็นว่าตัวแปรเช่นหลังจากได้รับการทำให้เป็นมาตรฐานอย่างเหมาะสมและภายใต้เงื่อนไขบางประการ ก็เพียงพอแล้วหากคุณต้องการลดขอบเขตคงที่
สำหรับขอบเขตที่ต่ำกว่าเช่นคุณต้องใช้เครื่องมือที่ละเอียดกว่านี้เล็กน้อย นี่คือหนึ่งในการอ้างอิงที่ฉันรู้จัก (แต่โดยบังเอิญเท่านั้น - ฉันไม่เคยมีโอกาสใช้ความไม่เท่าเทียมเช่นนี้มาก่อน) บางขอบเขตที่ต่ำกว่าอย่างชัดเจนเกี่ยวกับความน่าจะเป็นหางของการแจกแจงทวินามจะได้รับเป็นทฤษฎีบท 1.5 หนังสือกราฟสุ่มโดยเบลาโบลโลบาส, เคมบริดจ์, พิมพ์ครั้งที่ 2 ที่อ้างอิงต่อไปจะได้รับการแนะนำให้รู้จักกับความน่าจะเป็นและการประยุกต์ใช้โดยการตัดและฐานรากของความน่าจะเป็นโดยRényi
ทฤษฎีบท Littlewood-Offord ไม่ใช่สิ่งที่คุณต้องการ แต่มันให้สิ่งที่ฉันคิดว่าเป็น "reverse Chernoff" ที่ถูกผูกไว้ด้วยการแสดงว่าผลรวมของตัวแปรสุ่มไม่น่าจะตกอยู่ในช่วงเล็ก ๆ ที่มีค่าเฉพาะ (รวมถึง ความคาดหวัง) บางทีมันอาจจะมีประโยชน์
อย่างเป็นทางการทฤษฎีบทมีดังนี้
ทฤษฎีบท Littlewood-Offord ทั่วไป : ให้และเป็นจำนวนจริงเช่นนั้นสำหรับและปล่อยให้เป็นตัวแปรสุ่มแบบอิสระที่มีค่าเป็นศูนย์และหนึ่ง สำหรับสมมติว่าสำหรับทั้งหมด จากนั้นสำหรับ , โดยที่เป็นค่าคงที่ขึ้นอยู่กับเท่านั้น
เลขชี้กำลังใน Chernoff มาตรฐานผูกไว้ตามที่ระบุไว้ใน Wikipedia นั้นแน่นสำหรับตัวแปรสุ่มที่มีค่า 0/1 Letและให้เป็นลำดับของตัวแปรสุ่มอิสระเช่นว่าสำหรับแต่ละ ,และ1-P จากนั้นสำหรับ ,
ที่นี่ซึ่งเป็น Kullback-Leibler divergence ระหว่าง Bernoulli สุ่ม ตัวแปรที่มีพารามิเตอร์และy ที่
ตามที่ได้กล่าวมาขอบเขตบนในความไม่เท่าเทียมกันข้างต้นได้รับการพิสูจน์ใน Wikipedia ( https://en.wikipedia.org/wiki/Chernoff_bound ) ภายใต้ชื่อ "Chernoff-Hoeffding ทฤษฎีบทรูปแบบเพิ่มเติม" ขอบเขตล่างสามารถพิสูจน์ได้โดยใช้เช่น "วิธีการประเภท" ดูเลมม่า II.2 ใน [1] นอกจากนี้ยังครอบคลุมในตำราเรียนคลาสสิกเกี่ยวกับทฤษฎีข้อมูลโดย Cover และ Thomas
[1] Imre Csiszár: วิธีการของประเภท ธุรกรรม IEEE เกี่ยวกับทฤษฎีข้อมูล (1998) http://dx.doi.org/10.1109/18.720546