คำตอบนี้ยังคงกลายพันธุ์ เวอร์ชันปัจจุบันไม่เกี่ยวข้องกับการสนทนาที่ฉันมีกับ @cardinal ในความคิดเห็น (แม้ว่าจะผ่านการสนทนานี้ฉันรู้ว่าโชคดีที่วิธีการปรับสภาพไม่ได้ปรากฏที่ใดก็ได้)
สำหรับความพยายามนี้ฉันจะใช้อีกส่วนหนึ่งของเอกสารต้นฉบับของปี 1963ของHoeffdingได้แก่ ส่วนที่ 5 "ผลรวมของตัวแปรสุ่มขึ้นอยู่กับ"
ตั้งค่า
Wi≡Yi∑ni=1Yi,∑i=1nYi≠0,∑i=1nWi=1,n≥2
ในขณะที่เราตั้งถ้า0Wi=0∑ni=1Yi=0
จากนั้นเราก็มีตัวแปร
Zn=∑i=1nWiXi,E(Zn)≡μn
เราสนใจในความน่าจะเป็น
Pr(Zn≥μn+ϵ),ϵ<1−μn
สำหรับความไม่เท่าเทียมอื่น ๆ อีกมากมาย Hoeffding เริ่มใช้เหตุผลของเขาโดยสังเกตว่า
และนั่น
Pr(Zn≥μn+ϵ)=E[1{Zn−μn−ϵ≥0}]
1{Zn−μn−ϵ≥0}≤exp{h(Zn−μn−ϵ)},h>0
สำหรับกรณีที่ขึ้นอยู่กับตัวแปรตาม Hoeffding เราใช้ความจริงที่ว่าและเรียกใช้ความไม่เท่าเทียมของ Jensen สำหรับฟังก์ชันเลขชี้กำลัง (นูน) เพื่อเขียน∑ni=1Wi=1
ehZn=exp{h(∑i=1nWiXi)}≤∑i=1nWiehXi
และเชื่อมโยงผลลัพธ์เพื่อมาถึง
Pr(Zn≥μn+ϵ)≤e−h(μn+ϵ)E[∑i=1nWiehXi]
มุ่งเน้นไปที่กรณีของเราเนื่องจากและมีความเป็นอิสระค่าที่คาดหวังสามารถแยกออกได้WiXi
Pr(Zn≥μn+ϵ)≤e−h(μn+ϵ)∑i=1nE(Wi)E(ehXi)
ในกรณีของเราคือ iid Bernoullis พร้อมพารามิเตอร์และเป็นฟังก์ชันสร้างช่วงเวลาทั่วไปใน ,ชั่วโมง ดังนั้นXiθE[ehXi]hE[ehXi]=1−θ+θeh
Pr(Zn≥μn+ϵ)≤e−h(μn+ϵ)(1−θ+θeh)∑i=1nE(Wi)
การลด RHS ให้น้อยที่สุดด้วยความเคารพต่อเราจะได้รับh
eh∗=(1−θ)(μn+ϵ)θ(1−μn−ϵ)
เสียบเข้าไปในความไม่เท่าเทียมกันและจัดการที่เราได้รับ
Pr(Zn≥μn+ϵ)≤(θμn+ϵ)μn+ϵ⋅(1−θ1−μn−ϵ)1−μn−ϵ∑i=1nE(Wi)
ในขณะที่
Pr(Zn≥θ+ϵ)≤(θθ+ϵ)θ+ϵ⋅(1−θ1−θ−ϵ)1−θ−ϵ∑i=1nE(Wi)
Hoeffding แสดงให้เห็นว่า
(θθ+ϵ)θ+ϵ⋅(1−θ1−θ−ϵ)1−θ−ϵ≤e−2ϵ2
ความอนุเคราะห์จาก OP (ขอบคุณฉันเหนื่อยเล็กน้อย ... )
∑i=1nE(Wi)=1−1/2n
ดังนั้นในที่สุด "ตัวแปรตามเข้าหา" ทำให้เรา
Pr(Zn≥θ+ϵ)≤(1−12n)e−2ϵ2≡BD
ลองเปรียบเทียบนี้เพื่อผูกพันพระคาร์ดินัลที่อยู่บนพื้นฐานของ "ความเป็นอิสระ" การเปลี่ยนแปลงB_Iเพื่อความมุ่งมั่นของเราที่จะเข้มงวดมากขึ้นเราต้องการBI
BD=(1−12n)e−2ϵ2≤e−nϵ2/2=BI
⇒2n−12n≤exp{(4−n2)ϵ2}
ดังนั้นสำหรับเรามีB_I สำหรับค่อนข้างเร็วแน่นกว่าแต่สำหรับเล็กมากในขณะที่แม้แต่หน้าต่างเล็ก ๆ นี้ก็ยังแปรสภาพเป็นศูนย์ได้อย่างรวดเร็ว ตัวอย่างเช่นสำหรับหากว่ามีความเข้มงวดมากขึ้น ดังนั้นในทุกข้อ จำกัด ของพระคาร์ดินัลจึงมีประโยชน์มากกว่า B D ≤ B I n ≥ 5 B I B D ϵ n = 12 ϵ ≥ 0.008 B In≤4BD≤BIn≥5BIBDϵn=12ϵ≥0.008BI
ความคิดเห็น
เพื่อหลีกเลี่ยงการแสดงผลที่ทำให้เข้าใจผิดเกี่ยวกับกระดาษต้นฉบับของ Hoeffding ฉันต้องพูดถึงว่า Hoeffding ตรวจสอบกรณีของการรวมกันแบบนูนขึ้นกับตัวแปรสุ่ม specificaly เขา 's เป็นตัวเลขไม่ตัวแปรสุ่มขณะที่แต่ละเป็นผลรวมของตัวแปรสุ่มอิสระในขณะที่การพึ่งพาอาจมีอยู่ระหว่าง ' s จากนั้นเขาจะพิจารณา "สถิติ U" ต่างๆที่สามารถแสดงด้วยวิธีนี้X ฉันX ฉันWiXiXi