ขอบบนเอ็กซ์โพเนนเชียล


12

สมมติว่าเรามี IID ตัวแปรสุ่มที่มีการกระจายtheta) เราจะสังเกตตัวอย่างของในวิธีต่อไปนี้ให้เป็นอิสระตัวแปรสุ่มสมมติว่าและของ มีความเป็นอิสระและกำหนดขนาดของกลุ่มตัวอย่างY_i 's ระบุของ ' s อยู่ในตัวอย่างและเราต้องการที่จะศึกษาส่วนของความสำเร็จในตัวอย่างที่กำหนดโดย X1,,XnBer(θ)XiY1,,YnBer(1/2)XiYiN=i=1nYiYiXi

Z={1Ni=1nXiYiifN>0,0ifN=0.
สำหรับ , เราต้องการที่จะหาที่ถูกผูกไว้บนสำหรับที่สูญสลายชี้แจงกับnความไม่เสมอภาคของ Hoeffding ไม่ได้ใช้งานได้ทันทีเนื่องจากการพึ่งพาระหว่างตัวแปรϵ>0Pr(Zθ+ϵ)n

1
ให้X_iY_i (i)ไม่ขึ้นกับหรือไม่? (ii) ไม่ใช่ ? ... ดังนั้นมันไม่ชัดเจนสำหรับฉันที่ไม่ใช่ 'ผลรวมของตัวแปรสุ่มอิสระ'Zi=1NXiYiZiZjiZ=ZiZ
Glen_b

อ่าจุดดี ฉันคิดเกี่ยวกับมากกว่าNแต่คุณเขียนแล้วให้ ? นั่นคือผลรวมของทุกกรณีไม่ว่าจะเท่ากับ 1 หรือ 0 ... ไม่นั่นไม่ได้ผล ตัวเศษเหมือนกัน แต่ตัวส่วนนั้นแตกต่างกัน N Z i = 1nNZ= n i = 1 ZIYZi=1nXiYiZ=i=1nZiY
Glen_b -Reinstate Monica

นั่นให้น้อยกว่าส่วนของความสำเร็จในตัวอย่างซึ่งเป็นปริมาณความสนใจในปัญหาเพราะตั้งแต่n N n(1/n)i=1nXiYi(1/N)i=1nXiYiNn
Zen

1
ใช่นั่นเป็นเหตุผลที่ฉันลงเอยด้วย "ไม่ว่าจะไม่ทำงาน" มีความไม่เท่าเทียมกันที่นำไปใช้กับกรณีที่ไม่เป็นอิสระเช่นความไม่เท่าเทียมบางอย่างของเบิร์นสไตน์ (ดูรายการที่สี่) และมีจำนวนของความไม่เท่าเทียมกันที่นำไปใช้กับ martingales (แม้ว่าฉันไม่รู้ว่าสิ่งเหล่านั้นจะใช้ที่นี่)
Glen_b -Reinstate Monica

1
ฉันจะดูและพยายามค้นหาการเชื่อมต่อกับผลลัพธ์ของ martingales ขอบเขตของนั้นง่ายมาก ( ) ว่ามันเป็นการดึงดูดที่จะเชื่อมต่อสิ่งนี้กับโดยใช้การปรับสภาพบางอย่าง P R ( U θ / 2 + ε ) ประสบการณ์( - 2 n ε 2 ) ZU=(1/n)i=1nXiYiPr(Uθ/2+ϵ)exp(2nϵ2)Z
Zen

คำตอบ:


16

เราสามารถวาดการเชื่อมต่อกับความไม่เท่าเทียมกัน Hoeffding ในทางธรรมโดยตรง

โปรดทราบว่าเรามี

{Z>θ+ϵ}={iXiYi>(θ+ϵ)iYi}={i(Xiθϵ)Yi>0}.

ตั้งเพื่อให้เป็น iid,และ โดยการประยุกต์ใช้ความไม่เท่าเทียมกันของ Hoeffding (ตั้งแต่และรับค่าในช่วงเวลาหนึ่งขนาด)Z ฉันE Z ฉัน = 0 P ( Z > θ + ϵ ) = P ( ฉัน Z ฉัน > n ϵ / 2 )e - n ϵ 2 / 2Zi=(Xiθϵ)Yi+ϵ/2ZiEZi=0Z ฉัน[ - θ - ϵ / 2 , 1 - θ - ϵ / 2 ]

P(Z>θ+ϵ)=P(iZi>nϵ/2)enϵ2/2,
Zi[θϵ/2,1θϵ/2]

มีวรรณกรรมที่เกี่ยวข้องและน่าสนใจมากมายที่สร้างขึ้นในช่วงหลายปีที่ผ่านมาโดยเฉพาะอย่างยิ่งในหัวข้อที่เกี่ยวข้องกับทฤษฎีเมทริกซ์แบบสุ่มกับการใช้งานที่หลากหลาย หากคุณสนใจสิ่งนี้ฉันขอแนะนำ:

R. Vershynin, การแนะนำเบื้องต้นเกี่ยวกับการวิเคราะห์แบบไม่ใช้ซีมโทติคของเมทริกซ์แบบสุ่ม , บทที่ 5 ของการตรวจวัดแบบบีบอัด, ทฤษฎีและการใช้งาน แก้ไขโดย Y. Eldar และ G. Kutyniok สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์, 2555

ฉันคิดว่างานนิทรรศการมีความชัดเจนและเป็นวิธีที่ดีมากในการปรับตัวให้เข้ากับวรรณกรรมได้อย่างรวดเร็ว


1
เนื่องจากรวมในคำจำกัดความของพวกเขาฉันมีความประทับใจที่ (ขอบเขตไม่เปลี่ยนแปลง) ϵ / 2 Z i[ - θ - ϵ / 2 , 1 - θ - ϵ / 2 ]Ziϵ/2Zi[θϵ/2,1θϵ/2]
Alecos Papadopoulos

1
เรียน @Zen: โปรดทราบว่าการบัญชีอย่างรอบคอบของเคสจะช่วยให้คุณสามารถแทนที่ความไม่เท่าเทียมที่เข้มงวดโดยทุกที่โดยไม่ต้องเปลี่ยนขอบเขตสุดท้าย > N=0>
พระคาร์ดินัล

เรียน @ cardinal: ฉันได้สร้างข้อความใหม่เพราะจริงๆแล้วเป็นตัวประมาณค่าเล็กน้อยของเนื่องจาก(1-1 ZθE[Z]=E[I{N=0}Z]+E[I{N>0}Z]=(11/2n)θ
Zen

6

รายละเอียดในการดูแลของกรณี N=0

{Zθ+ϵ}=({Zθ+ϵ}{N=0})({Zθ+ϵ}{N>0})=({0θ+ϵ}{N=0})({Zθ+ϵ}{N>0})=({N=0})({Zθ+ϵ}{N>0})={i=1nXiYi(θ+ϵ)i=1nYi}{N>0}{i=1nXiYi(θ+ϵ)i=1nYi}={i=1n(Xiθϵ)Yi0}={i=1n((Xiθϵ)Yi+ϵ/2)nϵ/2}.

สำหรับ Alecos

E[i=1nWi]=E[I{i=1nYi=0}i=1nWi]+E[I{i=1nYi>0}i=1nWi]=E[I{i=1nYi>0}i=1nYii=1nYi]=E[I{i=1nYi>0}]=11/2n.

5

คำตอบนี้ยังคงกลายพันธุ์ เวอร์ชันปัจจุบันไม่เกี่ยวข้องกับการสนทนาที่ฉันมีกับ @cardinal ในความคิดเห็น (แม้ว่าจะผ่านการสนทนานี้ฉันรู้ว่าโชคดีที่วิธีการปรับสภาพไม่ได้ปรากฏที่ใดก็ได้)

สำหรับความพยายามนี้ฉันจะใช้อีกส่วนหนึ่งของเอกสารต้นฉบับของปี 1963ของHoeffdingได้แก่ ส่วนที่ 5 "ผลรวมของตัวแปรสุ่มขึ้นอยู่กับ"

ตั้งค่า

WiYii=1nYi,i=1nYi0,i=1nWi=1,n2

ในขณะที่เราตั้งถ้า0Wi=0i=1nYi=0

จากนั้นเราก็มีตัวแปร

Zn=i=1nWiXi,E(Zn)μn

เราสนใจในความน่าจะเป็น

Pr(Znμn+ϵ),ϵ<1μn

สำหรับความไม่เท่าเทียมอื่น ๆ อีกมากมาย Hoeffding เริ่มใช้เหตุผลของเขาโดยสังเกตว่า และนั่น

Pr(Znμn+ϵ)=E[1{Znμnϵ0}]

1{Znμnϵ0}exp{h(Znμnϵ)},h>0

สำหรับกรณีที่ขึ้นอยู่กับตัวแปรตาม Hoeffding เราใช้ความจริงที่ว่าและเรียกใช้ความไม่เท่าเทียมของ Jensen สำหรับฟังก์ชันเลขชี้กำลัง (นูน) เพื่อเขียนi=1nWi=1

ehZn=exp{h(i=1nWiXi)}i=1nWiehXi

และเชื่อมโยงผลลัพธ์เพื่อมาถึง

Pr(Znμn+ϵ)eh(μn+ϵ)E[i=1nWiehXi]

มุ่งเน้นไปที่กรณีของเราเนื่องจากและมีความเป็นอิสระค่าที่คาดหวังสามารถแยกออกได้WiXi

Pr(Znμn+ϵ)eh(μn+ϵ)i=1nE(Wi)E(ehXi)

ในกรณีของเราคือ iid Bernoullis พร้อมพารามิเตอร์และเป็นฟังก์ชันสร้างช่วงเวลาทั่วไปใน ,ชั่วโมง ดังนั้นXiθE[ehXi]hE[ehXi]=1θ+θeh

Pr(Znμn+ϵ)eh(μn+ϵ)(1θ+θeh)i=1nE(Wi)

การลด RHS ให้น้อยที่สุดด้วยความเคารพต่อเราจะได้รับh

eh=(1θ)(μn+ϵ)θ(1μnϵ)

เสียบเข้าไปในความไม่เท่าเทียมกันและจัดการที่เราได้รับ

Pr(Znμn+ϵ)(θμn+ϵ)μn+ϵ(1θ1μnϵ)1μnϵi=1nE(Wi)

ในขณะที่

Pr(Znθ+ϵ)(θθ+ϵ)θ+ϵ(1θ1θϵ)1θϵi=1nE(Wi)

Hoeffding แสดงให้เห็นว่า

(θθ+ϵ)θ+ϵ(1θ1θϵ)1θϵe2ϵ2

ความอนุเคราะห์จาก OP (ขอบคุณฉันเหนื่อยเล็กน้อย ... )

i=1nE(Wi)=11/2n

ดังนั้นในที่สุด "ตัวแปรตามเข้าหา" ทำให้เรา

Pr(Znθ+ϵ)(112n)e2ϵ2BD

ลองเปรียบเทียบนี้เพื่อผูกพันพระคาร์ดินัลที่อยู่บนพื้นฐานของ "ความเป็นอิสระ" การเปลี่ยนแปลงB_Iเพื่อความมุ่งมั่นของเราที่จะเข้มงวดมากขึ้นเราต้องการBI

BD=(112n)e2ϵ2enϵ2/2=BI

2n12nexp{(4n2)ϵ2}

ดังนั้นสำหรับเรามีB_I สำหรับค่อนข้างเร็วแน่นกว่าแต่สำหรับเล็กมากในขณะที่แม้แต่หน้าต่างเล็ก ๆ นี้ก็ยังแปรสภาพเป็นศูนย์ได้อย่างรวดเร็ว ตัวอย่างเช่นสำหรับหากว่ามีความเข้มงวดมากขึ้น ดังนั้นในทุกข้อ จำกัด ของพระคาร์ดินัลจึงมีประโยชน์มากกว่า B DB I n 5 B I B D ϵ n = 12 ϵ 0.008 B In4BDBIn5BIBDϵn=12ϵ0.008BI

ความคิดเห็น
เพื่อหลีกเลี่ยงการแสดงผลที่ทำให้เข้าใจผิดเกี่ยวกับกระดาษต้นฉบับของ Hoeffding ฉันต้องพูดถึงว่า Hoeffding ตรวจสอบกรณีของการรวมกันแบบนูนขึ้นกับตัวแปรสุ่ม specificaly เขา 's เป็นตัวเลขไม่ตัวแปรสุ่มขณะที่แต่ละเป็นผลรวมของตัวแปรสุ่มอิสระในขณะที่การพึ่งพาอาจมีอยู่ระหว่าง ' s จากนั้นเขาจะพิจารณา "สถิติ U" ต่างๆที่สามารถแสดงด้วยวิธีนี้X ฉันX ฉันWiXiXi


Alecos: (ดูที่มาของคำตอบของฉัน) ขอบเขตของคุณจะไม่สลายตัวแบบเอกซ์โปเนนเชียลโดยมีตามที่คาร์ดินัลทำ nE[W1]=(11/2n)/nn
Zen

@Zen อันที่จริง (ในความเป็นจริงมันจะเพิ่มขึ้นตามขนาดตัวอย่างแม้ว่าจะถูก จำกัด ขอบเขต) นั่นเป็นสาเหตุที่ขอบเขตของ Cardinal นั้นมีประโยชน์มากกว่าสำหรับขนาดตัวอย่างส่วนใหญ่
Alecos Papadopoulos
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.