ความสอดคล้องเชิงเส้นกำกับที่มีความแปรปรวนเชิงเส้นกำกับที่ไม่ใช่ศูนย์ - มันแสดงถึงอะไร?

ปัญหาเกิดขึ้นก่อนหน้านี้ แต่ฉันต้องการถามคำถามเฉพาะที่จะพยายามล้วงเอาคำตอบที่จะทำให้ชัดเจน (และจำแนก):

ใน "Asymptotics ของคนจน" คนหนึ่งรักษาความแตกต่างที่ชัดเจนระหว่าง

• (a)ลำดับของตัวแปรสุ่มที่รวมความน่าจะเป็นเป็นค่าคงที่

ตรงกันข้ามกับ

• (b)ลำดับของตัวแปรสุ่มที่รวมความน่าจะเป็นเข้ากับตัวแปรสุ่ม

แต่ใน "Asymptotics ของ Wise Man" เราสามารถมีกรณีของ

• (c)ลำดับของตัวแปรสุ่มที่รวมความน่าจะเป็นเป็นค่าคงที่ในขณะที่รักษาความแปรปรวนที่ไม่ใช่ศูนย์ที่ขีด จำกัด

คำถามของฉันคือ (ขโมยจากคำตอบเชิงสำรวจของฉันเองด้านล่าง):

เราจะเข้าใจตัวประมาณที่สอดคล้องกันเชิงเส้นกำกับ แต่ก็มีความแปรปรวนที่ไม่ใช่ศูนย์และ จำกัด ได้อย่างไร ความแปรปรวนนี้สะท้อนถึงอะไร? พฤติกรรมของมันแตกต่างจากตัวประมาณ "ปกติ" ที่สอดคล้องกันอย่างไร

หัวข้อที่เกี่ยวข้องกับปรากฏการณ์ที่อธิบายไว้ใน (c) (ดูในความคิดเห็นด้วย):

• ความแตกต่างระหว่างตัวประมาณที่สอดคล้องกันและตัวประมาณที่ไม่เอนเอียงคืออะไร?

• /stats/120553/convergence-of-an-estimator-with-infinite-variance

• ทำไมตัวประมาณที่ไม่สอดคล้องกันแบบเชิงเส้นกำกับจึงไม่มีความแปรปรวนที่ไม่มีที่สิ้นสุด

• เกือบแน่ใจว่าการลู่เข้าและการแปรปรวนที่ จำกัด ไปที่ศูนย์

ฉันจะไม่ให้คำตอบที่น่าพอใจสำหรับคำถามของคุณเพราะดูเหมือนว่าฉันจะเปิดกว้างเกินไป แต่ขอให้ฉันลองอธิบายเกี่ยวกับสาเหตุที่คำถามนี้เป็นคำถามที่ยาก

ฉันคิดว่าคุณกำลังดิ้นรนกับความจริงที่ว่าทอพอโลยีแบบดั้งเดิมที่เราใช้กับการแจกแจงความน่าจะเป็นและตัวแปรสุ่มนั้นไม่ดี ฉันได้เขียนสิ่งที่ยิ่งใหญ่เกี่ยวกับสิ่งนี้ในบล็อกของฉันแต่ให้ฉันพยายามสรุป: คุณสามารถมาบรรจบกันในความรู้สึกที่อ่อนแอ (และความแปรปรวนรวม) ในขณะที่ละเมิดสมมติฐานทั่วไปเกี่ยวกับการบรรจบกัน

ตัวอย่างเช่นคุณสามารถมาบรรจบกันในโทโพโลยีที่อ่อนแอไปยังค่าคงที่ในขณะที่มีความแปรปรวน = 1 (ซึ่งเป็นสิ่งที่Z nของคุณ$Z_n$ลำดับกำลังทำอยู่) จากนั้นจะมีการแจกแจง จำกัด (ในทอพอโลยีที่อ่อนแอ) นั่นคือตัวแปรสุ่มที่เลวร้ายนี้ซึ่งส่วนใหญ่เท่ากับ 0 แต่ infinitesimally ไม่ค่อยเท่ากับอินฟินิตี้

โดยส่วนตัวผมใช้สิ่งนี้เพื่อแสดงให้เห็นว่าโครงสร้างที่อ่อนแอ (และโทโพโลยีการเปลี่ยนแปลงรวมเกินไป) เป็นแนวคิดที่ไม่ดีของการบรรจบที่ควรทิ้ง คอนเวอร์เจนซ์ส่วนใหญ่ที่เราใช้จริงนั้นแข็งแกร่งกว่านั้น อย่างไรก็ตามฉันไม่รู้จริง ๆ ว่าเราควรใช้อะไรแทนที่จะเป็นโทโพโลยีที่อ่อนแอเช่นนี้ ...

ถ้าคุณอยากจะพบความแตกต่างที่สำคัญระหว่างθ = ˉ X + Z nและ~ θ = ˉ Xที่นี่เป็นเวลาของฉัน: ทั้งสองประมาณเทียบเท่าสำหรับ [0,1] -loss (เมื่อขนาดของความผิดพลาดของคุณ ไม่สำคัญ) อย่างไรก็ตาม~ θจะดีกว่ามากถ้าขนาดของความผิดพลาดของคุณสำคัญเพราะθบางครั้งล้มเหลวย่อยยับ$\hat \theta= \bar X+Z_n$$\tilde \theta=\bar X$$\tilde \theta$$\hat \theta$

27-10-2014:น่าเสียดาย (สำหรับฉันนั่นคือ) ไม่มีใครมีคำตอบที่นี่ - บางทีอาจเป็นเพราะมันดูเหมือนแปลกประเด็นทางทฤษฎี "พยาธิวิทยา" และไม่มีอะไรเพิ่มเติม?

ดีที่จะพูดถึงความคิดเห็นสำหรับผู้ใช้ที่สำคัญ (ซึ่งฉันจะสำรวจในภายหลัง)

"นี่เป็นเรื่องเหลวไหลที่ยอมรับ แต่ง่ายตัวอย่างเช่นความคิดที่จะแสดงให้เห็นว่าสิ่งที่สามารถไปผิดและทำไม.. มันไม่ได้มีการใช้งานจริง (เน้นของฉัน) ตัวอย่าง:. พิจารณารูปแบบ IID ทั่วไปที่มีช่วงเวลาที่สองแน่นอนอนุญาต. θ n = ˉ X n + Z nที่Z nเป็นอิสระจาก ˉ X n θ$\hat θ_n=\bar X_n+Z_n$$Z_n$$\bar X_n$และแต่ละคนมีความน่าจะเป็น1 / n 2และเป็นศูนย์อื่นด้วย> 0พล. แล้ว$Z_n=\pm an$$1/n^2$$a>0$เป็นที่เป็นกลางมีความแปรปรวนทางทิศด้านล่างโดย 2และ θ n →การμเกือบแน่นอน (มันสอดคล้องอย่างยิ่ง) ฉันออกไปออกกำลังกายในกรณีที่เกี่ยวกับอคติ " $\hat θ_n$$a^2$$\hat θ_n→\mu$

ตัวแปรสุ่มที่ไม่ฝักใฝ่ฝ่ายใดนี่คือดังนั้นเรามาดูสิ่งที่เราสามารถพูดเกี่ยวกับมัน ตัวแปรที่มีการสนับสนุน{ - n , 0 , n }กับความน่าจะเป็นที่สอดคล้องกัน{ 1 $Z_n$
$\{-an,0,an\}$ } มันสมมาตรประมาณศูนย์ดังนั้นเรามี$\{1/n^2,1-2/n^2,1/n^2\}$

$$E(Z_n) = 0,\;\; \text{Var}(Z_n) = \frac {(-an)^2}{n^2} + 0 + \frac {(an)^2}{n^2} = 2a^2$$

ช่วงเวลาเหล่านี้ไม่ได้ขึ้นอยู่กับดังนั้นฉันเดาว่าเราได้รับอนุญาตให้เขียนเล็กน้อย$n$

$$\lim_{n\rightarrow \infty} E(Z_n) = 0,\;\;\lim_{n\rightarrow \infty}\text{Var}(Z_n) = 2a^2$$

ใน Asymptotics ของ Poor Man เรารู้ว่ามีเงื่อนไขสำหรับขอบเขตของช่วงเวลาที่จะเท่ากับช่วงเวลาของการกระจายที่ จำกัด หากช่วงเวลา -th ของการกระจายตัวเคส จำกัด มาเป็นค่าคงที่ (ดังเช่นกรณีของเรา) จากนั้นถ้ายิ่งกว่านั้น$r$

$$\exists \delta >0 :\lim \sup E(|Z_n|^{r+\delta}) < \infty$$

ขีด จำกัด ของโมเมนต์ -th จะเป็นโมเมนต์r -th ของการแจกแจง จำกัด ในกรณีของเรา$r$$r$

$$E(|Z_n|^{r+\delta}) = \frac {|-an|^{r+\delta}}{n^2} + 0 + \frac {|an|^{r+\delta}}{n^2} = 2a^{r+\delta}\cdot n^{r+\delta-2}$$

สำหรับ diverges นี้สำหรับδ >ใด ๆ$r\geq2$ดังนั้นเงื่อนไขที่เพียงพอนี้ไม่ได้เก็บค่าความแปรปรวน ใช้วิธีอื่น: การกระจายซีมโทติคของ Z nคืออะไร? CDF ของ Z nรวมเข้ากับ CDF ที่ไม่เสื่อมคุณภาพหรือไม่?$\delta >0$
$Z_n$$Z_n$

ดูเหมือนว่า: การสนับสนุนที่ จำกัด จะเป็น (ถ้าเราได้รับอนุญาตให้เขียนนี้) และความน่าจะเป็นที่สอดคล้องกัน { 0 , 1 , 0 } ดูเหมือนว่าคงที่สำหรับฉัน แต่ถ้าเราไม่มีข้อ จำกัด ในตอนแรกเราจะพูดถึงช่วงเวลาของมันได้อย่างไร $\{-\infty, 0, \infty\}$$\{0,1,0\}$

จากนั้นจะกลับไปประมาณการθ nตั้งแต่$\hat \theta_n$ยังลู่ไปอย่างต่อเนื่องก็ปรากฏว่า$\bar X_n$

ไม่ได้ (ไม่น่ารำคาญ) กระจาย จำกัด แต่จะมีความแปรปรวนในวงเงิน หรือความแปรปรวนนี้อาจไม่มีที่สิ้นสุด? แต่ความแปรปรวนอนันต์ที่มีการแจกแจงแบบคงที่?$\hat \theta_n$

เราจะเข้าใจสิ่งนี้ได้อย่างไร มันบอกอะไรเราเกี่ยวกับตัวประมาณ อะไรคือสิ่งที่แตกต่างที่สำคัญในวงเงินระหว่างθ n = ˉ X n + Zและ ~ θ n$\hat \theta_n = \bar X_n + Z_n$?$\tilde \theta_n = \bar X_n$

ตัวประมาณมีความสอดคล้องกันในความน่าจะเป็น แต่ไม่ได้อยู่ใน MSE หากมีความน่าจะเป็นแบบเล็กโดยพลการของตัวประมาณ "การกระจาย" ในขณะที่ความอยากรู้ทางคณิตศาสตร์ที่น่าสนใจสำหรับจุดประสงค์ในทางปฏิบัติใด ๆ สิ่งนี้ไม่ควรรบกวนคุณ สำหรับวัตถุประสงค์เชิงปฏิบัติใด ๆ ตัวประมาณนั้นมีการสนับสนุนที่แน่นอนและทำให้ไม่สามารถระเบิดได้ (โลกแห่งความจริงไม่เล็กและใหญ่)

หากคุณยังต้องการที่จะเรียกร้องการประมาณของ "โลกแห่งความจริง" อย่างต่อเนื่องและการประมาณของคุณเป็นเช่นนั้นซึ่งมาบรรจบกันในความน่าจะเป็นและไม่ได้อยู่ใน MSE ให้ลองใช้ตามที่มันเป็น: ตัวประมาณของคุณ จะมีโอกาสน้อยมากที่จะเกิดการระเบิดขึ้นโดยพลการ โชคดีที่มันเกิดขึ้นคุณจะสังเกตเห็นเพื่อมิฉะนั้นคุณสามารถไว้วางใจมันได้ :-)