คำถามติดแท็ก asymptotics

ตลอดเราคิดของเราสถิติเป็นฟังก์ชั่นบางข้อมูลซึ่งถูกดึงมาจากฟังก์ชันการกระจาย ; ฟังก์ชั่นการกระจายเชิงประจักษ์ของกลุ่มตัวอย่างของเราคือ{F} ดังนั้นคือสถิติที่ถูกมองว่าเป็นตัวแปรสุ่มและเป็นเวอร์ชั่นบูตของสถิติ เราใช้เป็นระยะทาง KSX 1 , ... X n F F θ ( F )θ(⋅)θ(⋅)\theta(\cdot)X1,…XnX1,…XnX_1, \ldots X_nFFFF^F^\hat{F}θ(F)θ(F)\theta(F)d ∞θ(F^)θ(F^)\theta(\hat{F})d∞d∞d_\infty มีผลลัพธ์ "if and only ถ้า" สำหรับความถูกต้องของ bootstrap หากสถิติเป็นสถิติเชิงเส้นอย่างง่าย ตัวอย่างเช่นทฤษฎีบทที่ 1 จาก Mammen "bootstrap ทำงานเมื่อไหร่?" ถ้าสำหรับบางฟังก์ชั่นโดยพลการจากนั้น bootstrap ทำงานในแง่ที่ถ้าและ เฉพาะในกรณีที่มีและเช่นนั้น เราสามารถนิยามเป็นฟังก์ชั่นบางอย่างของตัวอย่างของเราและเอชnd∞[L(θ( F ) -เสื้อ n),L(θ(F)-เสื้อn)]→หน้า0σnTnd∞[L(θ(F)-tn)θ(F)=1n∑ni−1hn(Xi)θ(F)=1n∑i−1nhn(Xi)\theta(F) = \frac{1}{n} \sum_{i-1}^n h_n(X_i)hnhnh_nd∞[L(θ(F^)−t^n),L(θ(F)−tn)]→p0d∞[L(θ(F^)−t^n),L(θ(F)−tn)]→p0d_\infty\big[\mathscr{L}(\theta(\hat{F})-\hat{t}_n), \mathscr{L}(\theta(F)-t_n)\big] \underset{p}{\rightarrow} 0σnσn\sigma_ntntnt_nd∞[L(θ(F)−tn),N(0,σ2n)]→p0d∞[L(θ(F)−tn),N(0,σn2)]→p0d_\infty\big[\mathscr{L}(\theta(F)-t_n), …

25 probability  mathematical-statistics  bootstrap  asymptotics  consistency 

ฉันต้องการเข้าใจวิธีการแก้ไขความต่อเนื่องของการแจกแจงทวินามสำหรับการประมาณแบบปกติ วิธีใดที่ใช้ในการตัดสินใจว่าเราควรเพิ่ม 1/2 (เพราะเหตุใดจึงไม่ใช่หมายเลขอื่น) คำอธิบายใด ๆ (หรือลิงก์ไปยังการอ่านที่แนะนำนอกเหนือจากนี้จะได้รับการชื่นชม)

24 binomial  asymptotics 

ใน 1,938 กระดาษที่มีชื่อเสียง (" การกระจายตัวอย่างขนาดใหญ่ของอัตราส่วนความน่าจะเป็นสำหรับการทดสอบสมมติฐานประกอบ ", พงศาวดารของคณิตศาสตร์สถิติ, 9: 60-62), ซามูเอล Wilks มากระจาย asymptotic (อัตราส่วนความน่าจะเป็นบันทึก ) สำหรับสมมติฐานที่ซ้อนกันภายใต้สมมติฐานว่ามีการระบุสมมติฐานที่ใหญ่กว่าอย่างถูกต้อง การ จำกัด การแจกแจงคือχ 2 (ไค - สแควร์) ที่มีองศาอิสระh - mโดยที่hคือจำนวนพารามิเตอร์ในสมมติฐานขนาดใหญ่และm2×LLR2×LLR2 \times LLRχ2χ2\chi^2h−mh−mh-mhhhmmmคือจำนวนของพารามิเตอร์อิสระในสมมติฐานที่ซ้อนกัน อย่างไรก็ตามเป็นที่ทราบกันดีว่าผลลัพธ์นี้ไม่ได้เก็บไว้เมื่อสมมติฐานถูกสะกดผิด (กล่าวคือเมื่อสมมติฐานที่ใหญ่กว่านั้นไม่ใช่การแจกแจงที่แท้จริงสำหรับข้อมูลตัวอย่าง) มีใครอธิบายได้บ้างไหม สำหรับฉันแล้วดูเหมือนว่าการพิสูจน์ของวิลก์สควรจะทำงานกับการดัดแปลงเล็กน้อย มันขึ้นอยู่กับมาตรฐานเชิงเส้นกำกับของการประมาณความน่าจะเป็นสูงสุด (MLE) ซึ่งยังคงมีรูปแบบที่ผิดพลาด ความแตกต่างเพียงอย่างเดียวคือเมทริกซ์ความแปรปรวนของการ จำกัด หลายตัวแปรปกติ: สำหรับรุ่นที่ระบุไว้อย่างถูกต้องเราสามารถใกล้เคียงกับเมทริกซ์ความแปรปรวนร่วมกับผกผันฟิชเชอร์ข้อมูลเมทริกซ์กับ misspecification เราสามารถใช้การประมาณการแซนวิชของเมทริกซ์ความแปรปรวนร่วม ( J - 1 K J - 1 ) …

23 hypothesis-testing  model-selection  likelihood-ratio  asymptotics  misspecification 

หลังจากทำการวิเคราะห์องค์ประกอบหลัก (PCA) ฉันต้องการฉายเวกเตอร์ใหม่ลงบนพื้นที่ PCA (เช่นค้นหาพิกัดในระบบพิกัด PCA) ผมได้คำนวณ PCA ในภาษา R prcompโดยใช้ ตอนนี้ฉันควรคูณเวกเตอร์ของฉันด้วยเมทริกซ์การหมุน PCA ควรจัดองค์ประกอบหลักในเมทริกซ์นี้เป็นแถวหรือคอลัมน์?

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

ฉันสงสัยว่ามีคนรู้หรือมีแอปพลิเคชันในสถิติที่จำเป็นต้องใช้ตัวประมาณความมั่นคงที่แข็งแกร่งแทนความสอดคล้องที่อ่อนแอ นั่นคือความสอดคล้องที่แข็งแกร่งเป็นสิ่งจำเป็นสำหรับแอปพลิเคชันและแอปพลิเคชันจะไม่ทำงานด้วยความสอดคล้องที่อ่อนแอ

20 hypothesis-testing  theory  asymptotics  estimators  consistency 

นี่เป็นการจำลองแบบของคำถามที่ฉันพบที่ math.seซึ่งไม่ได้รับคำตอบที่ฉันหวังไว้ ปล่อยเป็นลำดับของตัวแปรสุ่มแบบกระจายที่เหมือนกันโดยมีและ . E [ X i ] = 1{Xi}i∈N{Xi}i∈N\{ X_i \}_{i \in \mathbb{N}}E[Xi]=1E[Xi]=1\mathbb{E}[X_i] = 1V[Xi]=1V[Xi]=1\mathbb{V}[X_i] = 1 พิจารณาการประเมินผลของ limn→∞P(1n−−√∑i=1nXi≤n−−√)limn→∞P(1n∑i=1nXi≤n) \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right) การแสดงออกนี้จะต้องมีการจัดการตั้งแต่นั้นมาทั้งสองด้านของเหตุการณ์ความไม่เท่าเทียมมีแนวโน้มที่จะไม่มีที่สิ้นสุด A) การทดลองใช้งานระบบย่อย ก่อนพิจารณาคำสั่งที่ จำกัด ให้ลบn−−√n\sqrt{n}จากทั้งสองด้าน: limn→∞P(1n−−√∑i=1nXi−n−−√≤n−−√−n−−√)=limn→∞P(1n−−√∑i=1n(Xi−1)≤0)=Φ(0)=12limn→∞P(1n∑i=1nXi−n≤n−n)=limn→∞P(1n∑i=1n(Xi−1)≤0)=Φ(0)=12\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i -\sqrt{n} \leq \sqrt{n}-\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} …

19 probability  mathematical-statistics  asymptotics 

นี่เป็นการแก้ไขปัญหาทั่วไปที่เกิดจาก คำถามนี้ หลังจากได้รับการแจกแจงเชิงซีมโทติคของความแปรปรวนตัวอย่างเราสามารถใช้วิธีเดลต้าเพื่อให้ได้การแจกแจงที่สอดคล้องกันสำหรับค่าเบี่ยงเบนมาตรฐาน ขอตัวอย่างขนาดของตัวแปรสุ่มแบบไม่ปกติของ iid , มีค่าเฉลี่ยและความแปรปรวน 2 ตั้งค่าเฉลี่ยตัวอย่างและความแปรปรวนตัวอย่างเป็น nnn{Xi},i=1,...,n{Xi},i=1,...,n\{X_i\},\;\; i=1,...,nμμ\muσ2σ2\sigma^2x¯=1n∑i=1nXi,s2=1n−1∑i=1n(Xi−x¯)2x¯=1n∑i=1nXi,s2=1n−1∑i=1n(Xi−x¯)2\bar x = \frac 1n \sum_{i=1}^nX_i,\;\;\; s^2 = \frac 1{n-1} \sum_{i=1}^n(X_i-\bar x)^2 เรารู้ว่า E(s2)=σ2,Var(s2)=1n(μ4−n−3n−1σ4)E(s2)=σ2,Var⁡(s2)=1n(μ4−n−3n−1σ4)E(s^2) = \sigma^2, \;\;\; \operatorname {Var}(s^2) = \frac{1}{n} \left(\mu_4 - \frac{n-3}{n-1}\sigma^4\right) โดยที่และเรา จำกัด ความสนใจของเราในการแจกแจงว่าช่วงเวลาใดที่จำเป็นต้องมีอยู่และมีขอบเขต จำกัด มีอยู่จริงและมีขอบเขต จำกัดμ4=E(Xi−μ)4μ4=E(Xi−μ)4\mu_4 = E(X_i -\mu)^4 มันถืออย่างนั้นหรือเปล่า n−−√(s2−σ2)→dN(0,μ4−σ4)?n(s2−σ2)→dN(0,μ4−σ4)?\sqrt n(s^2 - \sigma^2) \rightarrow_d N\left(0,\mu_4 …

19 mathematical-statistics  variance  central-limit-theorem  asymptotics 

ลำดับของตัวประมาณค่าUnUnU_nสำหรับพารามิเตอร์θθ\thetaนั้นเป็นสัญญาณเชิงเส้นกำกับปกติหากn−−√(Un−θ)→N(0,v)n(Un−θ)→N(0,v)\sqrt{n}(U_n - \theta) \to N(0,v)) (แหล่งที่มา) แล้วเราเรียกvvvแปรปรวน asymptotic ของUnUnU_nn หากความแปรปรวนนี้มีค่าเท่ากับCramer-Rao ที่ถูกผูกไว้เราบอกว่าตัวประมาณ / ลำดับนั้นมีประสิทธิภาพแบบเชิงเส้นกำกับ คำถาม:ทำไมเราถึงใช้n−−√n\sqrt{n}โดยเฉพาะอย่างยิ่ง? ฉันรู้ว่าสำหรับค่าเฉลี่ยตัวอย่างและดังนั้นตัวเลือกนี้ทำให้มันเป็นมาตรฐาน แต่เนื่องจากคำจำกัดความข้างต้นนำไปใช้กับค่าเฉลี่ยตัวอย่างมากกว่าเหตุใดเราจึงยังคงเลือกที่จะทำให้เป็นมาตรฐานโดย√Var(X¯)=σ2nVar(X¯)=σ2nVar(\bar{X}) = \frac{\sigma^2}{n} .n−−√n\sqrt{n}

18 estimation  asymptotics  efficiency 

ปัญหาเกิดขึ้นก่อนหน้านี้ แต่ฉันต้องการถามคำถามเฉพาะที่จะพยายามล้วงเอาคำตอบที่จะทำให้ชัดเจน (และจำแนก): ใน "Asymptotics ของคนจน" คนหนึ่งรักษาความแตกต่างที่ชัดเจนระหว่าง (a)ลำดับของตัวแปรสุ่มที่รวมความน่าจะเป็นเป็นค่าคงที่ ตรงกันข้ามกับ (b)ลำดับของตัวแปรสุ่มที่รวมความน่าจะเป็นเข้ากับตัวแปรสุ่ม แต่ใน "Asymptotics ของ Wise Man" เราสามารถมีกรณีของ (c)ลำดับของตัวแปรสุ่มที่รวมความน่าจะเป็นเป็นค่าคงที่ในขณะที่รักษาความแปรปรวนที่ไม่ใช่ศูนย์ที่ขีด จำกัด คำถามของฉันคือ (ขโมยจากคำตอบเชิงสำรวจของฉันเองด้านล่าง): เราจะเข้าใจตัวประมาณที่สอดคล้องกันเชิงเส้นกำกับ แต่ก็มีความแปรปรวนที่ไม่ใช่ศูนย์และ จำกัด ได้อย่างไร ความแปรปรวนนี้สะท้อนถึงอะไร? พฤติกรรมของมันแตกต่างจากตัวประมาณ "ปกติ" ที่สอดคล้องกันอย่างไร หัวข้อที่เกี่ยวข้องกับปรากฏการณ์ที่อธิบายไว้ใน (c) (ดูในความคิดเห็นด้วย): ความแตกต่างระหว่างตัวประมาณที่สอดคล้องกันและตัวประมาณที่ไม่เอนเอียงคืออะไร? /stats/120553/convergence-of-an-estimator-with-infinite-variance ทำไมตัวประมาณที่ไม่สอดคล้องกันแบบเชิงเส้นกำกับจึงไม่มีความแปรปรวนที่ไม่มีที่สิ้นสุด เกือบแน่ใจว่าการลู่เข้าและการแปรปรวนที่ จำกัด ไปที่ศูนย์

18 mathematical-statistics  variance  convergence  asymptotics  consistency 

ดังนั้นเราจึงรู้ว่าผลรวมของnnn poissons กับพารามิเตอร์λλ\lambdaเป็นตัวเอง Poisson กับ nnλn\lambda λ ดังนั้นสมมุติฐานหนึ่งอาจจะใช้x ~ P o ฉันs s o n ( λ = 1 )x∼poisson(λ=1)x \sim poisson(\lambda = 1) และบอกว่ามันเป็นจริงΣ n 1 x ฉัน ~ P o ฉันs s o n ( λ = 1 )∑n1xi∼poisson(λ=1)\sum_1^n x_i \sim poisson(\lambda = 1) ที่แต่ละx ฉันxix_iคือ: x ฉัน …

16 poisson-distribution  central-limit-theorem  asymptotics 

ฉันพยายามที่จะพิสูจน์ว่าเมทริกซ์ข้อมูลที่สังเกตได้ประเมินที่ตัวประมาณความน่าจะเป็นค่าสูงสุดที่ไม่สม่ำเสมอ (MLE) ซึ่งเป็นค่าประมาณที่ไม่แน่นอนของเมทริกซ์ข้อมูลที่คาดหวัง นี่คือผลลัพธ์ที่ยกมาอย่างกว้างขวาง แต่ไม่มีใครให้การอ้างอิงหรือหลักฐาน (ฉันหมดแรงฉันคิดว่าหน้าแรกของผลการค้นหาของ google และตำราสถิติของฉัน) 20 หน้า! การใช้ลำดับของ MLE ที่สอดคล้องกันอย่างอ่อนฉันสามารถใช้กฏที่อ่อนแอของจำนวนมาก (WLLN) และทฤษฎีการทำแผนที่แบบต่อเนื่องเพื่อให้ได้ผลลัพธ์ตามที่ฉันต้องการ อย่างไรก็ตามฉันเชื่อว่าไม่สามารถใช้ทฤษฎีบทการทำแผนที่อย่างต่อเนื่องได้ แต่ฉันคิดว่าต้องใช้กฎหมายเครื่องแบบของคนจำนวนมาก (ULLN) มีใครทราบถึงข้อมูลอ้างอิงที่มีหลักฐานนี้หรือไม่? ฉันมีความพยายามที่ ULLN แต่ไม่ต้องสนใจเลยสำหรับตอนนี้ ฉันต้องขออภัยในความยาวของคำถามนี้ แต่จะต้องมีการจดบันทึก สัญกรณ์เป็นเหมือน folows (หลักฐานของฉันอยู่ท้าย) สมมติว่าเรามีตัวอย่าง IID ของตัวแปรสุ่ม{ Y 1 , ... , Y N }{Y1,…,YN}\{Y_1,\ldots,Y_N\}กับความหนาแน่นฉ( ~ Y | θ )f(Y~|θ)f(\tilde{Y}|\theta)ที่θ ∈ Θ ⊆ R kθ∈Θ⊆Rk\theta\in\Theta\subseteq\mathbb{R}^{k} (ที่นี่~ YY~\tilde{Y}เป็นเพียงตัวแปรสุ่มทั่วไปที่มีความหนาแน่นเดียวกัน …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

Let {Xi}ni=1{Xi}i=1n\{X_i\}_{i=1}^nจะเป็นครอบครัวของตัวแปรสุ่ม IID สละค่าใน[0,1][0,1][0,1]มีค่าเฉลี่ยμμ\muและแปรปรวนσ2σ2\sigma^2 2 ช่วงความเชื่อมั่นที่ง่ายสำหรับค่าเฉลี่ยโดยใช้σσ\sigmaเมื่อใดก็ตามที่เป็นที่รู้จักกันจะได้รับจาก P(|X¯−μ|>ε)≤σ2nε2≤1nε2(1).P(|X¯−μ|>ε)≤σ2nε2≤1nε2(1). P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1). นอกจากนี้เนื่องจากX¯−μσ/n√X¯−μσ/n\frac{\bar X- \mu}{\sigma/\sqrt{n}}ถูกกระจายแบบ asymptotically เป็นตัวแปรสุ่มมาตรฐานแบบปกติการแจกแจงแบบปกติบางครั้งใช้เพื่อ "สร้าง" ช่วงความมั่นใจโดยประมาณ ในหลายทางเลือกสอบสถิติคำตอบที่ผมได้มีการใช้ประมาณแทนนี้(1)(1)(1)เมื่อใดก็ตามที่n≥30n≥30n \geq 30 30 ฉันมักจะรู้สึกไม่สบายใจกับสิ่งนี้มาก (เกินกว่าที่คุณจะจินตนาการได้) เนื่องจากข้อผิดพลาดการประมาณนั้นไม่ได้ถูกคำนวณปริมาณ ใช้ประมาณปกติมากกว่าทำไม(1)(1)(1) ? ฉันไม่ต้องการใช้กฎกับคนตาบอดอีกเลย มีการอ้างอิงที่ดีที่สามารถสนับสนุนฉันในการปฏิเสธที่จะทำเช่นนั้นและให้ทางเลือกที่เหมาะสมหรือไม่? ( ( 1 )เป็นตัวอย่างของสิ่งที่ฉันพิจารณาทางเลือกที่เหมาะสม)n≥30n≥30n \geq 30(1)(1)(1) ที่นี่ในขณะที่และE [ | X | …

15 normal-distribution  confidence-interval  references  asymptotics  approximation 

\newcommand{\E}{\mathbb{E}}วิธีการคือ normalizing เปลี่ยนสำหรับครอบครัวชี้แจง มา? A ( ⋅ ) = ∫ d uV 1 / 3 ( μ )A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)} โดยเฉพาะอย่างยิ่ง : ฉันพยายามติดตามภาพร่างการขยายตัวของเทย์เลอร์ในหน้า 3 เลื่อน 1 ที่นี่แต่มีคำถามหลายข้อ ด้วยXXXจากตระกูลชี้แจงการแปลงh ( X )h(X)h(X)และκ ฉันκi\kappa _iแสดงถึงฉันทีเอชithi^{th} cumulant สไลด์ยืนยันว่า: κ 3 ( h ( ˉ X ) ) ≈ h ′ ( μ ) …

15 data-transformation  residuals  asymptotics  exponential-family 

Jeffrey Wooldridge ในการวิเคราะห์เศรษฐมิติของเขาเกี่ยวกับการตัดขวางและข้อมูลพาเนล (หน้า 357) กล่าวว่า Hessian เชิงประจักษ์ "ไม่รับประกันว่าจะแน่นอนแน่นอนหรือแม้กระทั่ง semidefinite บวกสำหรับตัวอย่างเฉพาะที่เรากำลังทำงานอยู่" นี่ดูเหมือนว่าผิดสำหรับฉัน (ปัญหาเชิงตัวเลขแยกกัน) Hessian จะต้องเป็น semidefinite เชิงบวกอันเป็นผลมาจากคำจำกัดความของ M-estimator ว่าเป็นค่าของพารามิเตอร์ที่ลดฟังก์ชั่นวัตถุประสงค์สำหรับตัวอย่างที่ได้รับและความจริงที่รู้จักกันดีว่า อย่างน้อยที่สุด (ในพื้นที่) Hessian นั้นเป็น semidefinite ที่เป็นบวก ข้อโต้แย้งของฉันถูกต้องหรือไม่ [แก้ไข: คำสั่งถูกลบในฉบับที่ 2 ของหนังสือ ดูความคิดเห็น] ภูมิหลังสมมติว่าθ Nเป็นประมาณการที่ได้รับโดยการลด 1θˆNθ^N\widehat \theta_N1N∑i=1Nq(wi,θ),1N∑i=1Nq(wi,θ),{1 \over N}\sum_{i=1}^N q(w_i,\theta), ที่wiwiw_iหมายถึงiiiสังเกต -th เรามาแทน Hessian ของด้วย , qqqHHHH(q,θ)ij=∂2q∂θi∂θjH(q,θ)ij=∂2q∂θi∂θjH(q,\theta)_{ij}=\frac{\partial^2 q}{\partial \theta_i \partial \theta_j} ความแปรปรวนร่วมซีมโทติคของเกี่ยวข้องกับโดยที่เป็นค่าพารามิเตอร์ที่แท้จริง …

15 estimation  maximum-likelihood  econometrics  asymptotics 

เพื่อให้ CLT ที่จะถือเราต้องกระจายเราต้องการที่จะใกล้เคียงกับที่จะมีค่าเฉลี่ยและความแปรปรวน จำกัด 2 มันจะเป็นจริงที่จะบอกว่าสำหรับกรณีของการกระจาย Cauchy ค่าเฉลี่ยและความแปรปรวนที่ไม่ได้กำหนดทฤษฎีบทขีด จำกัด กลางล้มเหลวในการให้การประมาณที่ดีแม้ asymptotically?μμ\muσ2σ2\sigma^2

15 probability  central-limit-theorem  asymptotics  cauchy