คำถามติดแท็ก estimation

ฉันพยายามประเมินพารามิเตอร์ของการแจกแจงแกมม่าที่เหมาะที่สุดกับตัวอย่างข้อมูลของฉัน ฉันต้องการใช้ค่าเฉลี่ย , std (และความแปรปรวน ) จากตัวอย่างข้อมูลไม่ใช่ค่าจริง - เนื่องจากสิ่งเหล่านี้จะไม่สามารถใช้ได้ในแอปพลิเคชันของฉัน ตามนี้เอกสารสูตรต่อไปนี้สามารถนำมาใช้ในการประมาณรูปร่างและขนาด: ฉันลองสิ่งนี้กับข้อมูลของฉันอย่างไรก็ตามผลลัพธ์แตกต่างกันมากเมื่อเทียบกับการกระจายแกมม่าที่เหมาะสมกับข้อมูลจริงโดยใช้ไลบรารีการเขียนโปรแกรมหลาม ฉันแนบข้อมูล / รหัสของฉันเพื่อแสดงปัญหาในมือ: import matplotlib.pyplot as plt import numpy as np from scipy.stats import gamma data = [91.81, 10.02, 27.61, 50.48, 3.34, 26.35, 21.0, 79.27, 31.04, 8.85, 109.2, 15.52, 11.03, 41.09, 10.75, 96.43, 109.52, 33.28, 7.66, 65.44, 52.43, 19.25, …

19 distributions  estimation  gamma-distribution 

ฉันกำลังพยายามเปรียบเทียบความซับซ้อนของการคำนวณ / ความเร็วในการประมาณค่าของวิธีการสามกลุ่มสำหรับการถดถอยเชิงเส้นตามที่ระบุไว้ใน Hastie et al "องค์ประกอบของการเรียนรู้ทางสถิติ" (2nd ed.), บทที่ 3: การเลือกชุดย่อย วิธีการหดตัว วิธีการที่ใช้ทิศทางอินพุตที่ได้รับ (PCR, PLS) การเปรียบเทียบอาจหยาบมากเพียงแค่ให้ความคิด ฉันรวบรวมว่าคำตอบอาจขึ้นอยู่กับขนาดของปัญหาและวิธีการที่เหมาะสมกับสถาปัตยกรรมคอมพิวเตอร์ดังนั้นสำหรับตัวอย่างที่เป็นรูปธรรมเราอาจพิจารณาขนาดตัวอย่างของผู้ลงทะเบียนผู้สมัคร 500 และ 50 คน ฉันส่วนใหญ่สนใจในแรงจูงใจเบื้องหลังความซับซ้อนของการคำนวณ / ความเร็วในการประมาณค่า แต่ไม่นานเท่าไรที่จะใช้กับโพรเซสเซอร์บางตัวสำหรับตัวอย่างที่กำหนด

18 machine-learning  estimation  feature-selection  algorithms  time-complexity 

บอกว่าผมมีตัวอย่างและตัวอย่างบูตจากตัวอย่างนี้สำหรับ stastitic χχ\chi (เช่นค่าเฉลี่ย) ในฐานะที่เราทุกคนรู้ว่าตัวอย่างบูตนี้ประมาณการกระจายการสุ่มตัวอย่างของประมาณการของสถิติที่ ทีนี้ค่าเฉลี่ยของตัวอย่าง bootstrapนี้เป็นการประมาณค่าสถิติประชากรได้ดีกว่าสถิติของตัวอย่างดั้งเดิมหรือไม่? ภายใต้เงื่อนไขใดที่เป็นเช่นนั้น

18 estimation  bootstrap 

ลำดับของตัวประมาณค่าUnUnU_nสำหรับพารามิเตอร์θθ\thetaนั้นเป็นสัญญาณเชิงเส้นกำกับปกติหากn−−√(Un−θ)→N(0,v)n(Un−θ)→N(0,v)\sqrt{n}(U_n - \theta) \to N(0,v)) (แหล่งที่มา) แล้วเราเรียกvvvแปรปรวน asymptotic ของUnUnU_nn หากความแปรปรวนนี้มีค่าเท่ากับCramer-Rao ที่ถูกผูกไว้เราบอกว่าตัวประมาณ / ลำดับนั้นมีประสิทธิภาพแบบเชิงเส้นกำกับ คำถาม:ทำไมเราถึงใช้n−−√n\sqrt{n}โดยเฉพาะอย่างยิ่ง? ฉันรู้ว่าสำหรับค่าเฉลี่ยตัวอย่างและดังนั้นตัวเลือกนี้ทำให้มันเป็นมาตรฐาน แต่เนื่องจากคำจำกัดความข้างต้นนำไปใช้กับค่าเฉลี่ยตัวอย่างมากกว่าเหตุใดเราจึงยังคงเลือกที่จะทำให้เป็นมาตรฐานโดย√Var(X¯)=σ2nVar(X¯)=σ2nVar(\bar{X}) = \frac{\sigma^2}{n} .n−−√n\sqrt{n}

18 estimation  asymptotics  efficiency 

เมื่อเร็ว ๆ นี้ฉันรู้สึกเขินอายมากเมื่อฉันให้คำตอบแบบชกมวยเกี่ยวกับการประมาณค่าความแปรปรวนขั้นต่ำที่ไม่เอนเอียงสำหรับพารามิเตอร์ของการแจกแจงแบบสม่ำเสมอที่ผิดอย่างสมบูรณ์ โชคดีที่ฉันได้รับการแก้ไขได้ทันทีโดยพระคาร์ดินัลและเฮนรี่กับเฮนรี่ให้คำตอบที่ถูกต้องสำหรับสหกรณ์ เรื่องนี้ทำให้ฉันคิดว่า ฉันเรียนรู้ทฤษฎีการประมาณค่าที่ไม่เอนเอียงที่ดีที่สุดในวิชาคณิตศาสตร์ระดับบัณฑิตศึกษาของฉันที่ Stanford เมื่อ 37 ปีก่อน ฉันมีความทรงจำเกี่ยวกับทฤษฎีบท Rao-Blackwell, Cramer - Rao ซึ่งเป็นขอบเขตล่างและทฤษฎีบท Lehmann-Scheffe แต่ในฐานะนักสถิติประยุกต์ฉันไม่ได้คิดถึง UMVUE มากนักในชีวิตประจำวันของฉันในขณะที่การประเมินความเป็นไปได้สูงสุดจะเกิดขึ้นมากมาย ทำไมถึงเป็นอย่างนั้น? เราเน้นทฤษฎี UMVUE มากเกินไปในบัณฑิตวิทยาลัยหรือไม่? ฉันคิดอย่างนั้น ประการแรกความเป็นกลางไม่ได้เป็นคุณสมบัติที่สำคัญ MLE ที่ดีอย่างสมบูรณ์แบบหลายลำเอียง ตัวประมาณการหดตัวของสไตน์นั้นมีอคติ แต่มีอิทธิพลเหนือ MLE ที่เป็นกลางในแง่ของการสูญเสียความคลาดเคลื่อนกำลังสองเฉลี่ย มันเป็นทฤษฎีที่สวยงามมาก (การประมาณค่า UMVUE) แต่ไม่สมบูรณ์มากและฉันคิดว่าไม่มีประโยชน์มาก คนอื่นคิดอย่างไร

18 estimation  point-estimation 

ฉันมีคำถามเกี่ยวกับการคำนวณปัจจัยเจมส์สไตน์การหดตัวในส่วนกระดาษ 1,977 วิทยาศาสตร์อเมริกันโดยแบรดลีย์ Efron และคาร์ลมอร์ริส "สไตน์ Paradox สถิติ" ฉันรวบรวมข้อมูลสำหรับผู้เล่นเบสบอลและได้รับด้านล่าง: Name, avg45, avgSeason Clemente, 0.400, 0.346 Robinson, 0.378, 0.298 Howard, 0.356, 0.276 Johnstone, 0.333, 0.222 Berry, 0.311, 0.273 Spencer, 0.311, 0.270 Kessinger, 0.289, 0.263 Alvarado, 0.267, 0.210 Santo, 0.244, 0.269 Swoboda, 0.244, 0.230 Unser, 0.222, 0.264 Williams, 0.222, 0.256 Scott, 0.222, …

18 estimation  shrinkage  steins-phenomenon 

คำถาม ความแปรปรวนของการแจกแจงแบบทวินามลบ (NB) นั้นมากกว่าค่าเฉลี่ยเสมอ เมื่อค่าเฉลี่ยของตัวอย่างมากกว่าความแปรปรวนให้พยายามปรับพารามิเตอร์ของ NB ให้มีความเป็นไปได้สูงสุดหรือประมาณช่วงเวลาที่จะล้มเหลว (ไม่มีวิธีแก้ปัญหาด้วยพารามิเตอร์ จำกัด ) อย่างไรก็ตามเป็นไปได้ว่าตัวอย่างที่นำมาจากการแจกแจงแบบ NB มีความหมายมากกว่าความแปรปรวน นี่คือตัวอย่างที่ทำซ้ำได้ใน R set.seed(167) x = rnbinom(100, size=3.2, prob=.8); mean(x) # 0.82 var(x) # 0.8157576 มีความน่าจะเป็นที่ไม่เป็นศูนย์ที่ NB จะสร้างตัวอย่างซึ่งไม่สามารถประมาณค่าพารามิเตอร์ได้ (โดยความน่าจะเป็นสูงสุดและวิธีการโมเมนต์) สามารถประมาณค่าที่เหมาะสมสำหรับตัวอย่างนี้ได้หรือไม่? ทฤษฎีการประมาณค่าพูดว่าอย่างไรเมื่อตัวประมาณไม่ได้ถูกกำหนดไว้สำหรับตัวอย่างทั้งหมด? เกี่ยวกับคำตอบ คำตอบของ @MarkRobinson และ @Yves ทำให้ฉันรู้ว่า parametrization เป็นปัญหาหลัก ความหนาแน่นของความน่าจะเป็นของ NB มักจะถูกเขียนเป็น P(X=k)=Γ(r+k)Γ(r)k!(1−p)rpkP(X=k)=Γ(r+k)Γ(r)k!(1−p)rpkP(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!}(1-p)^rp^k หรือ …

17 estimation  maximum-likelihood  negative-binomial 

เมื่อพิจารณาก่อนหน้านี้ค่า ML (ความถี่ - ความเป็นไปได้สูงสุด) และ MAP (Bayesian - ค่าสูงสุดด้านหลัง) จะตรงกัน อย่างไรก็ตามโดยทั่วไปแล้วฉันกำลังพูดถึงตัวประมาณค่าที่ได้จากการเพิ่มประสิทธิภาพของฟังก์ชันการสูญเสีย กล่าวคือ x^(.)=argminE(L(X−x^(y))|y) (Bayesian) x^(.)=argminE(L(X−x^(y))|y) (Bayesian) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) \; | \; y \right) \qquad \; \,\text{ (Bayesian) } x^(.)=argminE(L(x−x^(Y))|x)(Frequentist)x^(.)=argminE(L(x−x^(Y))|x)(Frequentist) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(x-\hat x(Y)) \; | …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

นี่เป็นส่วนหนึ่งที่ได้รับแรงบันดาลใจจากคำถามต่อไปนี้และการสนทนาที่ตามมา สมมติว่าตัวอย่าง IID สังเกตXi∼F(x,θ)Xi∼F(x,θ)X_i\sim F(x,\theta) ) เป้าหมายคือการประมาณการθθθ\thetaแต่ตัวอย่างดั้งเดิมไม่สามารถใช้ได้ สิ่งที่เรามีแทนสถิติของกลุ่มตัวอย่างบางT1,...,TkT1,...,TkT_1,...,T_k . สมมติว่าkkkได้รับการแก้ไข เราจะประมาณθθ\thetaอย่างไร ในกรณีนี้การประมาณความน่าจะเป็นสูงสุดคืออะไร?

17 estimation  maximum-likelihood 

มันเพียงพอที่จะแสดงให้เห็นว่า MSE = 0 เป็นn→∞n→∞n\rightarrow\infty ? ฉันยังอ่านบางสิ่งเกี่ยวกับ plim ในบันทึกของฉันด้วย ฉันจะค้นหา plim และใช้เพื่อแสดงว่าตัวประมาณมีความสอดคล้องกันได้อย่างไร

17 estimation  convergence  consistency 

พื้นหลัง ฉันมีตัวแปรที่มีการแจกแจงที่ไม่รู้จัก ฉันมีตัวอย่าง 500 ตัวอย่าง แต่ฉันต้องการแสดงความแม่นยำที่ฉันสามารถคำนวณความแปรปรวนได้เช่นเพื่อยืนยันว่าขนาดตัวอย่าง 500 เพียงพอ ฉันสนใจยังอยู่ในรู้ขนาดของกลุ่มตัวอย่างขั้นต่ำที่จะต้องประเมินความแปรปรวนที่มีความแม่นยำของ\%X%X%X\% คำถาม ฉันจะคำนวณได้อย่างไร ความแม่นยำของการประมาณค่าความแปรปรวนของฉันมีขนาดตัวอย่างเป็นหรือไม่ ของ ?n=500n=500n=500n=Nn=Nn=N ฉันจะคำนวณจำนวนตัวอย่างขั้นต่ำที่จำเป็นในการประมาณค่าความแปรปรวนด้วยความแม่นยำอย่างไรXXX ตัวอย่าง รูปที่ 1 การประมาณความหนาแน่นของพารามิเตอร์อ้างอิงจาก 500 ตัวอย่าง รูปที่ 2นี่คือพล็อตของขนาดตัวอย่างบนแกน x เทียบกับค่าประมาณความแปรปรวนบนแกน y ที่ฉันคำนวณโดยใช้ชุดย่อยจากตัวอย่าง 500 ความคิดคือการประมาณจะมาบรรจบกับความแปรปรวนจริงเมื่อ n เพิ่มขึ้น . อย่างไรก็ตามการประมาณการไม่ถูกต้องเนื่องจากตัวอย่างที่ใช้ในการประมาณความแปรปรวนสำหรับไม่ได้เป็นอิสระจากกันหรือตัวอย่างที่ใช้ในการคำนวณความแปรปรวนที่n ∈ [ 20 , 40 , 80 ]n∈[10,125,250,500]n∈[10,125,250,500]n \in [10,125,250,500]n∈[20,40,80]n∈[20,40,80]n\in [20,40,80]

17 estimation  random-variable  variance  sampling  sample-size 

ฉันรู้ 3 วิธีในการประมาณค่าพารามิเตอร์, วิธี ML, MAP และ Bayes และสำหรับวิธี MAP และ Bayes เราต้องเลือก priors สำหรับพารามิเตอร์ใช่ไหม สมมติว่าฉันมีโมเดลนี้p(x|α,β)p(x|α,β)p(x|\alpha,\beta)ซึ่งα,βα,β\alpha,\betaเป็นพารามิเตอร์เพื่อทำการประมาณค่าโดยใช้ MAP หรือ Bayes ฉันอ่านในหนังสือที่เราควรเลือกคอนจูเกตก่อนp(α,β)p(α,β)p(\alpha,\beta)ซึ่งเป็นความน่าจะเป็นร่วมของα,βα,β\alpha,\beta , จริงไหม? ฉันมีคำถาม 2 ข้อ: เรามีทางเลือกอื่น ๆ เลือกสิ่งอื่นนอกเหนือจากคอนจูเกตนี้หรือไม่? เราสามารถเลือก Priors สำหรับαα\alphaและตามลำดับเช่นและนอกเหนือจากที่รวมไว้ในข้อต่อได้หรือไม่?ββ\betap(α)p(α)p(\alpha)p(β)p(β)p(\beta)

17 bayesian  estimation  prior 

ขณะนี้ฉันกำลังอ่าน "สถิติทั้งหมด" ของ Larry Wasserman และสับสนกับบางสิ่งที่เขาเขียนในบทเกี่ยวกับการประเมินฟังก์ชันทางสถิติของแบบจำลองที่ไม่ใช่พารามิเตอร์ เขาเขียน "บางครั้งเราสามารถค้นหาข้อผิดพลาดมาตรฐานโดยประมาณของฟังก์ชันทางสถิติโดยทำการคำนวณบางอย่างอย่างไรก็ตามในกรณีอื่น ๆ มันไม่ชัดเจนว่าจะประมาณข้อผิดพลาดมาตรฐานได้อย่างไร" ฉันต้องการจะชี้ให้เห็นว่าในบทถัดไปเขาพูดถึง bootstrap เพื่อแก้ไขปัญหานี้ แต่เนื่องจากฉันไม่เข้าใจคำแถลงนี้จริง ๆ ฉันจึงไม่ได้รับแรงจูงใจเบื้องหลัง Bootstrapping? มีตัวอย่างอะไรบ้างเมื่อไม่ทราบวิธีการประเมินข้อผิดพลาดมาตรฐานอย่างชัดเจน ตัวอย่างทั้งหมดที่ฉันเคยเห็น "ชัดเจน" เช่นดังนั้น^ s E ( P n ) = √X1,...Xn Ber(p)X1,...Xn Ber(p)X_1,...X_n ~Ber(p)se^(p^n)=p^⋅(1−p^)/n−−−−−−−−−−√se^(p^n)=p^⋅(1−p^)/n \hat{se}(\hat{p}_n )=\sqrt{\hat{p}\cdot(1-\hat{p})/n}

16 self-study  estimation  bootstrap  standard-error 

ฉันได้ใช้กำลังสองน้อยที่สุดซ้ำอย่างน้อยกำลังสอง (IRLS) เพื่อย่อฟังก์ชันของแบบฟอร์มต่อไปนี้ J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) โดยที่NNNคือจำนวนอินสแตนซ์ของxi∈Rxi∈Rx_i \in \mathbb{R} , m∈Rm∈Rm \in \mathbb{R}คือค่าประมาณที่ฉันต้องการและρρ\rhoเป็นฟังก์ชันการปรับค่าที่เหมาะสม สมมติว่ามันเป็นนูน (แต่ไม่จำเป็นต้องเข้มงวด) และเปลี่ยนแปลงได้ในตอนนี้ เป็นตัวอย่างที่ดีของดังกล่าวρρ\rhoเป็นฟังก์ชั่นการสูญเสีย Huber สิ่งที่ฉันทำคือแยกความแตกต่างJ(m)J(m)J(m)เทียบกับmmm (และจัดการ) ที่จะได้รับ dJdm=∑Ni=1ρ′(|xi−m|)|xi−m|(xi−m)dJdm=∑i=1Nρ′(|xi−m|)|xi−m|(xi−m)\frac{dJ}{dm}= \sum_{i=1}^{N} \frac{\rho'\left( \left|x_i-m\right|\right) }{\left|x_i-m\right|} \left( x_i-m \right) และแก้ปัญหานี้ซ้ำ ๆ โดยการตั้งค่าให้เท่ากับ 0 และกำหนดน้ำหนักที่การวนซ้ำkkkเป็นwi(k)=ρ′(|xi−m(k)|)|xi−m(k)|wi(k)=ρ′(|xi−m(k)|)|xi−m(k)|w_i(k) = \frac{\rho'\left( \left|x_i-m{(k)}\right|\right) }{\left|x_i-m{(k)}\right|}(หมายเหตุว่าภาวะเอกฐานการรับรู้ที่xi=m(k)xi=m(k)x_i=m{(k)}คือจริงๆเอกพจน์ที่ถอดออกได้ในทุกρρ\rho's ฉันอาจจะเกี่ยวกับการดูแล) จากนั้นฉันก็จะได้ ∑Ni=1wi(k)(xi−m(k+1))=0∑i=1Nwi(k)(xi−m(k+1))=0\sum_{i=1}^{N} w_i(k) \left( x_i-m{(k+1)} …

16 estimation  least-squares  robust  irls 

สมมติว่าเรามีสองจุด (รูปต่อไปนี้: วงกลมสีดำ) และเราต้องการหาค่าสำหรับจุดที่สามระหว่างพวกเขา (ข้าม) อันที่จริงเราจะประมาณโดยอ้างอิงจากผลการทดลองของเราจุดดำ กรณีที่ง่ายที่สุดคือการวาดเส้นแล้วหาค่า (เช่นการแก้ไขเชิงเส้น) หากเรามีจุดรองรับเช่นจุดสีน้ำตาลในทั้งสองด้านเราต้องการได้รับประโยชน์จากพวกเขาและพอดีกับเส้นโค้งที่ไม่ใช่เชิงเส้น (เส้นโค้งสีเขียว) คำถามคืออะไรคือเหตุผลเชิงสถิติในการทำเครื่องหมายกากบาทสีแดงเป็นวิธีการแก้ปัญหา? เหตุใดไม้กางเขนอื่น (เช่นสีเหลือง) จึงไม่ได้รับคำตอบว่าจะเป็นได้อย่างไร การอนุมานหรือ (?) ผลักเราให้ยอมรับสีแดง ฉันจะพัฒนาคำถามเดิมของฉันตามคำตอบที่ได้รับสำหรับคำถามง่ายๆนี้

16 estimation  interpolation