คำถามติดแท็ก least-squares

สมมติสัมพันธ์เชิงเส้นต่อไปนี้: โดยที่เป็นตัวแปรที่ขึ้นต่อกันเป็นตัวแปรอิสระเดี่ยวและเป็นคำผิดพลาดYi=β0+β1Xi+uiYi=β0+β1Xi+uiY_i = \beta_0 + \beta_1 X_i + u_iYiYiY_iXผมXiX_iยูผมuiu_i ตาม Stock &amp; Watson (Introduction to Econometrics; บทที่ 4 ) ข้อสมมติฐานกำลังสองน้อยที่สามคือช่วงเวลาที่สี่ของและนั้นไม่ใช่ศูนย์และ จำกัดinfty)XผมXiX_iยูผมuiu_i( 0 &lt; E(X4ผม) &lt; ∞ และ 0 &lt; E(ยู4ผม) &lt; ∞ )(0&lt;E(Xi4)&lt;∞ and 0&lt;E(ui4)&lt;∞)(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty) ฉันมีสามคำถาม: ฉันไม่เข้าใจบทบาทของสมมติฐานนี้อย่างเต็มที่ OLS ลำเอียงและไม่สอดคล้องกันหรือไม่หากสมมติฐานนี้ไม่ถือหรือเราต้องการสมมติฐานนี้ในการอนุมาน การเขียนสต็อคและวัตสัน "สมมติฐานนี้จำกัดความน่าจะเป็นของการวาดภาพการสังเกตด้วยค่าขนาดใหญ่มากของหรือ " อย่างไรก็ตามสัญชาตญาณของฉันก็คือสมมติฐานนี้มาก เรามีปัญหาหรือไม่ถ้าเรามีค่าผิดปกติจำนวนมาก (เช่นช่วงเวลาที่สี่มีขนาดใหญ่) แต่ถ้าค่าเหล่านี้ยังคง …

9 regression  least-squares  assumptions  bias  consistency 

สมมติว่าฉันมีข้อมูลที่มีความไม่แน่นอน ตัวอย่างเช่น: X Y 1 10±4 2 50±3 3 80±7 4 105±1 5 120±9 ธรรมชาติของความไม่แน่นอนอาจเป็นการวัดซ้ำหรือการทดลองหรือความไม่แน่นอนของเครื่องมือวัด ผมอยากจะพอดีกับเส้นโค้งไปโดยใช้ R, lmบางสิ่งบางอย่างที่ปกติผมจะทำอย่างไรกับ อย่างไรก็ตามสิ่งนี้ไม่ได้คำนึงถึงความไม่แน่นอนในข้อมูลเมื่อมันทำให้ฉันมีความไม่แน่นอนในค่าสัมประสิทธิ์แบบพอดีและดังนั้นจึงมีการคาดการณ์ช่วงเวลา ดูที่เอกสารlmหน้านี้มี: ... น้ำหนักสามารถใช้เพื่อระบุว่าการสังเกตที่ต่างกันมีความแตกต่างกัน ... ดังนั้นฉันคิดว่าบางทีนี่อาจจะเกี่ยวข้องกับเรื่องนี้ ฉันรู้ทฤษฎีการทำด้วยตนเอง แต่ฉันสงสัยว่ามันเป็นไปได้ที่จะทำเช่นนั้นกับlmฟังก์ชั่น ถ้าไม่มีมีฟังก์ชั่นอื่น ๆ (หรือแพ็คเกจ) ที่สามารถทำสิ่งนี้ได้หรือไม่? แก้ไข เห็นความคิดเห็นบางส่วนนี่คือคำชี้แจงบางอย่าง ใช้ตัวอย่างนี้: x &lt;- 1:10 y &lt;- c(131.4,227.1,245,331.2,386.9,464.9,476.3,512.2,510.8,532.9) mod &lt;- lm(y ~ x + I(x^2)) summary(mod) ให้ฉัน: Residuals: Min …

9 r  least-squares  error-propagation 

ใครช่วยบอกฉันหน่อยได้ไหมว่าทำไมฉันถึงได้ผลลัพธ์ที่แตกต่างจากRน้ำหนักอย่างน้อยกำลังสองและวิธีแก้ปัญหาด้วยตนเองโดยการทำงานของเมทริกซ์ ? โดยเฉพาะฉันกำลังพยายามแก้ไขด้วยตนเองโดยที่คือเมทริกซ์แนวทแยงมุมที่มีน้ำหนักคือเมทริกซ์ข้อมูลคือการตอบสนอง เวกเตอร์ W A x = W bWAx=Wb\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf bWW\mathbf WAA\mathbf Aขb\mathbf b ฉันพยายามเปรียบเทียบผลลัพธ์กับR lmฟังก์ชันโดยใช้weightsอาร์กิวเมนต์

9 r  regression  least-squares  weighted-regression  weighted-data 

เมื่อเร็ว ๆ นี้เพื่อนของฉันคนหนึ่งถามว่าอะไรที่ธรรมดามาก ๆ ดูเหมือนว่าเราจะไม่ได้อยู่ที่ใดในการสนทนา เราทั้งสองตกลงกันว่า OLS เป็นกรณีพิเศษของโมเดลเชิงเส้นมีประโยชน์หลายอย่างรู้กันดีและเป็นกรณีพิเศษของรุ่นอื่น ๆ แต่ทั้งหมดนี้จริงเหรอ? ดังนั้นฉันต้องการทราบ: ชื่อมาจากไหนจริงๆ ใครเป็นคนแรกที่ใช้ชื่อ?

9 regression  linear-model  least-squares  terminology 

ฉันรู้ว่า OLS นั้นไม่เอนเอียง แต่ไม่มีประสิทธิภาพภายใต้ heteroscedasticity ในการตั้งค่าการถดถอยเชิงเส้น ในวิกิพีเดีย http://en.wikipedia.org/wiki/Minimum_mean_square_error ตัวประมาณ MMSE นั้นไม่เอนเอียงและไม่มีส่วนร่วมและกระจายไปสู่การแจกแจงแบบปกติ: โดยที่ I (x) เป็นข้อมูลชาวประมงของ x ดังนั้นตัวประมาณ MMSE จึงมีประสิทธิภาพแบบไม่แสดงอาการn−−√(x^−x)→dN(0,I−1(x))n(x^−x)→dN(0,I−1(x))\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right) MMSE อ้างว่ามีประสิทธิภาพแบบไม่แสดงอาการ ฉันสับสนเล็กน้อยที่นี่ นี่หมายความว่า OLS ไม่ได้มีประสิทธิภาพในตัวอย่าง จำกัด แต่มีประสิทธิภาพแบบไม่เชิงเส้นภายใต้ heteroscedasticity คำติชมของคำตอบปัจจุบัน: จนถึงขณะนี้คำตอบที่เสนอไม่ได้อยู่ที่การกระจายการ จำกัด ขอบคุณล่วงหน้า

9 least-squares  heteroscedasticity  efficiency 

ในวิธีกำลังสองน้อยที่สุดเราต้องการประมาณค่าพารามิเตอร์ที่ไม่รู้จักในโมเดล: YJ= α + βxJ+εJ( j = 1 ... n )Yj=α+βxj+εj(j=1...n)Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n) เมื่อเราทำเช่นนั้น (สำหรับค่าที่สังเกตได้) เราจะได้เส้นการถดถอยที่พอดี: YJ=α^+β^x +อีJ( J = 1 , . . . n )Yj=α^+β^x+ej(j=1,...n)Y_j = \hat{\alpha} + \hat{\beta}x +e_j \enspace (j =1,...n) ตอนนี้เห็นได้ชัดว่าเราต้องการตรวจสอบบางแปลงเพื่อให้แน่ใจว่าสมมติฐานเป็นจริง สมมติว่าคุณต้องการตรวจสอบ homoscedasticity อย่างไรก็ตามในการทำเช่นนี้เรากำลังตรวจสอบเหลืออยู่ สมมติว่าคุณตรวจสอบพล็อตค่าที่ตกค้างเทียบกับที่คาดการณ์ไว้ถ้านั่นแสดงให้เราเห็นว่า heteroscedasticity นั้นชัดเจนแล้วสิ่งนั้นเกี่ยวข้องกับคำว่ารบกวนอย่างไร heteroscedasticity …

9 regression  least-squares  residuals  heteroscedasticity  assumptions 

เมื่อปัญหากำลังสองน้อยที่สุดซึ่งกำหนดข้อ จำกัด เป็นทรงกลมบนค่าของ\ betaสามารถเขียนเป็น \ start {สมการ} \ \ \ {array} &amp; \ operatorname {min} \ \ | y - X \ beta \ | ^ 2_2 \\ \ operatorname {st} \ \ | \ beta \ | ^ 2_2 \ le \ delta ^ 2 \ end {array} \ …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

เป็นจริงหรือไม่ที่ภายใต้สมมติฐาน Gauss Markov วิธีการกำลังสองน้อยที่สุดแบบธรรมดาให้ตัวประมาณที่มีประสิทธิภาพและไม่เอนเอียง? ดังนั้น: E(ut)=0E(ut)=0E(u_t)=0 เพื่อทุกสิ่ง ttt E(utus)=σ2E(utus)=σ2E(u_tu_s)=\sigma^2 สำหรับt=st=st=s E(utus)=0E(utus)=0E(u_tu_s)=0 สำหรับt≠st≠st\neq s โดยที่เป็นคนตกค้างuuu

9 regression  self-study  least-squares 

ฉันกำลังอ่านทฤษฎีบท Guass-Markov ในวิกิพีเดียและฉันหวังว่าจะมีคนช่วยฉันหาประเด็นหลักของทฤษฎีบทนี้ เราคิดรูปแบบเชิงเส้นในรูปแบบเมทริกซ์จะได้รับโดย: และเรากำลังมองหาสีฟ้า\Y= Xβ+ ηy=Xβ+η y = X\beta +\eta βˆβ^ \widehat\beta ตามสิ่งนี้ฉันจะติดป้าย "ส่วนที่เหลือ" และ ข้อผิดพลาด " (คือตรงกันข้ามกับการใช้งานในหน้า Gauss-Markov)η= y- Xβη=y−Xβ\eta = y - X\betaε =βˆ- βε=β^−β\varepsilon = \widehat\beta - \beta OLS (หุ้นสามัญอย่างน้อยสี่เหลี่ยม) ประมาณการอาจจะมาเป็น argmin ของ 2| | ที่เหลือ ||22= | | η||22||residual||22=||η||22||\text{residual}||_2^2 = ||\eta||_2^2 ตอนนี้ให้แทนโอเปอเรเตอร์ความคาดหวัง เพื่อความเข้าใจของฉันสิ่งที่ทฤษฎีเกาส์ - มาร์คอฟบอกเราคือว่าถ้าและแล้วอาร์มินทั้งหมด …

9 regression  least-squares  mse  blue 

ตัดต่อไปนี้จะนำมาจากบทความนี้ ฉันเป็นมือใหม่ในการบู๊ตสแตรปและพยายามที่จะใช้การบู๊ตสแปปปิ้งแบบกึ่งพารามิเตอร์แบบกึ่งพารามิเตอร์และแบบไม่มีพารามิเตอร์สำหรับแบบจำลองเชิงเส้นผสมกับR bootแพ็คเกจ รหัส R นี่คือRรหัสของฉัน: library(SASmixed) library(lme4) library(boot) fm1Cult &lt;- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn &lt;- function(data, indices){ data &lt;- data[indices, ] mod &lt;- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=data) fixef(mod) } set.seed(12345) Out &lt;- boot(data=Cultivation, statistic=boot.fn, R=99) …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography