คำถามติดแท็ก linear-model

ฉันกำลังแก้ไขการถดถอยเชิงเส้น หนังสือเรียนของ Greene กล่าวว่า: ตอนนี้แน่นอนจะมีสมมติฐานอื่น ๆ ในรูปแบบการถดถอยเชิงเส้นเช่น 0 สมมติฐานนี้รวมกับข้อสมมติเชิงเส้นตรง (ซึ่งมีผลบังคับใช้กำหนด ) วางโครงสร้างบนแบบจำลองϵE(ϵ|X)=0E(ϵ|X)=0E(\epsilon|X)=0ϵϵ\epsilon อย่างไรก็ตามการวางตัวเป็นเส้นตรงด้วยตัวมันเองไม่ได้วางโครงสร้างใด ๆ ไว้ในแบบจำลองของเราเนื่องจากสามารถทำได้โดยพลการอย่างสมบูรณ์ สำหรับตัวแปรใด ๆไม่ว่าอะไรก็ตามความสัมพันธ์ระหว่างเราสองคนนั้นสามารถกำหนดเช่นนั้นเพื่อให้สมมติฐานเชิงเส้นตรง ดังนั้นความเป็นเส้นตรง "สมมติฐาน" ควรเรียกว่านิยามของๆ แทนที่จะเป็นข้อสมมติX , y ϵ ϵϵϵ\epsilonX,yX,yX, yϵϵ\epsilonϵϵ\epsilon ดังนั้นฉันสงสัย : กรีนเป็นคนเลอะเทอะหรือเปล่า? จริง ๆ แล้วเขาควรจะเขียน: ? นี่คือ "สมมติฐานเชิงเส้นตรง" ที่วางโครงสร้างในแบบจำลองE(y|X)=XβE(y|X)=XβE(y|X)=X\beta หรือฉันต้องยอมรับว่าการวางตัวเป็นเส้นตรงไม่ได้วางโครงสร้างลงบนแบบจำลอง แต่จะกำหนดเท่านั้นโดยที่สมมติฐานอื่น ๆ จะใช้นิยามของเพื่อวางโครงสร้างบนแบบจำลองϵϵϵ\epsilonϵϵ\epsilon แก้ไข : เนื่องจากมีความสับสนรอบสมมติฐานอื่นให้ฉันเพิ่มชุดเต็มของสมมติฐานที่นี่: นี่คือจากกรีน, การวิเคราะห์ทางเศรษฐมิติ, 7 เอ็ด พี 16

10 econometrics  linear-model  assumptions  causality  definition 

ผมเห็นเครื่องหมายนี้สำหรับสองน้อยสามัญที่นี่ นาทีW∥ Xw - y∥22minw‖Xw−y‖22 \min_w \left\| Xw - y \right\|^2_2 ฉันไม่เคยเห็นแถบคู่และ 2 ที่ด้านล่าง สัญลักษณ์เหล่านี้หมายถึงอะไร พวกเขามีคำศัพท์เฉพาะสำหรับพวกเขาหรือไม่?

10 regression  least-squares  linear-model  linear-algebra  notation 

สมมุติว่าฉันมี -vectorของตัวแปรตามและ -vectorของตัวแปรอิสระ เมื่อได้วางแผนกับฉันเห็นว่ามีความสัมพันธ์เชิงเส้น (แนวโน้มสูงขึ้น) ระหว่างทั้งสอง ตอนนี้ก็หมายความว่ามีแนวโน้มลดลงเชิงเส้นตรงระหว่างและXY N X Y 1ยังไม่มีข้อความNNYYYยังไม่มีข้อความNNXXXYYY YX1X1X\frac{1}{X}YYYXXX ตอนนี้ถ้าฉันใช้การถดถอย: และรับค่าที่ติดตั้งY = β XY= β∗ X+ ϵY=β∗X+ϵY = \beta * X + \epsilonY^= β^XY^=β^X\hat{Y} = \hat{\beta}X จากนั้นฉันก็ทำการถดถอย:และรับค่าติดตั้ง ~ Y = α 1Y= α ∗ 1X+ ϵY=α∗1X+ϵY = \alpha * \frac{1}{X} + \epsilonY~= α^1XY~=α^1X\tilde{Y} = \hat{\alpha} \frac{1}{X} ค่าสองค่าที่คาดการณ์ไว้และจะเท่ากันหรือไม่? …

10 regression  data-transformation  linear-model 

ไม่มีใครรู้วิธีคำนวณ (หรือแยก) เลเวอเรจและระยะทางของ Cook สำหรับmerคลาสวัตถุ (ที่ได้รับจากlme4แพ็คเกจ) ฉันต้องการพล็อตพวกนี้สำหรับการวิเคราะห์เศษซาก

10 r  mixed-model  linear-model  residuals  leverage 

ฉันมีแบบฟอร์ม GLMM: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) เมื่อฉันใช้drop1(model, test="Chi")ฉันได้รับผลลัพธ์ที่แตกต่างกว่าถ้าผมใช้จากแพคเกจรถหรือAnova(model, type="III") summary(model)สองหลังนี้ให้คำตอบเดียวกัน จากการใช้ข้อมูลที่ประดิษฐ์ขึ้นมาฉันพบว่าทั้งสองวิธีปกติไม่แตกต่างกัน พวกเขาให้คำตอบเดียวกันสำหรับแบบจำลองเชิงเส้นที่มีความสมดุลแบบจำลองเชิงเส้นที่ไม่สมดุล (ซึ่งไม่เท่ากันในกลุ่มต่าง ๆ ) และสำหรับแบบจำลองเชิงเส้นที่สมดุลแบบทั่วไป ดังนั้นจึงปรากฏว่าเฉพาะในกรณีที่มีการรวมปัจจัยแบบสุ่มเข้าด้วยกัน ทำไมจึงมีความคลาดเคลื่อนระหว่างสองวิธีนี้? เมื่อใช้ GLMM ควรAnova()หรือdrop1()จะใช้งานอย่างไร ความแตกต่างระหว่างสองสิ่งนี้ค่อนข้างเล็กน้อยอย่างน้อยสำหรับข้อมูลของฉัน มันมีความสำคัญต่อการใช้งานหรือไม่?

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

ฉันมีโมเดลเชิงเส้นต่อไปนี้: เพื่อแก้ไขปัญหาความแตกต่างแบบตกค้างฉันพยายามใช้การแปลงบันทึกกับตัวแปรตามเป็นแต่ฉันยังคงเห็นแฟน ๆ มีผลต่อส่วนที่เหลือ ค่า DV มีขนาดค่อนข้างเล็กดังนั้นการเพิ่มค่าคงที่ +1 ก่อนที่จะบันทึกอาจไม่เหมาะสมในกรณีนี้log(Y+1)log⁡(Y+1)\log(Y + 1) > summary(Y) Min. :-0.0005647 1st Qu.: 0.0001066 Median : 0.0003060 Mean : 0.0004617 3rd Qu.: 0.0006333 Max. : 0.0105730 NA's :30.0000000 ฉันจะแปลงตัวแปรเพื่อปรับปรุงข้อผิดพลาดการทำนายและความแปรปรวนได้อย่างไรโดยเฉพาะอย่างยิ่งสำหรับค่าที่เหมาะสมที่สุด

10 regression  data-transformation  linear-model  heteroscedasticity 

สมมติว่าฉันสนใจโมเดลการถดถอยเชิงเส้นสำหรับ Yผม=β0+β1x1+β2x2+β3x1x2Yi=β0+β1x1+β2x2+β3x1x2Y_i = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_1x_2เพราะฉันต้องการดูว่าปฏิสัมพันธ์ระหว่าง covariates ทั้งสองมีผลต่อ Y หรือไม่ ในบันทึกรายวิชาของอาจารย์ (ซึ่งฉันไม่ได้ติดต่อด้วย) จะกล่าวถึง: เมื่อรวมถึงคำศัพท์เชิงโต้ตอบคุณควรรวมคำศัพท์ระดับปริญญาที่สองของพวกเขาไว้ด้วย กล่าวคือYผม=β0+β1x1+β2x2+β3x1x2+β4x21+β5x22Yi=β0+β1x1+β2x2+β3x1x2+β4x12+β5x22Y_i = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_1x_2 +\beta_4x_1^2 + \beta_5x_2^2 ควรรวมอยู่ในการถดถอย ทำไมหนึ่งควรรวมถึงข้อกำหนดระดับที่สองเมื่อเราสนใจเฉพาะการโต้ตอบ?

10 regression  multiple-regression  interaction  linear-model 

คุณคิดอย่างไรเกี่ยวกับการใช้การถดถอยกับโครงการนอกช่วงข้อมูล หากเราแน่ใจว่ามันเป็นไปตามรูปแบบเชิงเส้นหรือพลังงานรูปแบบนั้นจะไม่เป็นประโยชน์นอกเหนือจากช่วงข้อมูลหรือไม่ เช่นฉันมีปริมาณการขับเคลื่อนด้วยราคา เราควรจะสามารถคาดการณ์ราคานอกช่วงข้อมูลที่ฉันเชื่อ ความคิดของคุณ? VOL PRICE 3044 4.97 2549 4.97 3131 4.98 2708 4.98 2860 4.98 2907 4.98 3107 4.98 3194 4.98 2753 4.98 3228 4.98 3019 4.98 3077 4.99 2597 4.99 2706 4.99 3000 4.99 3022 4.99 3084 4.99 3973 4.99 3675 4.99 3065 4.99 3407 4.99 2359 …

10 regression  dataset  linear-model 

ในการถดถอยเชิงเส้นฉันได้พบผลลัพธ์ที่น่ายินดีว่าถ้าเราพอดีกับแบบจำลอง E[Y]=β1X1+β2X2+c,E[Y]=β1X1+β2X2+c,E[Y] = \beta_1 X_1 + \beta_2 X_2 + c, แล้วถ้าเราสร้างมาตรฐานและศูนย์ ,และข้อมูลYYYX1X1X_1X2X2X_2 R2=Cor(Y,X1)β1+Cor(Y,X2)β2.R2=Cor(Y,X1)β1+Cor(Y,X2)β2.R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2. สิ่งนี้ทำให้ฉันรู้สึกเหมือนเป็นตัวแปร 2 รุ่นของสำหรับการถดถอยซึ่งเป็นที่ชื่นชอบR2=Cor(Y,X)2R2=Cor(Y,X)2R^2 = \mathrm{Cor}(Y,X)^2y=mx+cy=mx+cy=mx+c แต่ข้อพิสูจน์เดียวที่ฉันรู้ไม่ได้อยู่ในเชิงสร้างสรรค์หรือลึกซึ้ง (ดูด้านล่าง) และยังมองมันรู้สึกว่าควรเข้าใจได้ง่าย ตัวอย่างความคิด: และพารามิเตอร์ให้เรา 'สัดส่วนของและβ1β1\beta_1β2β2\beta_2X1X1X_1X2X2X_2ในYYYและดังนั้นเราจึงได้สัดส่วนตามความสัมพันธ์ของพวกเขา ... ββ\betas มีความสัมพันธ์บางส่วน R2R2R^2 คือความสัมพันธ์หลายกำลังสอง ... ความสัมพันธ์คูณด้วยความสัมพันธ์บางส่วน ... ถ้าเราปรับมุมฉากก่อนจากนั้น ββ\betaจะเป็น Cov/VarCov/Var\mathrm{Cov}/\mathrm{Var}... ผลลัพธ์นี้มีความหมายทางเรขาคณิตหรือไม่? ดูเหมือนว่าไม่มีหัวข้อใดที่จะนำพาฉันไปได้ทุกที่ ทุกคนสามารถให้คำอธิบายที่ชัดเจนเกี่ยวกับวิธีการเข้าใจผลลัพธ์นี้ หลักฐานไม่น่าพอใจ R2=SSregSSTot=SSregN=⟨(β1X1+β2X2)2⟩=⟨β21X21⟩+⟨β22X22⟩+2⟨β1β2X1X2⟩R2=SSregSSTot=SSregN=⟨(β1X1+β2X2)2⟩=⟨β12X12⟩+⟨β22X22⟩+2⟨β1β2X1X2⟩\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} …

10 regression  linear-model  r-squared  proof 

ฉันมีตัวอย่างของจุดข้อมูล 1,449 จุดที่ไม่สัมพันธ์กัน (r-squared 0.006) เมื่อวิเคราะห์ข้อมูลฉันค้นพบว่าการแบ่งค่าตัวแปรอิสระออกเป็นกลุ่มเชิงบวกและเชิงลบดูเหมือนว่าจะมีความแตกต่างอย่างมีนัยสำคัญในค่าเฉลี่ยของตัวแปรตามสำหรับแต่ละกลุ่ม การแบ่งคะแนนออกเป็น 10 ถังขยะ (deciles) โดยใช้ค่าตัวแปรอิสระดูเหมือนว่าจะมีความสัมพันธ์กันมากขึ้นระหว่างหมายเลข decile และค่าตัวแปรขึ้นอยู่กับค่าเฉลี่ย (r-squared 0.27) ฉันไม่รู้เกี่ยวกับสถิติมากนักดังนั้นนี่เป็นคำถามสองสามข้อ: นี่เป็นวิธีทางสถิติที่ถูกต้องหรือไม่? มีวิธีการหาจำนวนที่ดีที่สุดของถังขยะหรือไม่? คำที่เหมาะสมสำหรับแนวทางนี้คืออะไรฉันจึงสามารถใช้ Google ได้ มีแหล่งข้อมูลเบื้องต้นอะไรบ้างที่จะเรียนรู้เกี่ยวกับวิธีการนี้ มีวิธีอื่นใดอีกบ้างที่ฉันสามารถใช้เพื่อค้นหาความสัมพันธ์ในข้อมูลนี้ นี่คือข้อมูลช่วงชั้นสำหรับการอ้างอิง: https://gist.github.com/georgeu2000/81a907dc5e3b7952bc90 แก้ไข: นี่คือภาพของข้อมูล: โมเมนตัมของอุตสาหกรรมเป็นตัวแปรอิสระคุณภาพของจุดเข้าใช้งานขึ้นอยู่กับ

10 regression  correlation  linear-model  r-squared 

นี่เป็นเพียงตัวอย่างที่ฉันเจอหลายครั้งดังนั้นฉันจึงไม่มีข้อมูลตัวอย่าง ใช้แบบจำลองการถดถอยเชิงเส้นใน R: a.lm = lm(Y ~ x1 + x2) x1เป็นตัวแปรต่อเนื่อง x2เป็นหมวดหมู่และมีสามค่าเช่น "ต่ำ", "ปานกลาง" และ "สูง" อย่างไรก็ตามเอาต์พุตที่กำหนดโดย R จะเป็นดังนี้: summary(a.lm) Estimate Std. Error t value Pr(>|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 ฉันเข้าใจว่า R แนะนำการเข้ารหัสแบบหลอกบางอย่างเกี่ยวกับปัจจัยดังกล่าว ( …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

พื้นหลัง ฉันมีข้อมูลจากการศึกษาภาคสนามซึ่งมีสี่ระดับการรักษาและหกซ้ำในแต่ละช่วงตึก (4x6x2 = 48 การสังเกต) บล็อกอยู่ห่างกันประมาณ 1 ไมล์และภายในบล็อกมีตารางของ 42, 2m x 4m แปลงและทางเดินกว้าง 1m; การศึกษาของฉันใช้เพียง 24 แปลงในแต่ละบล็อก ฉันต้องการประเมินความแปรปรวนร่วมเชิงพื้นที่ นี่คือตัวอย่างการวิเคราะห์โดยใช้ข้อมูลจากบล็อกเดียวโดยไม่มีการบัญชีสำหรับความแปรปรวนร่วมเชิงพื้นที่ ในชุดข้อมูลplotคือ id ของพล็อตxคือตำแหน่ง x และyตำแหน่ง y ของแต่ละพล็อตที่มีพล็อต 1 อยู่ตรงกลางที่ 0, 0 levelคือระดับการรักษาและresponseเป็นตัวแปรตอบกลับ layout <- structure(list(plot = c(1L, 3L, 5L, 7L, 8L, 11L, 12L, 15L, 16L, 17L, 18L, 22L, 23L, 26L, …

10 r  spatial  linear-model  covariance 

ใน 'องค์ประกอบของการเรียนรู้ทางสถิติ' นิพจน์สำหรับการสลายตัวของความแปรปรวนแบบอคติของแบบจำลองเชิงเส้นจะได้รับเป็น ที่เป็นฟังก์ชันเป้าหมายจริงคือความแปรปรวนของข้อผิดพลาดแบบสุ่มในโมเดลและเป็นประมาณการเชิงเส้นของ(x)Err(x0)=σ2ϵ+E[f(x0)−Ef^(x0)]2+||h(x0)||2σ2ϵ,Err(x0)=σϵ2+E[f(x0)−Ef^(x0)]2+||h(x0)||2σϵ2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,f(x0)f(x0)f(x_0)σ2ϵσϵ2 \sigma_\epsilon^2y=f(x)+ϵy=f(x)+ϵy=f(x)+\epsilonf^(x)f^(x)\hat f(x)f(x)f(x)f(x) คำแปรปรวนทำให้ฉันหนักใจที่นี่เพราะสมการบอกเป็นนัยว่าความแปรปรวนจะเป็นศูนย์ถ้าเป้าหมายไม่มีเสียงนั่นคือแต่มันก็ไม่สมเหตุสมผลสำหรับฉันเพราะแม้จะมีสัญญาณรบกวนเป็นศูนย์ฉันยังสามารถรับตัวประมาณแตกต่างกันสำหรับชุดการฝึกอบรมที่แตกต่างกันซึ่งหมายถึงความแปรปรวนไม่ใช่ศูนย์σ2ϵ=0.σϵ2=0.\sigma_\epsilon^2=0.f^(x0)f^(x0)\hat f(x_0) ตัวอย่างเช่นสมมติว่าฟังก์ชันเป้าหมายเป็นกำลังสองและข้อมูลการฝึกอบรมมีสองจุดตัวอย่างที่สุ่มจากกำลังสองนี้ ชัดเจนฉันจะได้เส้นตรงที่แตกต่างกันทุกครั้งที่ฉันสุ่มตัวอย่างสองคะแนนจากการสุ่มกำลังสอง - เป้าหมาย แล้วความแปรปรวนเป็นศูนย์ได้อย่างไรf(x0)f(x0)f(x_0) ใครช่วยให้ฉันรู้ว่ามีอะไรผิดปกติในความเข้าใจของฉันเกี่ยวกับการย่อยสลายความแปรปรวนแบบอคติ?

9 regression  linear-model  bias-variance-tradeoff 

ในเศรษฐศาสตรเบื้องต้นของ Wooldridge มีข้อความอ้างอิง: ข้อโต้แย้งที่แสดงให้เห็นถึงการแจกแจงปกติสำหรับข้อผิดพลาดมักจะทำสิ่งนี้: เพราะเป็นผลรวมของปัจจัยที่ไม่ได้สังเกตเห็นหลายอย่างที่มีผลต่อเราจึงสามารถเรียกทฤษฎีบทขีด จำกัด กลางเพื่อสรุปว่ามีการแจกแจงแบบปกติโดยประมาณuuuyyyuuu คำพูดนี้เกี่ยวข้องกับหนึ่งในสมมติฐานโมเดลเชิงเส้นคือ: u∼N(μ,σ2)u∼N(μ,σ2)u \sim N(μ, σ^2) โดยที่uuuคือคำผิดพลาดในตัวแบบประชากร ทีนี้เท่าที่ฉันรู้ทฤษฎีขีด จำกัด กลางระบุว่าการกระจายตัวของ Zi=(Yi¯¯¯¯¯−μ)/(σ/√n)Zi=(Yi¯−μ)/(σ/√n)Z_i=(\overline{Y_i}-μ)/(σ/√n) (โดยที่Yi¯¯¯¯¯Yi¯\overline{Y_i} เป็นค่าเฉลี่ยของกลุ่มตัวอย่างสุ่มจากประชากรใด ๆ ที่มีค่าเฉลี่ยμμμและความแปรปรวนσ2σ2σ^2 ) วิธีการที่ของตัวแปรปกติมาตรฐานn→∞n→∞n \rightarrow \infty\ คำถาม: ช่วยฉันเข้าใจว่ามาตรฐานความเป็นซีมโทติคของZiZiZ_iหมายถึงu∼N(μ,σ2)u∼N(μ,σ2)u \sim N(μ, σ^2)

9 self-study  linear-model  econometrics  normality-assumption  central-limit-theorem 

เมื่อเร็ว ๆ นี้เพื่อนของฉันคนหนึ่งถามว่าอะไรที่ธรรมดามาก ๆ ดูเหมือนว่าเราจะไม่ได้อยู่ที่ใดในการสนทนา เราทั้งสองตกลงกันว่า OLS เป็นกรณีพิเศษของโมเดลเชิงเส้นมีประโยชน์หลายอย่างรู้กันดีและเป็นกรณีพิเศษของรุ่นอื่น ๆ แต่ทั้งหมดนี้จริงเหรอ? ดังนั้นฉันต้องการทราบ: ชื่อมาจากไหนจริงๆ ใครเป็นคนแรกที่ใช้ชื่อ?

9 regression  linear-model  least-squares  terminology