คำถามติดแท็ก regression

ในการถดถอยเชิงเส้นอย่างง่ายเรามักจะต้องการตรวจสอบว่าสมมติฐานบางอย่างตรงตามความสามารถในการอนุมาน (เช่นกระจายตามปกติ) มันมีเหตุผลที่จะตรวจสอบสมมติฐานโดยการตรวจสอบว่าค่าติดตั้งมีการกระจายตามปกติ?

12 regression  residuals  diagnostic 

วิธีการคำนวณความไม่แน่นอนของความชันการถดถอยเชิงเส้นตามความไม่แน่นอนของข้อมูล (อาจเป็นใน Excel / Mathematica) ตัวอย่าง: เรามีจุดข้อมูล (0,0), (1,2), (2,4), (3,6), (4,8), ... (8, 16) แต่ค่า y แต่ละค่ามี ความไม่แน่นอนของ 4. ฟังก์ชั่นส่วนใหญ่ที่ฉันพบจะคำนวณความไม่แน่นอนเป็น 0 เนื่องจากคะแนนตรงกับฟังก์ชัน y = 2x แต่ดังที่แสดงในภาพ y = x / 2 ตรงกับจุดเช่นกัน มันเป็นตัวอย่างที่พูดเกินจริง แต่ฉันหวังว่ามันจะแสดงสิ่งที่ฉันต้องการ แก้ไข: ถ้าฉันพยายามอธิบายให้มากขึ้นในขณะที่ทุกจุดในตัวอย่างมีค่าที่แน่นอนของ y เราทำท่าว่าเราไม่รู้ว่ามันจริงหรือไม่ ตัวอย่างเช่นจุดแรก (0,0) อาจเป็นจริง (0,6) หรือ (0, -6) หรืออะไรก็ตามที่อยู่ระหว่างนั้น ฉันถามว่ามีอัลกอริทึมในปัญหายอดนิยมใด ๆ ที่พิจารณาในบัญชีนี้หรือไม่ …

12 regression  uncertainty 

ฉันมีการถดถอยเชิงเส้นที่ค่อนข้างดีฉันเดา (สำหรับโครงการมหาวิทยาลัยดังนั้นฉันจึงไม่จำเป็นต้องแม่นยำอย่างแท้จริง) ประเด็นคือถ้าฉันพล็อตส่วนที่เหลือเทียบกับค่าที่คาดการณ์ไว้มี (ตามครูของฉัน) มีคำใบ้ของ heteroskedasticity แต่ถ้าฉันพล็อต QQ-Plot ของส่วนที่เหลือก็เป็นที่ชัดเจนว่าพวกมันกระจายตามปกติ ยิ่งกว่านั้นการทดสอบชาปิโร่เกี่ยวกับส่วนที่เหลือมีค่าเท่ากับดังนั้นฉันคิดว่าไม่ต้องสงสัยเลยว่าโดยปกติการกระจายตัวของสิ่งที่เหลืออยู่พีพีp0.80.80.8 คำถาม:จะมีค่า heteroskedasticity ในการทำนายค่าได้อย่างไรถ้ามีการแจกแจงเศษตกค้างตามปกติ?

12 regression  normal-distribution  residuals  heteroscedasticity 

เมื่อคุณทำการถดถอยแบบ OLS และพล็อตค่าส่วนที่เหลือที่เกิดขึ้นคุณจะบอกได้อย่างไรว่าส่วนที่เหลือมีความสัมพันธ์โดยอัตโนมัติ ฉันรู้ว่ามีการทดสอบสำหรับเรื่องนี้ (Durbin, Breusch-Godfrey) แต่ฉันก็สงสัยว่าถ้าคุณสามารถดูพล็อตที่จะวัดว่าการหาค่าอัตโนมัตรอาจเป็นปัญหา (เพราะสำหรับ heteroskedasticity

12 regression  autocorrelation  residuals 

ฉันได้รับชุดข้อมูลที่มีจำนวนรางวัลที่นักเรียนได้รับจากโรงเรียนมัธยมแห่งหนึ่งซึ่งผู้ทำนายจำนวนรางวัลที่ได้รับนั้นรวมถึงประเภทของโปรแกรมที่นักเรียนลงทะเบียนและคะแนนสอบปลายภาคในวิชาคณิตศาสตร์ ฉันสงสัยว่าถ้าใครสามารถบอกฉันได้ว่าทำไมแบบจำลองการถดถอยเชิงเส้นอาจไม่เหมาะสมในตัวอย่างนี้และทำไมมันจะดีกว่าถ้าใช้การถดถอยแบบปัวซอง ขอบคุณ

12 regression  generalized-linear-model  poisson-distribution  count-data 

ฉันต้องการเปรียบเทียบแบบจำลองการถดถอยเชิงเส้นสองแบบซึ่งเป็นตัวแทนของอัตราการลดลงของ mRNA เมื่อเวลาผ่านไปภายใต้เงื่อนไขที่แตกต่างกันสองแบบ ข้อมูลสำหรับแต่ละรุ่นรวบรวมอย่างอิสระ นี่คือชุดข้อมูล บันทึกเวลา (ชั่วโมง) (การรักษา A) บันทึก (การรักษา B) 0 2.02 1.97 0 2.04 2.06 0 1.93 1.96 2 2.02 1.91 2 2.00 1.95 2 2.07 1.82 4 1.96 1.97 4 2.02 1.99 4 2.02 1.99 6 1.94 1.90 6 1.94 1.97 6 1.86 1.88 8 1.93 …

12 regression  model-comparison 

ฉันมีข้อมูลที่มีฟีเจอร์ไม่กี่พันรายการและฉันต้องการทำการเลือกฟีเจอร์แบบเรียกซ้ำ (RFE) เพื่อลบข้อมูลที่ไม่ต้องการออก ฉันทำสิ่งนี้ด้วยคาเร็ตและ RFE อย่างไรก็ตามฉันเริ่มคิดว่าถ้าฉันต้องการได้รับแบบจำลองการถดถอยที่ดีที่สุด (เช่นฟอเรสต์แบบสุ่ม) ฉันควรทำการปรับพารามิเตอร์ ( mtryสำหรับ RF) เมื่อใด นั่นคือตามที่ฉันเข้าใจcaretฝึก RF ซ้ำ ๆ กันในชุดย่อยที่แตกต่างกันด้วย mtry คงที่ ฉันคิดว่าmtryควรพบสิ่งที่ดีที่สุดหลังจากการเลือกคุณสมบัติเสร็จสิ้นแล้ว แต่mtryค่าที่คาเร็ตใช้จะมีผลกับชุดย่อยของฟีเจอร์ที่เลือกหรือไม่ แน่นอนว่าการใช้คาเร็เทตกับ low mtryนั้นเร็วกว่ามาก หวังว่าใครบางคนสามารถอธิบายเรื่องนี้กับฉันได้

12 regression  feature-selection  random-forest  caret 

เมื่อพิจารณาจากอนุกรมเวลาสองแบบต่อไปนี้ ( x , y ; ดูด้านล่าง) วิธีใดที่ดีที่สุดในการสร้างแบบจำลองความสัมพันธ์ระหว่างแนวโน้มระยะยาวในข้อมูลนี้ อนุกรมเวลาทั้งสองมีการทดสอบ Durbin-Watson อย่างมีนัยสำคัญเมื่อทำตัวเป็นแบบของเวลาและไม่หยุดนิ่ง (อย่างที่ฉันเข้าใจคำศัพท์หรือสิ่งนี้หมายความว่ามันจะต้องอยู่นิ่งในที่เหลือเท่านั้น) ฉันได้รับการบอกว่านี่หมายความว่าฉันควรจะมีความแตกต่างลำดับที่หนึ่ง (อย่างน้อยอาจลำดับที่ 2) ของแต่ละชุดเวลาก่อนที่ฉันจะสามารถจำลองแบบหนึ่งเป็นหน้าที่ของอีกฝ่ายหนึ่งโดยใช้ arima เป็นหลัก (1,1,0 ), arima (1,2,0) เป็นต้น ฉันไม่เข้าใจว่าทำไมคุณต้องทำให้เสียโฉมก่อนที่คุณจะสามารถจำลองพวกเขา ฉันเข้าใจถึงความจำเป็นในการสร้างแบบจำลองความสัมพันธ์อัตโนมัติ แต่ฉันไม่เข้าใจว่าทำไมต้องมีความแตกต่าง สำหรับฉันดูเหมือนว่าการทำลายล้างโดยการสร้างความแตกต่างคือการลบสัญญาณหลัก (ในกรณีนี้แนวโน้มระยะยาว) ในข้อมูลที่เราสนใจและปล่อยให้ "เสียง" ความถี่สูงขึ้น (โดยใช้เสียงรบกวนอย่างหลวม ๆ ) ที่จริงแล้วในสถานการณ์จำลองที่ฉันสร้างความสัมพันธ์ที่สมบูรณ์แบบเกือบระหว่างซีรีส์ครั้งหนึ่งกับอีกแบบหนึ่งโดยไม่มีการเชื่อมต่ออัตโนมัติการหาไทม์ไลน์ที่แตกต่างกันทำให้ฉันได้ผลลัพธ์ที่ตอบโต้เพื่อวัตถุประสงค์ในการตรวจจับความสัมพันธ์เช่น a = 1:50 + rnorm(50, sd = 0.01) b = a + rnorm(50, sd = …

12 regression  time-series  arima 

ฉันได้รับรหัสการวิเคราะห์ข้อมูลที่ไม่ได้เป็นนักเศรษฐศาสตร์ฉันไม่สามารถเข้าใจได้ หนึ่งโมเดลรันการถดถอยตัวแปรเครื่องมือด้วยคำสั่ง Stata ต่อไปนี้ ivreg my_dv var1 var2 var3 (L.my_dv = D2.my_dv D3.my_dv D4.my_dv) ชุดข้อมูลนี้เป็นพาเนลที่มีการสังเกตแบบหลายลำดับสำหรับตัวแปรชุดนี้ ทำไมรหัสนี้ถึงใช้ค่า lagged ของ DV เป็นเครื่องดนตรี? ตามที่ฉันเข้าใจ (จากการขุดลงในตำราเรียนเก่า) การประมาณค่า IV จะถูกใช้เมื่อมีปัญหาเนื่องจาก regressor มีความสัมพันธ์กับคำที่ผิดพลาด อย่างไรก็ตามไม่มีการกล่าวถึงการเลือกหน่วงเวลาของ DV เป็นเครื่องมือ ความคิดเห็นในบรรทัดของรหัสนี้กล่าวถึง "causality" ความช่วยเหลือในการหาสิ่งที่เป็นเป้าหมายที่นี่จะได้รับการต้อนรับมากที่สุด

12 regression  stata  instrumental-variables 

ผมอ่านเกี่ยวกับเมตริกถดถอยในหลาม scikit การเรียนรู้ด้วยตนเองและแม้ว่าหนึ่งของพวกเขาแต่ละคนมีสูตรของตัวเองฉันไม่สามารถบอกสังหรณ์ใจว่าอะไรคือความแตกต่างระหว่างและคะแนนความแปรปรวนและดังนั้นเมื่อจะใช้อย่างใดอย่างหนึ่งหรืออื่นในการประเมิน โมเดลของฉันR2R2R^2

12 regression  variance  scikit-learn  r-squared  model-evaluation 

ฉันใช้หลักสูตร "การเรียนรู้ของเครื่องจักร" ของ Andrew Ng ผ่านทาง Coursera เมื่อไม่กี่เดือนก่อนโดยไม่สนใจวิชาคณิตศาสตร์ / ภาควิชาส่วนใหญ่และมุ่งเน้นไปที่การนำไปใช้และการปฏิบัติจริง ตั้งแต่นั้นมาฉันเริ่มกลับไปศึกษาทฤษฎีพื้นฐานบางอย่างและกลับมาเยี่ยมการบรรยายของศ. อึ้งอีกครั้ง ฉันกำลังอ่านผ่านการบรรยายของเขาใน "Normalized Linear Regression" และเห็นว่าเขาให้ฟังก์ชั่นค่าใช้จ่ายต่อไปนี้: J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθ2j]J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθj2]J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j] จากนั้นเขาให้การไล่ระดับสีต่อไปนี้สำหรับฟังก์ชันต้นทุนนี้: ∂∂θjJ(θ)=1m[∑i=1m(hθ(x(i))−y(i))x(i)j−λθj]∂∂θjJ(θ)=1m[∑i=1m(hθ(x(i))−y(i))xj(i)−λθj]\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j] ฉันสับสนเล็กน้อยเกี่ยวกับวิธีการที่เขาได้รับจากที่หนึ่งไปยังอีกที่ เมื่อฉันพยายามทำรากศัพท์ของตัวเองฉันได้ผลลัพธ์ดังนี้: ∂∂θjJ(θ)=1m[∑i=1m(hθ(x(i))+y(i))x(i)j+λθj]∂∂θjJ(θ)=1m[∑i=1m(hθ(x(i))+y(i))xj(i)+λθj]\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j] ความแตกต่างคือเครื่องหมาย 'บวก' ระหว่างฟังก์ชันต้นทุนดั้งเดิมและพารามิเตอร์การทำให้เป็นมาตรฐานในสูตรของ Prof. …

12 regression  self-study 

ฉันทำการถดถอยโลจิสติกหลายตัวแปรโดยมีตัวแปรตามYเป็นตายที่บ้านพักคนชราภายในระยะเวลาหนึ่งของรายการและได้รับผลลัพธ์ดังต่อไปนี้ (โปรดทราบว่าตัวแปรเริ่มในAมันเป็นค่าอย่างต่อเนื่องในขณะที่เริ่มต้นBเป็นหมวดหมู่): Call: glm(Y ~ A1 + B2 + B3 + B4 + B5 + A6 + A7 + A8 + A9, data=mydata, family=binomial) Deviance Residuals: Min 1Q Median 3Q Max -1.0728 -0.2167 -0.1588 -0.1193 3.7788 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 20.048631 6.036637 3.321 0.000896 *** A1 …

12 r  regression  logistic 

ฉันกำลังอ่านองค์ประกอบของการเรียนรู้เชิงสถิติและหน้า 12 (ส่วน 2.3) โมเดลเชิงเส้นจะได้รับการบันทึกเป็น: Yˆ= XTβˆY^=XTβ^\widehat{Y} = X^{T} \widehat{\beta} ... โดยที่คือการย้ายของเวกเตอร์คอลัมน์ของตัวทำนาย / ตัวแปรอิสระ / อินพุต (มันระบุก่อนหน้านี้ "เวกเตอร์ทั้งหมดจะถือว่าเป็นพาหะคอลัมน์" เพื่อที่จะไม่ทำให้นี้X Tเวกเตอร์แถวและเบต้าเวกเตอร์คอลัมน์?)XTXTX^{T}XTXTX^{T}βˆβ^\widehat{\beta} สิ่งที่รวมอยู่ในคือ " 1 " ที่จะถูกคูณกับสัมประสิทธิ์ที่สอดคล้องกันซึ่งให้การสกัด (ค่าคงที่)XXX111 มันพูดต่อไปว่า: ในพื้นที่อินพุทมิติ, ( X , Y )หมายถึงไฮเปอร์เพล หากค่าคงที่รวมอยู่ในXแล้วไฮเปอร์เพลนจะรวมค่าเริ่มต้นและเป็นพื้นที่ย่อย หากไม่ได้ก็เป็นชุดเลียนแบบตัดYแกนที่จุด ( 0 , ^ β 0 )( p + 1 )(p+1)(p + 1)( X, วาย …

12 regression  references  statistical-learning 

ฉันกำลังอ่านบทที่ 13 "การผจญภัยในความแปรปรวนร่วม" ในหนังสือ ( สุดยอด ) การทบทวนทางสถิติโดย Richard McElreathซึ่งเขานำเสนอรูปแบบลำดับชั้นดังต่อไปนี้: ( Rเป็นเมทริกซ์สหสัมพันธ์) ผู้เขียนอธิบายว่าLKJcorrมันเป็นข้อมูลที่อ่อนแอก่อนที่จะทำงานเป็น normalizing ก่อนสำหรับเมทริกซ์ความสัมพันธ์ แต่ทำไมถึงเป็นเช่นนั้น? มีการLKJcorrกระจายแบบใดที่ทำให้เป็นแบบอย่างที่ดีสำหรับเมทริกซ์สหสัมพันธ์? มีนักบวชที่ดีคนอื่น ๆ ที่ใช้ในการฝึกอบรมสำหรับความสัมพันธ์?

12 regression  self-study  correlation  prior  hierarchical-bayesian 

ฉันได้อ่านแล้วว่าการใช้ R-squared สำหรับอนุกรมเวลานั้นไม่เหมาะสมเพราะในบริบทของอนุกรมเวลา (ฉันรู้ว่ามีบริบทอื่น ๆ ) R-squared นั้นไม่เหมือนกันอีกต่อไป ทำไมนี้ ฉันพยายามค้นหามัน แต่ฉันไม่พบอะไรเลย โดยทั่วไปแล้วฉันไม่ได้ให้ความสำคัญกับ R-squared (หรือ Adjusted R-Squared) เมื่อฉันประเมินแบบจำลองของฉัน แต่เพื่อนร่วมงานจำนวนมากของฉัน (เช่นวิชาเอกธุรกิจ) นั้นหลงรัก R-Squared และฉันต้องการที่จะ อธิบายกับพวกเขาว่าทำไม R-Squared จึงไม่เหมาะสมในบริบทของอนุกรมเวลา

12 regression  time-series  r-squared