คำถามติดแท็ก regression

ฉันใช้การสุ่มตัวอย่างแบบสุ่มของฟอเรสต์ในข้อมูลของฉันและฉันเห็นว่าคะแนน oob นั้นได้มาเป็น 0.83 ฉันไม่แน่ใจว่ามันจะเป็นเช่นนี้ได้อย่างไร ฉันหมายความว่าเป้าหมายของฉันมีค่าสูงในช่วง 10 ^ 7 ดังนั้นถ้าเป็น MSE มันน่าจะสูงกว่านี้มาก ฉันไม่เข้าใจสิ่งที่ 0.83 มีความหมายที่นี่ ฉันใช้การสุ่มตัวอย่าง RandomForestRegressor ของงูใหญ่ของชุดเครื่องมือ sklearn ฉันทำ model = RandomForestRegressor (max_depth = 7, n_estimators = 100, oob_score = True, n_jobs = -1) model.fit (trainX, trainY) จากนั้นฉันเห็น model.oob_score_ และรับค่าเช่น 0.83809026152005295

9 regression  random-forest 

ฉันได้รับการแก้ไขสำหรับงานวิจัยของฉันเมื่อเร็ว ๆ นี้และต่อไปนี้เป็นความคิดเห็นของผู้ตรวจทานบนกระดาษของฉัน: ผลลัพธ์ที่ได้จากแบบจำลองเดียวไม่น่าเชื่อโดยเฉพาะการถดถอยเชิงเส้นมักจะมีข้อบกพร่องในการจัดการกับคนผิดปกติ ฉันขอแนะนำให้ผู้เขียนลองถดถอยโลจิสติกและเปรียบเทียบผลลัพธ์ที่สอดคล้องกับผลลัพธ์ปัจจุบัน หากได้ข้อสังเกตที่คล้ายกันผลลัพธ์จะมีความมั่นคงมากขึ้น ความคิดเห็นของผู้วิจารณ์ถูกต้องหรือไม่ การถดถอยโลจิสติกดีกว่าการถดถอยเชิงเส้นหลายครั้งหรือไม่ ปัญหาคือว่าตัวแปรตามของฉันไม่ได้จัดหมวดหมู่มันเป็นตัวแปรขนาด ฉันจะทำอะไรได้บ้าง คุณแนะนำวิธีการถดถอยแบบอื่นใดในการประเมินโมเดลของฉัน คะแนนขึ้นอยู่กับตัวแปรในตารางต่อไปนี้ ความใหม่ความถี่การครอบครองและคะแนนสุดท้ายเป็นตัวแปรอิสระ ฉันได้แยกตัวแปรเหล่านี้ออกจากไซต์แล้วและฉันตั้งสมมติฐานว่าตัวแปรอิสระเหล่านี้มีผลต่อคะแนนอย่างมาก ดังนั้นฉันเป็นตัวแทนของรุ่นต่อไปนี้: ยังไงก็ตามค่าของ R กำลังสองสำหรับโมเดลเชิงเส้นนี้คือ 0.316! ผู้ตรวจสอบยังแสดงความคิดเห็นเกี่ยวกับค่านี้เช่นกัน: ผลลัพธ์จะไม่น่าเชื่อถือเนื่องจากไม่มีตัวบ่งชี้คุณภาพของสัมประสิทธิ์ที่เรียนรู้ R ^ 2 ขนาดเล็กไม่สามารถบ่งบอกถึงประสิทธิภาพที่ดีเนื่องจากรุ่นอาจติดตั้งเกินขนาด 0.316 ต่ำมากสำหรับ R กำลังสองหรือไม่ ในเอกสารก่อนหน้านี้ฉันเห็นคุณค่าที่คล้ายกันมาก

9 regression  logistic  multiple-regression 

ผมได้ข้อมูลต่อไปนี้ตั้งอยู่ที่นี่ ฉันพยายามคำนวณช่วงความมั่นใจ 95% ของความบริสุทธิ์เฉลี่ยเมื่อเปอร์เซ็นต์ไฮโดรคาร์บอนเท่ากับ 1.0 ใน R ฉันป้อนสิ่งต่อไปนี้ > predict(purity.lm, newdata=list(hydro=1.0), interval="confidence", level=.95) fit lwr upr 1 89.66431 87.51017 91.81845 อย่างไรก็ตามฉันจะได้ผลลัพธ์นี้ด้วยตนเองได้อย่างไร ฉันพยายามใช้สมการต่อไปนี้ sn E W=s2( 1 +1ยังไม่มีข้อความ+(xn E W-x¯)2∑ (xผม-x¯)2)----------------------√snอีW=s2(1+1ยังไม่มีข้อความ+(xnอีW-x¯)2Σ(xผม-x¯)2)s_{new}=\sqrt{s^2\left(1+\frac{1}{N}+\frac{(x_{new}-\bar x)^2}{\sum(x_i-\bar x)^2}\right)} และฉันป้อนสิ่งต่อไปนี้ในอาร์ > SSE_line = sum((purity - (77.863 + 11.801*hydro))^2) > MSE = SSE_line/18 > t.quantiles <- qt(c(.025, .975), …

9 r  regression  confidence-interval  prediction-interval 

ฉันกำลังคิดเกี่ยวกับปัญหาที่จะทำนายการใช้จ่ายของลูกค้าโดยใช้การถดถอยเชิงเส้น ฉันกำลังพิจารณาว่าฟีเจอร์ใดที่จะใช้เป็นอินพุตและสงสัยว่ามันจะโอเคที่จะใช้เปอร์เซ็นไทล์ของตัวแปรเป็นอินพุต ตัวอย่างเช่นฉันสามารถใช้รายได้ของ บริษัท เป็นอินพุท สิ่งที่ฉันสงสัยคือฉันสามารถใช้เปอร์เซ็นต์รายได้ของ บริษัท แทนได้หรือไม่ อีกตัวอย่างหนึ่งจะเป็นลักษณนามอุตสาหกรรมเด็ดขาด (NAICS) - ถ้าฉันดูค่าใช้จ่ายเฉลี่ยต่อรหัส NAICS แล้วกำหนดรหัส NAICS ให้กับ 'NAICS Percentile' ซึ่งเป็นตัวแปรอธิบายที่ถูกต้องที่ฉันสามารถใช้ได้หรือไม่ เพียงแค่สงสัยว่ามีปัญหาใด ๆ ที่ควรระวังเมื่อใช้เปอร์เซ็นไทล์หรือไม่ ในบางวิธีเทียบเท่ากับการปรับขนาดประเภทหรือไม่

9 regression  linear-model  quantiles  predictor 

ฉันใช้การถดถอยโลจิสติกรุ่นมาตรฐานเพื่อให้พอดีกับตัวแปรอินพุตของฉันกับตัวแปรเอาต์พุตไบนารี อย่างไรก็ตามในปัญหาของฉันผลลัพธ์ลบ (0s) มีจำนวนมากกว่าผลบวก (1s) อัตราส่วนคือ 20: 1 ดังนั้นเมื่อฉันฝึกตัวจําแนกเสียงดูเหมือนว่าแม้กระทั่งคุณสมบัติที่แนะนําอย่างยิ่งถึงความเป็นไปได้ของเอาต์พุตเชิงบวกที่ยังคงมีค่าที่ต่ำมาก (ค่าลบสูง) สำหรับพารามิเตอร์ที่สอดคล้องกัน สำหรับฉันดูเหมือนว่าสิ่งนี้เกิดขึ้นเพราะมีตัวอย่างเชิงลบจำนวนมากเกินไปที่ดึงพารามิเตอร์ในทิศทางของพวกเขา ดังนั้นฉันสงสัยว่าฉันสามารถเพิ่มน้ำหนัก (พูดโดยใช้ 20 แทน 1) สำหรับตัวอย่างที่เป็นบวก สิ่งนี้มีแนวโน้มที่จะได้รับประโยชน์หรือไม่? และถ้าเป็นเช่นนั้นฉันจะเพิ่มน้ำหนักได้อย่างไร (ในสมการด้านล่าง) ฟังก์ชั่นค่าใช้จ่ายมีลักษณะดังต่อไปนี้: J= ( - 1 / m ) ⋅Σi = 1ม.Y⋅ บันทึก( เอช( x ⋅ θ ) ) + ( 1 - Y) ( 1 - บันทึก( เอช( x …

9 regression  logistic  weighted-regression 

ฉันกำลังพยายามที่จะได้รับปรีชาสำหรับการถดถอยแบบเกาส์กระบวนการดังนั้นฉันจึงสร้างปัญหาของเล่น 1D แบบง่ายๆเพื่อทดลองใช้ ฉันใช้เป็นอินพุตและเป็นคำตอบ ('ได้แรงบันดาลใจ' จากy = x ^ 2 )xผม= { 1 , 2 , 3 }xi={1,2,3}x_i=\{1,2,3\}Yผม= { 1 , 4 , 9 }yi={1,4,9}y_i=\{1,4,9\}Y=x2y=x2y=x^2 สำหรับการถดถอยฉันใช้ฟังก์ชันเคอร์เนลเอ็กซ์โพเนนเชียลกำลังสองมาตรฐาน: เค(xพี,xQ) =σ2ฉประสบการณ์( -12ล.2|xพี-xQ|2)k(xp,xq)=σf2exp⁡(−12l2|xp−xq|2)k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right) ฉันสันนิษฐานว่ามีเสียงรบกวนพร้อมค่าเบี่ยงเบนมาตรฐานσnσn\sigma_nดังนั้นเมทริกซ์ความแปรปรวนร่วมจึงกลายเป็น: Kหน้าq= k (xพี,xQ) +σ2nδหน้าqKpq=k(xp,xq)+σn2δpqK_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq} hyperparameters (σn, l ,σฉ)(σn,l,σf)(\sigma_n,l,\sigma_f)อยู่ที่ประมาณโดยการเพิ่มโอกาสในการเข้าสู่ระบบของข้อมูล เพื่อให้การคาดการณ์ที่จุดx⋆x⋆x_\starฉันพบค่าเฉลี่ยและความแปรปรวนตามลำดับโดยต่อไปนี้ …

9 regression  gaussian-process 

ประชากร r-squareสามารถกำหนดสมมติว่าเป็นคะแนนคงที่หรือคะแนนสุ่ม:ρ2ρ2\rho^2 คะแนนคงที่: ขนาดตัวอย่างและค่าเฉพาะของตัวทำนายจะได้รับการแก้ไข ดังนั้นคือสัดส่วนของความแปรปรวนที่อธิบายในผลลัพธ์โดยสมการการถดถอยของประชากรเมื่อค่าของตัวทำนายคงที่ρ2ฉρฉ2\rho^2_f คะแนนสุ่ม: ค่าเฉพาะของผู้ทำนายนั้นมาจากการแจกแจง ดังนั้นหมายถึงสัดส่วนของความแปรปรวนที่อธิบายในผลลัพธ์ในประชากรที่ค่าของตัวทำนายนั้นสอดคล้องกับการกระจายตัวของประชากรของตัวทำนายρ2RρR2\rho^2_r ผมเคยถามไว้ก่อนหน้านี้เกี่ยวกับการไม่ว่าจะเป็นความแตกต่างนี้ทำให้แตกต่างกันมากการประมาณการของρ2ρ2\rho^2 2 ฉันยังเคยถามทั่วไปเกี่ยวกับวิธีการคำนวณประมาณการเป็นกลางของ ρ2ρ2\rho^2 2 ฉันเห็นได้ว่าเมื่อขนาดตัวอย่างเพิ่มความแตกต่างระหว่างคะแนนคงที่และคะแนนสุ่มก็สำคัญน้อยลง แต่ฉันพยายามที่จะยืนยันว่าการปรับถูกออกแบบมาเพื่อประเมินคะแนนคงที่หรือคะแนนสุ่ม 2R2R2R^2ρ2ρ2\rho^2 คำถาม มีการปรับ เพื่อประเมินคะแนนคงที่หรือคะแนนสุ่มหรือไม่R2R2R^2ρ2ρ2\rho^2 มีคำอธิบายหลักการว่าสูตรสำหรับการปรับ r-square นั้นเกี่ยวข้องกับรูปแบบใดรูปแบบหนึ่งหรือไม่?ρ2ρ2\rho^2 เบื้องหลังความสับสนของฉัน เมื่อฉันอ่าน Yin และ Fan (2001, p.206) พวกเขาเขียน: หนึ่งในข้อสมมติฐานพื้นฐานของตัวแบบการถดถอยพหุคูณก็คือค่าของตัวแปรอิสระเป็นค่าคงที่ที่รู้จักกันและได้รับการแก้ไขโดยนักวิจัยก่อนการทดลอง เฉพาะตัวแปรที่ขึ้นต่อกันเท่านั้นที่มีอิสระในการเปลี่ยนแปลงจากกลุ่มตัวอย่างเป็นกลุ่มตัวอย่าง ตัวแบบการถดถอยที่เรียกว่ารูปแบบการถดถอยเชิงเส้นคงที่ อย่างไรก็ตามในสังคมศาสตร์และพฤติกรรมศาสตร์ค่าของตัวแปรอิสระไม่ค่อยได้รับการแก้ไขโดยนักวิจัยและยังมีข้อผิดพลาดแบบสุ่ม ดังนั้นรูปแบบการถดถอยครั้งที่สองสำหรับแอปพลิเคชันได้รับการแนะนำซึ่งทั้งสองตัวแปรขึ้นอยู่กับและเป็นอิสระได้รับอนุญาตให้แตกต่างกัน (Binder, 1959; Park & ​​Dudycha, 1974) โมเดลนั้นเรียกว่าโมเดลแบบสุ่ม (หรือโมเดลการแก้ไข) แม้ว่าการประมาณค่าความน่าจะเป็นสูงสุดของสัมประสิทธิ์การถดถอยที่ได้จากแบบจำลองแบบสุ่มและแบบคงที่จะเหมือนกันภายใต้สมมติฐานเชิงบรรทัดฐานการแจกแจงของพวกมันนั้นแตกต่างกันมาก แบบจำลองแบบสุ่มนั้นซับซ้อนมากซึ่งจำเป็นต้องทำการวิจัยเพิ่มเติมก่อนจึงจะสามารถใช้แทนแบบจำลองการถดถอยเชิงเส้นคงที่ที่ใช้กันทั่วไป ดังนั้นรูปแบบคงที่จึงมักจะใช้ แม้ในกรณีที่สมมติฐานไม่สมบูรณ์ (Claudy, 1978) แอ็พพลิเคชันของโมเดลการถดถอยแบบคงที่ที่มีการละเมิดสมมติฐานจะทำให้ …

9 regression  estimation  r-squared 

สถานการณ์ ฉันมีชุดข้อมูลที่มีขึ้นหนึ่งและเป็นหนึ่งในตัวแปรอิสระxฉันต้องการที่จะพอดีกับค่อย่างต่อเนื่องถดถอยเชิงเส้นกับที่รู้จักกัน / จุดพักคงเกิดขึ้นใน{k}) เบรกพอยต์เป็นที่รู้จักโดยไม่มีความแน่นอนดังนั้นฉันไม่ต้องการที่จะประเมินพวกมัน จากนั้นฉันก็พอดีกับการถดถอย (OLS) ของรูปแบบ y_ {i} = \ beta_ {0} + \ beta_ {1} x_ {i} + \ beta_ {2} \ operatorname {max} (x_ {i} -a_ { 1}, 0) + \ beta_ {3} \ operatorname {max} (x_ {i} -a_ {2}, 0) + \ ldots + \ …

9 r  regression  standard-error  piecewise-linear 

เป็นจริงหรือไม่ที่ภายใต้สมมติฐาน Gauss Markov วิธีการกำลังสองน้อยที่สุดแบบธรรมดาให้ตัวประมาณที่มีประสิทธิภาพและไม่เอนเอียง? ดังนั้น: E(ut)=0E(ut)=0E(u_t)=0 เพื่อทุกสิ่ง ttt E(utus)=σ2E(utus)=σ2E(u_tu_s)=\sigma^2 สำหรับt=st=st=s E(utus)=0E(utus)=0E(u_tu_s)=0 สำหรับt≠st≠st\neq s โดยที่เป็นคนตกค้างuuu

9 regression  self-study  least-squares 

ใน R ถ้าฉันเรียกใช้lm()ฟังก์ชันด้วยวิธีต่อไปนี้: lm.1 = lm(response ~ var1 + var2 + var1 * var2) summary(lm.1) นี้ทำให้ผมรูปแบบเชิงเส้นของตัวแปรตอบสนองด้วยvar1, var2และการมีปฏิสัมพันธ์ระหว่างพวกเขา อย่างไรก็ตามเราจะตีความคำศัพท์การโต้ตอบได้อย่างไร? เอกสารบอกว่านี่คือ "cross" ระหว่างvar1และvar2แต่ไม่ได้ให้คำอธิบายว่า "cross" คืออะไร มันจะมีประโยชน์สำหรับฉันที่จะรู้ว่าตัวเลขที่แน่นอน R คือการคำนวณเพื่อรวมการทำงานร่วมกันระหว่างตัวแปรทั้งสอง

9 r  regression 

ฉันพยายามเรียนรู้รูปแบบการถดถอยเชิงเส้น อย่างไรก็ตามฉันมีความสับสนเกี่ยวกับการทำให้ข้อมูลกลับสู่ปกติ ฉันปรับมาตรฐานคุณลักษณะ / ตัวทำนายให้เป็นศูนย์ค่าเฉลี่ยและความแปรปรวนของหน่วย ฉันต้องทำเช่นเดียวกันกับเป้าหมายหรือไม่ ถ้าเป็นเช่นนั้นทำไม

9 regression  multiple-regression  normalization 

ฉันกำลังอ่านทฤษฎีบท Guass-Markov ในวิกิพีเดียและฉันหวังว่าจะมีคนช่วยฉันหาประเด็นหลักของทฤษฎีบทนี้ เราคิดรูปแบบเชิงเส้นในรูปแบบเมทริกซ์จะได้รับโดย: และเรากำลังมองหาสีฟ้า\Y= Xβ+ ηy=Xβ+η y = X\beta +\eta βˆβ^ \widehat\beta ตามสิ่งนี้ฉันจะติดป้าย "ส่วนที่เหลือ" และ ข้อผิดพลาด " (คือตรงกันข้ามกับการใช้งานในหน้า Gauss-Markov)η= y- Xβη=y−Xβ\eta = y - X\betaε =βˆ- βε=β^−β\varepsilon = \widehat\beta - \beta OLS (หุ้นสามัญอย่างน้อยสี่เหลี่ยม) ประมาณการอาจจะมาเป็น argmin ของ 2| | ที่เหลือ ||22= | | η||22||residual||22=||η||22||\text{residual}||_2^2 = ||\eta||_2^2 ตอนนี้ให้แทนโอเปอเรเตอร์ความคาดหวัง เพื่อความเข้าใจของฉันสิ่งที่ทฤษฎีเกาส์ - มาร์คอฟบอกเราคือว่าถ้าและแล้วอาร์มินทั้งหมด …

9 regression  least-squares  mse  blue 

ผมมีรูปแบบการถดถอยเชิงเส้นกับหนึ่งเด็ดขาดตัวแปร(ชายและหญิง) และเป็นหนึ่งในตัวแปรอย่างต่อเนื่องBAAABBB options(contrasts=c("contr.sum","contr.poly"))ฉันจะตั้งค่ารหัสความแตกต่างในการวิจัยกับ และตอนนี้ผมมีเงินก้อนประเภทที่สามของสี่เหลี่ยมสำหรับ, , และการมีปฏิสัมพันธ์ของพวกเขา (A: B) ด้วยAAABBBdrop1(model, .~., test="F") สิ่งที่ฉันติดอยู่กับเป็นวิธีผลรวมของสี่เหลี่ยมที่มีการคำนวณสำหรับBฉันBBBsum((predicted y of the full model - predicted y of the reduced model)^2)คิดว่ามันเป็น y~A+A:Bลดรูปแบบจะมีลักษณะ แต่เมื่อฉันใช้predict(y~A+A:B)R จะส่งคืนค่าที่คาดการณ์ซึ่งเหมือนกับค่าแบบจำลองที่ทำนายไว้ทั้งหมด ดังนั้นผลบวกของกำลังสองจะเป็น 0 (สำหรับผลบวกของกำลังสองของฉันใช้รูปแบบที่ลดลงของซึ่งเหมือนกับ)AAAy~B+A:By~A:B นี่คือตัวอย่างรหัสสำหรับข้อมูลที่สร้างแบบสุ่ม: A<-as.factor(rep(c("male","female"), each=5)) set.seed(1) B<-runif(10) set.seed(5) y<-runif(10) model<-lm(y~A+B+A:B) options(contrasts = c("contr.sum","contr.poly")) #type3 sums of squares drop1(model, .~., test="F") #or same …

9 regression  anova  sums-of-squares 

ดังนั้นฉันจึงทำงานกับแบบจำลองการถดถอยโลจิสติกในอาร์แม้ว่าฉันจะยังใหม่กับสถิติฉันรู้สึกว่าฉันมีความเข้าใจเล็กน้อยเกี่ยวกับแบบจำลองการถดถอยในตอนนี้ แต่ยังมีบางสิ่งที่รบกวนฉัน: เมื่อมองไปที่รูปภาพที่เชื่อมโยงคุณจะเห็นสรุป R พิมพ์สำหรับรุ่นตัวอย่างที่ฉันสร้างขึ้น รูปแบบการพยายามที่จะคาดการณ์ว่าอีเมลในชุดข้อมูลที่จะได้รับการ refound หรือไม่ (ตัวแปรไบนารีisRefound) และชุดข้อมูลที่มีสองตัวแปรที่เกี่ยวข้องอย่างใกล้ชิดกับisRefoundคือnext24และnext7days- เหล่านี้เป็นยังไบนารีและบอกได้ว่า mail จะได้รับการคลิกในครั้งต่อไป 24 ชั่วโมง / 7 วันถัดจากจุดปัจจุบันในบันทึก ค่า p สูงควรระบุว่าผลกระทบที่ตัวแปรนี้มีต่อการทำนายแบบจำลองนั้นค่อนข้างสุ่มใช่ไหม? จากนี้ฉันไม่เข้าใจว่าทำไมความแม่นยำของแบบจำลองการคาดการณ์จึงลดลงต่ำกว่า 10% เมื่อตัวแปรสองตัวนี้ไม่ได้อยู่ในสูตรการคำนวณ หากตัวแปรเหล่านี้แสดงความสำคัญต่ำทำไมการลบออกจากแบบจำลองมีผลกระทบอย่างมาก ขอแสดงความนับถือและขอขอบคุณล่วงหน้า Rickyfox แก้ไข: ครั้งแรกที่ฉันลบเฉพาะ next24 ซึ่งควรให้ผลกระทบต่ำเพราะ coef มันค่อนข้างเล็ก ตามที่คาดไว้มีการเปลี่ยนแปลงเล็กน้อย - ไม่ต้องอัปโหลดรูปภาพสำหรับสิ่งนั้น การลบรุ่นถัดไป 7 วันมีผลกระทบอย่างมากต่อโมเดล: AIC 200k ขึ้นไปความแม่นยำลดลงถึง 16% และเรียกคืนได้ถึง 73%

9 r  regression  logistic  p-value  interpretation 

ในบท "ถดถอยไปสู่ค่าเฉลี่ย" ของ "การคิดเร็วและช้า" โดย Daniel Kahneman มีการแจกตัวอย่างและผู้อ่านจะต้องคาดการณ์ยอดขายของร้านค้าแต่ละแห่งที่กำหนดยอดขายโดยรวมและยอดขายจากปีที่แล้ว . เช่น (ตัวอย่างหนังสือมี 4 ร้านฉันใช้ 2 ที่นี่เพื่อความเรียบง่าย): Store 2011 2012 1 100 ? 2 500 ? Total 600 660 การคาดการณ์ที่ไร้เดียงสาจะอยู่ที่ 110 และ 550 สำหรับร้านค้า 1 และ 2 และ 10% สำหรับแต่ละร้าน อย่างไรก็ตามผู้เขียนอ้างว่าวิธีการที่ไร้เดียงสานี้ผิด มีโอกาสมากที่ร้านค้าที่มีประสิทธิภาพต่ำกว่าจะเพิ่มขึ้นมากกว่า 10% และร้านค้าที่มีประสิทธิภาพดีกว่าจะเพิ่มขึ้น (หรือลดลง) น้อยกว่า 10% ดังนั้นการคาดการณ์ที่ 115 (เพิ่มขึ้น 15%) และ …

9 regression