คำถามติดแท็ก regression

ฉันกำลังถดถอยเชิงเส้นหลายเส้น ฉันมีการสังเกตการณ์ 21 ครั้งและตัวแปร 5 ตัว เป้าหมายของฉันคือการค้นหาความสัมพันธ์ระหว่างตัวแปร มีข้อมูลของฉันเพียงพอหรือไม่ที่จะทำการถดถอยหลายครั้ง? ผลการทดสอบทีเผยว่าตัวแปร 3 ตัวของฉันไม่มีนัยสำคัญ ฉันจำเป็นต้องทำการถดถอยอีกครั้งด้วยตัวแปรที่สำคัญ (หรือการถดถอยครั้งแรกของฉันเพียงพอที่จะได้ข้อสรุป) เมทริกซ์ความสัมพันธ์ของฉันมีดังนี้ var 1 var 2 var 3 var 4 var 5 Y var 1 1.0 0.0 0.0 -0.1 -0.3 -0.2 var 2 0.0 1.0 0.4 0.3 -0.4 -0.4 var 3 0.0 0.4 1.0 0.7 -0.7 -0.6 var …

12 regression  t-test  multiple-regression 

มีวิธีการที่จะเข้าใจหรือไม่ว่าสองบรรทัดขนานกัน (มากหรือน้อย)? ฉันมีสองบรรทัดที่สร้างขึ้นจากการถดถอยเชิงเส้นและฉันต้องการที่จะเข้าใจว่าพวกมันขนานกันหรือไม่ กล่าวอีกนัยหนึ่งฉันต้องการได้ความแตกต่างของความลาดชันของสองบรรทัดนี้ มีฟังก์ชั่น R เพื่อคำนวณสิ่งนี้หรือไม่? แก้ไข: ... และฉันจะได้ความชัน (เป็นองศา) ของเส้นการถดถอยเชิงเส้นได้อย่างไร

12 r  regression  interaction  linear-model 

เอกสาร R สำหรับทั้งไม่ส่องแสงมาก สิ่งที่ฉันได้รับจากลิงค์นี้คือการใช้อย่างใดอย่างหนึ่งควรจะดี สิ่งที่ฉันไม่ได้รับคือทำไมพวกเขาไม่เท่ากัน ความจริง: ฟังก์ชั่นแบบขั้นตอนการถดถอยในการวิจัย, การใช้งานstep()extractAIC() ที่น่าสนใจการทำงานlm()รูปแบบและglm()'null' รุ่น (เฉพาะตัด) ในชุดข้อมูล 'mtcars ของ R ให้ผลลัพธ์ที่แตกต่างกันสำหรับและAICextractAIC() > null.glm = glm(mtcars$mpg~1) > null.lm = lm(mtcars$mpg~1) > AIC(null.glm) [1] 208.7555 > AIC(null.lm) [1] 208.7555 > extractAIC(null.glm) [1] 1.0000 208.7555 > extractAIC(null.lm) [1] 1.0000 115.9434 เป็นเรื่องแปลกเพราะทั้งสองรุ่นข้างต้นเหมือนกันและAIC()ให้ผลลัพธ์ที่เหมือนกันสำหรับทั้งคู่ ทุกคนสามารถโยนแสงในปัญหาหรือไม่

11 r  regression  aic  stepwise-regression 

เมื่อเราคำนวณผิดพลาดมาตรฐานของค่าสัมประสิทธิ์การถดถอยเราไม่บัญชีสำหรับแบบแผนในการออกแบบเมทริกซ์Xใน OLS เราจะคำนวณเป็นXXXvar(β^)var(β^)\text{var}(\hat{\beta})var((XTX)−1XTY)=σ2(XTX)−1var((XTX)−1XTY)=σ2(XTX)−1\text{var}((X^TX)^{-1}X^TY) = \sigma^2(X^TX)^{-1} หากถูกพิจารณาแบบสุ่มกฎความแปรปรวนโดยรวมจะเรียกร้องการสนับสนุนเพิ่มเติมของความแปรปรวนของเช่นกัน กล่าวคือXXXXXX วาร์( β^) = var ( E.)( β^| X) ) + E( var ( β)^| X) )var(β^)=var(E(β^|X))+E(var(β^|X)).\text{var}(\hat{\beta}) = \text{var}(E(\hat{\beta}|X)) + E(\text{var}(\hat{\beta}|X)). ซึ่งหากตัวประมาณค่า OLS ไม่มีความเป็นกลางอย่างแท้จริงเทอมแรกก็หายไปเนื่องจากความคาดหวังนั้นคงที่ ระยะที่สองจะกลายเป็นจริง:1}σ2cov ( X)- 1σ2cov(X)−1\sigma^2 \text{cov}(X)^{-1} หากเป็นที่รู้จักกันในแบบจำลองพารามิเตอร์สำหรับทำไมเราไม่แทนที่ด้วยการประมาณความแปรปรวนร่วมที่แท้จริง ตัวอย่างเช่นถ้าเป็นการสุ่มมอบหมายการรักษาความแปรปรวนทวินามควรเป็นการประมาณที่มีประสิทธิภาพมากกว่าหรือไม่XXXXTXXTXX^TXXXXE( X) ( 1 - E( X) )E(X)(1−E(X))E(X)(1-E(X)) ทำไมเราไม่พิจารณาใช้โมเดลที่ไม่ใช่พารามิเตอร์ที่ยืดหยุ่นเพื่อประเมินแหล่งที่มาของความเอนเอียงที่เป็นไปได้ในการประมาณค่า OLS และพิจารณาความไวในการออกแบบ (เช่นการกระจายของ ) ในเทอมที่แปรปรวนเทอมแรก …

11 regression  probability  variance  inference 

ฉันทำการถดถอยเชิงเส้นซึ่งออกมาพร้อมกับผลลัพธ์ที่สำคัญ แต่เมื่อฉันตรวจสอบการกระจายเชิงเส้นสำหรับเชิงเส้นฉันไม่มั่นใจว่าข้อมูลนั้นเป็นเส้นตรง มีวิธีอื่นอีกไหมในการทดสอบความเป็นเชิงเส้นโดยไม่ต้องตรวจสอบล็อตเตอร์ การถดถอยเชิงเส้นจะมีนัยสำคัญหรือไม่ถ้าไม่ใช่เชิงเส้น [แก้ไขเพื่อรวม scatterplots]

11 regression 

ฉันมีปัญหาในการเข้าใจรูปร่างของช่วงความมั่นใจของการถดถอยพหุนาม นี่คือตัวอย่างเทียม 2 รูปซ้ายแสดงให้เห็นถึง UPV (ความแปรปรวนการทำนายแบบไม่มีสเกล) และกราฟด้านขวาแสดงช่วงความเชื่อมั่นและจุดที่วัดได้ (เทียม) ที่ X = 1.5, X = 2 และ X = 3Y^=a+b⋅X+c⋅X2Y^=a+b⋅X+c⋅X2\hat{Y}=a+b\cdot X+c\cdot X^2 รายละเอียดของข้อมูลพื้นฐาน: ชุดข้อมูลประกอบด้วยจุดข้อมูลสามจุด (1.5; 1), (2; 2.5) และ (3; 2.5) แต่ละจุดก็คือ "วัด" 10 ครั้งและแต่ละค่าที่วัดได้เป็น0.5 MLR ที่มีโมเดล poynomial ดำเนินการใน 30 คะแนนที่เกิดขึ้นy±0.5y±0.5y \pm 0.5 ช่วงความเชื่อมั่นถูกคำนวณด้วยสูตร และ (สูตรทั้งสองมาจาก Myers, Montgomery, Anderson-Cook, "Response Surface …

11 regression  confidence-interval 

คำถามนี้เป็นคำถามแรงบันดาลใจจากคำตอบ Martijn ของที่นี่ สมมติว่าเราเหมาะกับ GLM สำหรับหนึ่งพารามิเตอร์ตระกูลเช่นแบบทวินามหรือปัวซองและเป็นขั้นตอนที่น่าจะเป็นแบบเต็ม (ตรงข้ามกับ quasipoisson) จากนั้นความแปรปรวนเป็นฟังก์ชันของค่าเฉลี่ย ด้วยทวินาม:และ Poisson[X]var[X]=E[X]E[1−X]var[X]=E[X]E[1−X]\text{var}[X] = E[X]E[1-X]var[X]=E[X]var[X]=E[X]\text{var}[X] = E[X] ซึ่งแตกต่างจากการถดถอยเชิงเส้นเมื่อส่วนที่เหลือมีการแจกแจงปกติ, จำกัด การกระจายตัวอย่างที่แน่นอนของสัมประสิทธิ์เหล่านี้ไม่เป็นที่รู้จักมันเป็นชุดที่อาจซับซ้อนของผลลัพธ์และ covariates นอกจากนี้การใช้ประมาณการ GLM ของค่าเฉลี่ยที่นำมาใช้เป็นปลั๊กอินสำหรับประมาณการความแปรปรวนของผลที่ เช่นเดียวกับการถดถอยเชิงเส้นสัมประสิทธิ์มีการแจกแจงปกติแบบซีมโทติคและในการอนุมานตัวอย่าง จำกัด เราสามารถประมาณการกระจายตัวตัวอย่างด้วยเส้นโค้งปกติ คำถามของฉันคือ: เราได้อะไรจากการประมาณค่าการแจกแจงแบบ T กับการกระจายตัวตัวอย่างของสัมประสิทธิ์ในตัวอย่าง จำกัด หรือไม่? ในอีกด้านหนึ่งเรารู้ความแปรปรวน แต่เราไม่ทราบการกระจายที่แน่นอนดังนั้นการประมาณ T ดูเหมือนจะเป็นทางเลือกที่ผิดเมื่อตัวประมาณ bootstrap หรือ jackknife สามารถอธิบายความคลาดเคลื่อนเหล่านี้ได้อย่างเหมาะสม ในทางกลับกันบางทีความอนุรักษ์นิยมเล็กน้อยของการแจกแจงแบบทีเป็นที่นิยมในทางปฏิบัติ

11 regression  generalized-linear-model  inference  approximation  t-distribution 

ในการตั้งค่าการถดถอยแบบไม่รวมตัวแปรเราพยายามทำแบบจำลอง y=Xβ+noisey=Xβ+noisey = X\beta +noise ที่เวกเตอร์ของการสังเกตและเมทริกซ์การออกแบบด้วยทำนาย การแก้ปัญหาคือ(Xy∈Rny∈Rny \in \mathbb{R}^nnnnX∈Rn×mX∈Rn×mX \in \mathbb{R}^{n \times m}mmmβ0=(XTX)−1Xyβ0=(XTX)−1Xy\beta_0 = (X^TX)^{-1}Xy ในการตั้งค่าการถดถอยหลายตัวแปรเราพยายามสร้างแบบจำลอง Y=Xβ+noiseY=Xβ+noiseY = X\beta +noise ที่เป็นเมทริกซ์ของการสังเกตและตัวแปรแฝงที่แตกต่างกันการแก้ปัญหาคือ(Xy∈Rn×py∈Rn×py \in \mathbb{R}^{n \times p}nnnpppβ0=(XTX)−1XYβ0=(XTX)−1XY\beta_0 = (X^TX)^{-1}XY คำถามของฉันเป็นอย่างไรที่แตกต่างจากการดำเนินการถดถอยเชิงเส้นที่แตกต่างกันอย่างไร ? ฉันอ่านที่นี่ว่าในกรณีหลังเราคำนึงถึงความสัมพันธ์ระหว่างตัวแปรตาม แต่ฉันไม่เห็นจากคณิตศาสตร์ppp

11 regression  multivariate-analysis  multivariate-regression 

ฉันมีการถดถอยสองอันของ Y และ X ระดับเดียวกันสามระดับโดยรวม n = 15 โดยที่ n = 5 ในแต่ละกลุ่มหรือระดับ X การถดถอยครั้งแรกถือว่า X เป็นหมวดหมู่โดยกำหนดตัวแปรตัวบ่งชี้ให้อยู่ในระดับ 2 และ 3 ที่มีระดับ หนึ่งเป็นข้อมูลอ้างอิง ตัวชี้วัด / หุ่นเป็นเช่น: X1 = 1 ถ้าระดับ = 2, 0 ถ้าอื่น ๆ X2 = 1 ถ้าระดับ = 3, 0 ถ้าอื่น ด้วยเหตุนี้โมเดลที่ติดตั้งของฉันจึงมีลักษณะดังนี้: y = b0 + b1 (x1) + …

11 regression  anova 

ฉันต้องการปรับปรุงความเข้าใจของฉันเกี่ยวกับเครือข่ายประสาทและผลประโยชน์ของพวกเขาเปรียบเทียบกับอัลกอริทึมการเรียนรู้ของเครื่องอื่น ๆ ความเข้าใจของฉันเป็นด้านล่างและคำถามของฉันคือ: คุณช่วยแก้ไขและเสริมความเข้าใจของฉันได้ไหม? :) ความเข้าใจของฉัน: (1) เครือข่ายประสาทเทียม = ฟังก์ชันที่ทำนายค่าเอาต์พุตจากค่าอินพุต ตามทฤษฎีบทการประมาณแบบสากล ( https://en.wikipedia.org/wiki/Universal_approximation_theorem ) คุณมักจะมีฟังก์ชั่นการทำนายใด ๆ (แม้ว่ามันจะทำงานได้ดี) โดยมีเซลล์ประสาทเพียงพอ (2) สิ่งนี้เป็นจริงสำหรับการถดถอยเชิงเส้นโดยใช้พหุนามของค่าอินพุตเป็นค่าอินพุตเพิ่มเติมเนื่องจากคุณสามารถประมาณ (เปรียบเทียบการขยายตัวของเทย์เลอร์) แต่ละฟังก์ชั่นได้ดีโดยใช้ชื่อพหุนาม (3) ซึ่งหมายความว่า (ในแง่ที่เกี่ยวกับผลลัพธ์ที่ดีที่สุดที่เป็นไปได้) วิธีการทั้งสองนั้นจะเทียบเท่ากัน (4) ดังนั้นความแตกต่างหลักของพวกเขาอยู่ที่วิธีการยืมตัวเองเพื่อการดำเนินการคำนวณที่ดีขึ้น กล่าวอีกนัยหนึ่งด้วยวิธีการใดที่คุณสามารถค้นหาได้โดยอิงตามตัวอย่างการฝึกอบรมให้ค่าที่ดีขึ้นเร็วขึ้นสำหรับพารามิเตอร์ที่กำหนดฟังก์ชันการทำนายในที่สุด ฉันยินดีต้อนรับความคิดความคิดเห็นและคำแนะนำเกี่ยวกับลิงก์หรือหนังสืออื่น ๆ เพื่อปรับปรุงความคิดของฉัน

11 regression  machine-learning 

ฉันเป็นนักเรียนฟิสิกส์ที่เรียนการเรียนรู้ด้วยเครื่อง / วิทยาศาสตร์ข้อมูลดังนั้นฉันจึงไม่ได้หมายความว่าคำถามนี้จะเริ่มต้นความขัดแย้งใด ๆ :) อย่างไรก็ตามส่วนใหญ่ของหลักสูตรฟิสิกส์ระดับปริญญาตรีคือการทำห้องปฏิบัติการ / การทดลองซึ่งหมายถึงข้อมูลจำนวนมาก การประมวลผลและการวิเคราะห์ทางสถิติ อย่างไรก็ตามฉันสังเกตเห็นความแตกต่างที่ชัดเจนระหว่างวิธีที่นักฟิสิกส์จัดการกับข้อมูลและวิธีที่วิทยาศาสตร์ข้อมูล / หนังสือการเรียนรู้ทางสถิติจัดการกับข้อมูล ความแตกต่างที่สำคัญคือเมื่อพยายามทำการถดถอยกับข้อมูลที่ได้จากการทดลองทางฟิสิกส์อัลกอริธึมการถดถอยจะถูกนำไปใช้กับชุดข้อมูลWHOLEไม่มีการแยกชุดฝึกอบรมและชุดทดสอบออกมาอย่างแน่นอน ในโลกฟิสิกส์การคำนวณ R ^ 2 หรือการหลอกบางชนิด -R ^ 2 สำหรับแบบจำลองนั้นขึ้นอยู่กับชุดข้อมูลทั้งหมด ในโลกสถิติข้อมูลจะถูกแบ่งออกเป็น 80-20, 70-30 และอื่น ๆ ... จากนั้นโมเดลจะถูกประเมินเทียบกับชุดข้อมูลการทดสอบ นอกจากนี้ยังมีการทดลองทางฟิสิกส์ที่สำคัญ (ATLAS, BICEP2, ฯลฯ ... ) ที่ไม่เคยทำข้อมูลแยกดังนั้นฉันสงสัยว่าทำไมมันมีความแตกต่างอย่างรุนแรงระหว่างวิธีที่นักฟิสิกส์ / นักทดลองทำสถิติและวิธีที่นักวิทยาศาสตร์ด้านข้อมูล ทำสถิติ

11 regression  machine-learning  cross-validation  dataset  experiment-design 

ฉันกำลังใช้ตัวแบบการถดถอยทั้งกับ Lasso และ Ridge (เพื่อทำนายตัวแปรผลลัพธ์แบบไม่ต่อเนื่องตั้งแต่ 0-5) ก่อนที่จะใช้รูปแบบที่ผมใช้SelectKBestวิธีการในการscikit-learnที่จะลดการตั้งค่าให้สถานที่นั้น250ไป25 หากไม่มีการเลือกคุณสมบัติเริ่มต้นทั้ง Lasso และ Ridge ให้คะแนนความแม่นยำที่ต่ำกว่า [ซึ่งอาจเป็นเพราะกลุ่มตัวอย่างขนาดเล็ก 600] นอกจากนี้โปรดทราบว่าคุณลักษณะบางอย่างมีความสัมพันธ์ หลังจากรันโมเดลฉันสังเกตว่าความแม่นยำในการทำนายนั้นใกล้เคียงกับ Lasso และ Ridge อย่างไรก็ตามเมื่อฉันตรวจสอบ 10 คุณสมบัติแรกหลังจากสั่งซื้อโดยค่าสัมประสิทธิ์สัมบูรณ์ฉันเห็นว่ามีการทับซ้อนกันมากที่สุด 50% นั่นคือเนื่องจากความสำคัญของคุณสมบัติที่แตกต่างกันได้รับการกำหนดโดยแต่ละวิธีฉันอาจมีการตีความที่แตกต่างกันโดยสิ้นเชิงกับรุ่นที่ฉันเลือก โดยปกติแล้วคุณสมบัติดังกล่าวจะแสดงถึงพฤติกรรมบางประการของผู้ใช้ในเว็บไซต์ ดังนั้นฉันต้องการอธิบายสิ่งที่ค้นพบโดยเน้นคุณสมบัติ (พฤติกรรมผู้ใช้) ด้วยความสามารถในการคาดเดาที่สูงขึ้นและคุณสมบัติที่อ่อนแอกว่า (พฤติกรรมผู้ใช้) อย่างไรก็ตามฉันไม่ทราบวิธีการก้าวไปข้างหน้า ณ จุดนี้ ฉันจะเข้าใกล้การตีความตัวแบบได้อย่างไร ตัวอย่างเช่นควรรวมทั้งสองและเน้นที่ทับซ้อนกันหรือฉันควรจะไปกับ Lasso เพราะมันให้ตีความมากกว่า

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

เมื่อดำเนินการถดถอยพหุนามสำหรับเข้าสู่บางครั้งผู้คนใช้ชื่อพหุนามแบบดิบซึ่งบางครั้งประกอบด้วยชื่อพหุนามแบบมุมฉาก แต่เมื่อพวกเขาใช้สิ่งที่ดูเหมือนว่าจะสมบูรณ์XYYYXXX ที่นี่และที่นี่มีหลายชื่อดิบถูกนำมาใช้ แต่ที่นี่และที่นี่ชื่อพหุนามมุมฉากดูเหมือนจะให้ผลลัพธ์ที่ถูกต้อง อะไรทำไมทำไม! ในทางตรงกันข้ามกับที่เมื่อเรียนรู้เกี่ยวกับการถดถอยพหุนามจากตำรา (เช่นISLR ) ที่ไม่ได้พูดถึงพหุนามดิบหรือมุมฉาก - เพียงรูปแบบที่จะได้รับการติดตั้ง แล้วเราจะต้องใช้อะไรเมื่อไหร่? และทำไมค่าp แต่ละค่าสำหรับ ,ฯลฯ จึงมีความแตกต่างกันมากระหว่างค่าทั้งสองนี้X 2XXXX2X2X^2

11 regression  polynomial 

สมมติว่าฉันมีตัวประมาณสองตัวและที่เป็นตัวประมาณที่สอดคล้องกันของพารามิเตอร์เดียวกันและนั่น ด้วยในแง่ของ psd ดังนั้น asymptoticallyจะมีประสิทธิภาพมากกว่า\ตัวประมาณสองค่านี้ขึ้นอยู่กับฟังก์ชันการสูญเสียที่แตกต่างกันβˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)V1≤V2V1≤V2V_1 \leq V_2βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2 ตอนนี้ฉันต้องการค้นหาเทคนิคการหดตัวเพื่อปรับปรุงคุณสมบัติตัวอย่าง จำกัด ของตัวประมาณของฉัน สมมติว่าผมพบว่าเทคนิคการหดตัวที่ช่วยเพิ่มประมาณการในตัวอย่างแน่นอนและทำให้ฉันมีค่าของ MSE เท่ากับ\นี่หมายความว่าฉันสามารถหาเทคนิคการหดตัวที่เหมาะสมเพื่อนำไปใช้กับ ที่จะให้ MSE ไม่มากไปกว่าหรือไม่? βˆ2β^2\widehat{\beta}_2γˆ2γ^2\widehat{\gamma}_2βˆ1β^1\widehat{\beta}_1 γˆ2γ^2\widehat{\gamma}_2 กล่าวอีกนัยหนึ่งถ้าการหดตัวถูกนำไปใช้อย่างชาญฉลาดมันจะทำงานได้ดีขึ้นสำหรับเครื่องมือประมาณค่าที่มีประสิทธิภาพมากกว่าหรือไม่

11 regression  ridge-regression  shrinkage  penalized 

ฉันรู้พื้นฐานเกี่ยวกับ SVM และ SVR แต่ถึงกระนั้นฉันก็ยังไม่เข้าใจว่าปัญหาของการหาไฮเปอร์เพลนที่เพิ่มระยะขอบให้พอดีกับ SVR ได้อย่างไร ประการที่สองฉันอ่านบางอย่างเกี่ยวกับใช้เป็นระยะเผื่อเผื่อใน SVR มันหมายความว่าอะไร?εε\epsilon ประการที่สามมีความแตกต่างระหว่างพารามิเตอร์ฟังก์ชันการตัดสินใจที่ใช้ใน SVM และ SVR หรือไม่?

11 regression  machine-learning  svm