คำถามติดแท็ก regression

ตกลงดังนั้นนิดหน่อยในบางสิ่งบางอย่างความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชมมาก ฉันเข้าใจว่าแบบจำลองการถดถอยเชิงเส้นถูกคาดการณ์ผ่านการคาดการณ์ตามเงื่อนไข E( Y| X) = b + Xb + eE(Y|X)=ข+Xข+อีE(Y|X)=b+Xb+e เราคิดว่าทั้งและเป็นตัวแปรสุ่มที่มีการแจกแจงความน่าจะเป็นที่ไม่รู้จักบ้างไหม? มันเป็นความเข้าใจของฉันว่าเฉพาะค่าตกค้างและค่าสัมประสิทธิ์เบต้าโดยประมาณคือตัวแปรสุ่ม ถ้าเป็นเช่นนั้นถ้าความอ้วนและอายุถ้าเราใช้ความคาดหวังตามเงื่อนไขความหมายอะไรคือค่าที่คาดหวังของการเป็นโรคอ้วนถ้าบุคคลนั้นมีตัวอย่าง เพียงแค่ใช้ค่าเฉลี่ย (ค่าเฉลี่ย) ของปีสำหรับข้อสังเกตเหล่านั้นที่ ? ยังไม่ได้คาดหวังค่าที่นำมาซึ่งเราจะต้องคูณด้วยความน่าจะเป็นที่เกิดขึ้น? แต่ในแง่นี้เราพบว่าความน่าจะเป็นของXXXYYYY=Y=Y =X=X=X =E( Y| X= 35 )E(Y|X=35)E(Y|X=35)353535X= 35X=35X=35XXX- ค่าแปรปรวนที่เกิดขึ้นถ้ามันแสดงถึงสิ่งที่ชอบอายุ? ถ้าแทนค่าอัตราแลกเปลี่ยนนี่จะจัดเป็นแบบสุ่มหรือไม่? คุณจะพบคุณค่าที่คาดหวังของสิ่งนี้บนโลกได้อย่างไรโดยไม่ทราบว่าความน่าจะเป็น หรือค่าที่คาดหวังจะเท่ากับค่าเฉลี่ยในขีด จำกัดXXX ถ้าเราไม่คิดว่าตัวแปรตามเป็นตัวสุ่มตัวแปรเนื่องจากเราไม่ได้แยกแยะความน่าจะเป็นเราจะถือว่ามันคืออะไร เพียงแค่ค่าคงที่หรืออะไร แต่ถ้าเป็นกรณีนี้เราจะกำหนดเงื่อนไขให้กับตัวแปรที่ไม่ใช่แบบสุ่มเริ่มต้นได้อย่างไร เราคิดอย่างไรเกี่ยวกับการกระจายตัวแปรอิสระ ขออภัยหากมีสิ่งใดที่ไม่สมเหตุสมผลหรือชัดเจนสำหรับทุกคน

11 regression 

การเปิดเผยอย่างเต็มรูปแบบ: ฉันไม่ใช่นักสถิติและฉันไม่ได้อ้างว่าเป็น ฉันเป็นผู้ดูแลระบบไอทีต่ำต้อย กรุณาเล่นอ่อนโยนกับฉัน :) ฉันมีหน้าที่รับผิดชอบในการรวบรวมและพยากรณ์การใช้ที่เก็บข้อมูลดิสก์สำหรับองค์กรของเรา เรารวบรวมที่เก็บข้อมูลของเราใช้เป็นรายเดือนและใช้การถดถอยเชิงเส้นแบบง่าย ๆ สิบสองเดือนสำหรับการคาดการณ์ เราใช้ข้อมูลนี้สำหรับการจัดสรรและการวางแผนค่าใช้จ่ายทุนเช่น "ตามโมเดลนี้เราจะต้องซื้อจำนวน x หากพื้นที่เก็บข้อมูลในเดือน y เพื่อตอบสนองความต้องการของเรา" ทั้งหมดนี้ทำงานได้ดีพอที่จะตอบสนองความต้องการของเรา เรามีการเคลื่อนไหวครั้งเดียวจำนวนมากในตัวเลขของเราซึ่งทำให้การคาดการณ์ไม่เป็นไปตามปกติ ตัวอย่างเช่นมีคนพบการสำรองข้อมูลเก่า 500GB ซึ่งไม่จำเป็นอีกต่อไปและลบทิ้ง ดีสำหรับพวกเขาในการเรียกคืนพื้นที่! อย่างไรก็ตามการคาดการณ์ของเราในขณะนี้ลดลงอย่างมากจากการลดลงครั้งใหญ่ในหนึ่งเดือน เรายอมรับเสมอว่าการลดลงเช่นนี้ใช้เวลา 9-10 เดือนในการสร้างแบบจำลอง แต่อาจใช้เวลานานมากหากเราเข้าสู่ฤดูการวางแผนค่าใช้จ่ายทุน ฉันสงสัยว่ามีวิธีจัดการความแปรปรวนแบบครั้งเดียวเหล่านี้หรือไม่ว่าค่าที่คาดการณ์จะไม่ได้รับผลกระทบมากนัก (เช่นความชันของเส้นไม่เปลี่ยนแปลงอย่างมาก) แต่จะนำมาพิจารณาด้วย (เช่น การเปลี่ยนแปลงครั้งเดียวในค่า y ที่เกี่ยวข้องกับจุดเฉพาะในเวลา) ความพยายามครั้งแรกของเราในการแก้ปัญหานี้ทำให้ได้ผลลัพธ์ที่น่าเกลียด (เช่นเส้นโค้งการเติบโตแบบเลขชี้กำลัง) เราทำการประมวลผลทั้งหมดของเราใน SQL Server หากมีความสำคัญ

11 regression  forecasting  adjustment 

ฉันดูแลปัญหาการเรียนรู้ที่เป้าหมายเป็นมุม หากฉันจะถดถอยอย่างง่ายตัวเลข 360 และ 1 จะอยู่ไกลสำหรับแบบจำลองของฉัน แต่ที่จริงแล้วพวกเขาอยู่ใกล้และทำนายพิกัด x และ y ไม่รู้สึกถูกต้อง วิธีที่เหมาะสมในการทำปัญหาดังกล่าวคืออะไร?

11 regression  circular-statistics 

สามารถใช้การถดถอยสำหรับการตรวจสอบ lier ออก ฉันเข้าใจว่ามีวิธีในการปรับปรุงรูปแบบการถดถอยโดยการลบค่าผิดปกติ แต่เป้าหมายหลักที่นี่ไม่เหมาะกับโมเดลการถดถอย แต่ค้นหา liers โดยใช้การถดถอย

11 regression  outliers 

ฉันมีคำถามสองสามข้อเกี่ยวกับการตีความอัตราส่วนอัตราต่อรองสำหรับตัวแปรต่อเนื่องในการถดถอยโลจิสติก ฉันรู้สึกว่านี่เป็นคำถามพื้นฐานเกี่ยวกับการถดถอยโลจิสติกส์ (และอาจเกี่ยวกับการถดถอยทั่วไป) และถึงแม้ว่าฉันรู้สึกละอายเล็กน้อยที่ไม่รู้คำตอบฉันจะกลืนความภาคภูมิใจและถามพวกเขาเพื่อที่ฉันจะได้รู้ อนาคต! นี่คือสถานการณ์ของฉัน ... ฉันกำลังดูตัวอย่างของเยาวชนที่ถูกตัดสินซึ่งเป็นส่วนหนึ่งของการทดลองของพวกเขาได้รับการลงทะเบียนในโปรแกรมการฝึกอบรมทักษะการทำงาน / ชีวิต ฉันต้องการเห็นว่าอายุที่พวกเขาได้รับการปล่อยตัวจากโปรแกรมทำนายการจ้างงานหกเดือนหลังการปล่อยตัวจากโปรแกรม (โปรดทราบว่ามีตัวทำนายอื่น ๆ ในโมเดล แต่ฉันได้ยกเว้นพวกเขาเพราะพวกเขาไม่มีนัยสำคัญทางสถิติและฉันต้องการให้ชัดเจนที่สุดเท่าที่จะทำได้) ทำนาย: อายุที่ออกจากโปรแกรมการฝึกอบรม (อายุเฉลี่ย = 17.4, SD = 1.2, ช่วง 14.3-20.5) ผลลัพธ์: ลูกจ้างหรือไม่ (ลูกจ้าง = 1, ไม่ใช่ลูกจ้าง = 0) ผลลัพธ์: อัตราต่อรอง 3.01 (p <.005) (ฉันไม่รวมความดีของสถิติพอดี ฯลฯ เพราะฉันกำลังหาคำตอบเกี่ยวกับการตีความอัตราส่วนอัตราต่อรองเท่านั้นฉันรู้สึกสบายใจกับการประเมินแบบพอดี CI ของ ฯลฯ ) ใส่ลงไปในคำ: เมื่ออายุเพิ่มขึ้นหนึ่งปีอัตราต่อรองของการจ้างงานเพิ่มขึ้นหกเดือนหลังจำหน่ายเพิ่มขึ้นสามหน่วย คำถาม: 1) เมื่อฉันพูดว่า …

11 regression  logistic 

ฉันพยายามค้นหา SVR ที่เหมาะสมกับข้อมูลประเภทนั้น ฉันรู้ SVR 4 ประเภท: พยัญชนะตัวที่ 5 ของกรีก nu กำลังสองน้อยที่สุดและ เชิงเส้น ฉันเข้าใจว่า SVR แบบเส้นตรงมากขึ้นหรือน้อยลงเช่น Lasso กับ L1 Reg แต่ความแตกต่างระหว่าง 3 เทคนิคที่เหลือคืออะไร?

11 regression  svm 

ฉันมีการสังเกต 100,000 ครั้ง (ตัวแปรตัวบ่งชี้จำลอง 9 ตัว) พร้อม 1,000 ผลบวก การถดถอยโลจิสติกควรทำงานได้ดีในกรณีนี้ แต่ความเป็นไปได้ที่จะตัดตัวฉัน ในวรรณกรรมทั่วไปเราเลือกตัด 50% เพื่อทำนาย 1s และ 0s ฉันทำสิ่งนี้ไม่ได้เพราะแบบจำลองของฉันให้ค่าสูงสุด ~ 1% ดังนั้นเกณฑ์อาจอยู่ที่ 0.007 หรือที่ใดที่หนึ่งโดยรอบ ฉันเข้าใจROCเส้นโค้งและพื้นที่ใต้เส้นโค้งสามารถช่วยฉันเลือกระหว่างรุ่น LR สองชุดสำหรับชุดข้อมูลเดียวกันได้อย่างไร อย่างไรก็ตาม ROC ไม่ได้ช่วยฉันเลือกความน่าจะเป็นทางลัดที่เหมาะสมที่สามารถใช้ในการทดสอบแบบจำลองกับข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่าง ฉันควรใช้ค่า cutoff ที่ลดmisclassification rateหรือไม่ ( http://www2.sas.com/proceedings/sugi31/210-31.pdf ) เพิ่ม -> สำหรับอัตราเหตุการณ์ที่ต่ำเช่นนี้อัตราการผิดพลาดของฉันได้รับผลกระทบจากผลบวกปลอมจำนวนมาก ในขณะที่อัตราโดยรวมนั้นดูดีเนื่องจากขนาดของจักรวาลทั้งหมดยังใหญ่ แต่แบบจำลองของฉันไม่ควรมีผลบวกผิด ๆ มากมาย (เพราะเป็นแบบจำลองการคืนทุน) 5/10 coeff มีความสำคัญ

11 regression  logistic  classification  generalized-linear-model  roc 

ถ้าฉันมีรูปแบบการถดถอย: Y=Xβ+εY=Xβ+ε Y = X\beta + \varepsilon โดยที่ V[ε]=Id∈Rn×nV[ε]=Id∈Rn×n\mathbb{V}[\varepsilon] = Id \in \mathcal{R} ^{n \times n} และE[ε]=(0,…,0)E[ε]=(0,…,0)\mathbb{E}[\varepsilon]=(0, \ldots , 0) , เมื่อจะใช้βOLSβOLS\beta_{\text{OLS}} , สามัญสี่เหลี่ยมน้อยประมาณการของββ\betaเป็นทางเลือกที่ดีสำหรับการประมาณการ? ฉันกำลังพยายามหาตัวอย่างว่ากำลังสองน้อยที่สุดทำงานได้ไม่ดี ดังนั้นฉันกำลังมองหาการกระจายของข้อผิดพลาดที่เป็นไปตามสมมติฐานก่อนหน้า แต่ให้ผลลัพธ์ที่ไม่ดี หากครอบครัวของการกระจายจะถูกกำหนดโดยค่าเฉลี่ยและความแปรปรวนที่จะดี ถ้าไม่มันก็โอเค ฉันรู้ว่า "ผลลัพธ์ที่ไม่ดี" นั้นค่อนข้างคลุมเครือ แต่ฉันคิดว่าแนวคิดนี้เป็นที่เข้าใจได้ เพียงเพื่อหลีกเลี่ยงความสับสนฉันรู้ว่ากำลังสองน้อยที่สุดไม่เหมาะสมและมีตัวประมาณที่ดีกว่าเช่นการถดถอยสัน แต่นั่นไม่ใช่สิ่งที่ฉันตั้งใจ ฉันต้องการตัวอย่างว่ากำลังสองน้อยที่สุดจะผิดธรรมชาติ ฉันสามารถจินตนาการถึงสิ่งต่าง ๆ เช่นข้อผิดพลาดเวกเตอร์ϵϵ\epsilonอาศัยอยู่ในภูมิภาคที่ไม่มีการนูนของRnRn\mathbb{R}^nแต่ฉันไม่แน่ใจเกี่ยวกับสิ่งนั้น แก้ไข 1: เป็นแนวคิดที่จะช่วยให้คำตอบ (ซึ่งฉันไม่สามารถคิดวิธีการเพิ่มเติม) βOLSβOLS\beta_{\text{OLS}}เป็นสีน้ำเงิน ดังนั้นมันอาจช่วยให้คิดได้ว่าเมื่อตัวประมาณค่าที่ไม่เอนเอียงเชิงเส้นจะไม่เป็นความคิดที่ดี แก้ไข 2: ตามที่ไบรอันชี้ให้เห็นหากXX′XX′XX'นั้นมีเงื่อนไขที่ไม่ดีดังนั้นβOLSβOLS\beta_{\text{OLS}}เป็นความคิดที่ไม่ดีเพราะความแปรปรวนมีขนาดใหญ่เกินไปและควรใช้การถดถอยแบบริดจ์แทน ฉันสนใจมากขึ้นในการรู้ว่าการกระจายใดควรεε\varepsilonเพื่อให้สี่เหลี่ยมน้อยทำงานได้ไม่ดี βOLS∼β+(X′X)−1X′εβOLS∼β+(X′X)−1X′ε\beta_{\text{OLS}} …

11 regression  distributions  least-squares 

ฉันต้องการตรวจสอบRว่าข้อมูลของฉันตรงกับการแจกแจงแบบล็อกปกติหรือแบบ Pareto ฉันจะทำสิ่งนั้นได้อย่างไร อาจks.testช่วยให้ฉันทำเช่นนั้นได้ แต่ฉันจะรับพารามิเตอร์αα\alphaและkkkสำหรับการกระจาย Pareto สำหรับข้อมูลของฉันได้อย่างไร

11 r  regression  distributions  lognormal  pareto-distribution 

ใครสามารถช่วยอธิบายแนวคิดเกี่ยวกับวิธีการคาดการณ์สำหรับข้อมูลใหม่เมื่อใช้แบบเรียบ / เส้นโค้งสำหรับแบบจำลองการทำนายได้หรือไม่ ตัวอย่างเช่นเมื่อสร้างแบบจำลองที่ใช้gamboostในmboostแพ็คเกจใน R ด้วย p-splines การคาดการณ์สำหรับข้อมูลใหม่ทำอย่างไร ข้อมูลอะไรที่ใช้ในการฝึกอบรม? สมมติว่ามีค่าใหม่ของตัวแปรอิสระ x และเราต้องการทำนาย y สูตรสำหรับการสร้างอิสระถูกนำไปใช้กับค่าข้อมูลใหม่นี้โดยใช้ knots หรือ df ที่ใช้เมื่อทำการฝึกอบรมรูปแบบแล้วค่าสัมประสิทธิ์จากแบบจำลองที่ผ่านการฝึกอบรมจะถูกนำไปใช้ในการทำนายผลลัพธ์หรือไม่? นี่คือตัวอย่างของ R สิ่งที่คาดการณ์ว่าจะทำให้เกิดแนวคิดในการแสดงผล 899.4139 สำหรับข้อมูลใหม่ mean_radius = 15.99 #take the data wpbc as example library(mboost) data(wpbc) modNew<-gamboost(mean_area~mean_radius, data = wpbc, baselearner = "bbs", dfbase = 4, family=Gaussian(),control = boost_control(mstop = 5)) test<-data.frame(mean_radius=15.99) …

11 regression  machine-learning  predictive-models  splines 

คุณจะพิสูจน์ได้อย่างไรว่าสมการปกติ: (XTX)β=XTY(XTX)β=XTY(X^TX)\beta = X^TYมีวิธีแก้ปัญหาหนึ่งวิธีหรือมากกว่าโดยไม่มีสมมติฐานว่า X กลับด้านได้? สิ่งเดียวที่ฉันคาดเดาก็คือมันมีบางอย่างที่เกี่ยวข้องกับการผกผันทั่วไป แต่ฉันก็หลงทางไปหมด

11 regression  proof 

ความหมายของt valueและPr(>|t|)เมื่อใช้summary()ฟังก์ชันกับตัวแบบการถดถอยเชิงเส้นใน R คืออะไร? Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 10.1595 1.3603 7.469 1.11e-13 *** log(var) 0.3422 0.1597 2.143 0.0322 *

11 r  regression  generalized-linear-model 

ฉันกำลังพยายามที่จะสร้างแบบจำลองตัวแปรการตอบสนองที่ถูกผูกไว้ในทางทฤษฎีระหว่าง -225 และ +225 ตัวแปรคือคะแนนรวมที่ผู้เล่นได้รับเมื่อเล่นเกม แม้ว่าในทางทฤษฎีมันเป็นไปได้สำหรับวิชาที่จะทำคะแนน +225 แม้จะเป็นเช่นนี้เพราะคะแนนขึ้นอยู่กับการกระทำของอาสาสมัครเท่านั้น แต่ยังรวมถึงการกระทำของการกระทำอื่นที่คะแนนสูงสุดที่ทุกคนทำคือ 125 (นี่คือผู้เล่นสูงสุด 2 คนที่เล่นกันสามารถทำคะแนนได้) เกิดขึ้นด้วยความถี่สูงมาก คะแนนต่ำสุดคือ +35 ขอบเขตของ 125 นี้ทำให้เกิดปัญหากับการถดถอยเชิงเส้น สิ่งเดียวที่ฉันคิดได้คือการปรับขนาดการตอบสนองใหม่ให้อยู่ระหว่าง 0 ถึง 1 และใช้การถดถอยเบต้า ถ้าฉันทำเช่นนี้แม้ว่าฉันไม่แน่ใจว่าฉันสามารถพิสูจน์ได้ว่า 125 เป็นขอบเขตสูงสุด (หรือ 1 หลังจากการเปลี่ยนแปลง) เนื่องจากเป็นไปได้ที่จะได้คะแนน +225 นอกจากนี้ถ้าฉันทำสิ่งนี้ขอบเขตด้านล่างของฉันคือ 35 ขอบคุณ โจนาธาน

11 regression  data-transformation  beta-distribution  bounds  beta-regression 

ฉันมีข้อมูลการสำรวจขนาดใหญ่ตัวแปรผลลัพธ์ไบนารีและตัวแปรอธิบายมากมายรวมถึงไบนารีและต่อเนื่อง ฉันกำลังสร้างชุดแบบจำลอง (ทดลองกับทั้ง GLM และ GLM แบบผสม) และใช้วิธีการทางทฤษฎีข้อมูลเพื่อเลือกแบบจำลองชั้นนำ ฉันตรวจสอบคำอธิบายอย่างระมัดระวัง (ทั้งแบบต่อเนื่องและแบบแบ่งหมวดหมู่) สำหรับความสัมพันธ์และฉันใช้เฉพาะในรูปแบบเดียวกันที่มีค่าสัมประสิทธิ์ Pearson หรือ Phicorr น้อยกว่า 0.3 ฉันต้องการให้โอกาสต่อเนื่องของตัวแปรทั้งหมดในการแข่งขันกับนางแบบชั้นนำ จากประสบการณ์ของฉันการเปลี่ยนสิ่งที่ต้องการโดยยึดตามความเบ้ปรับปรุงโมเดลที่พวกเขาเข้าร่วม (AIC ที่ต่ำกว่า) คำถามแรกของฉันคือ: การปรับปรุงนี้เพราะการเปลี่ยนแปลงช่วยเพิ่มความเป็นเชิงเส้นกับ logit หรือไม่ หรือการแก้ไขความเบ้ช่วยปรับปรุงความสมดุลของตัวแปรอธิบายอย่างใดด้วยการทำให้ข้อมูลสมมาตรมากขึ้น? ฉันหวังว่าฉันจะเข้าใจเหตุผลทางคณิตศาสตร์ที่อยู่เบื้องหลังเรื่องนี้ แต่สำหรับตอนนี้ถ้าใครบางคนสามารถอธิบายสิ่งนี้ในแง่ง่ายนั่นจะเป็นการดี หากคุณมีการอ้างอิงใด ๆ ที่ฉันสามารถใช้ได้ฉันจะขอบคุณมันจริงๆ เว็บไซต์อินเทอร์เน็ตหลายแห่งบอกว่าเพราะความเป็นมาตรฐานไม่ใช่ข้อสันนิษฐานในการถดถอยโลจิสติกแบบไบนารีอย่าเปลี่ยนตัวแปร แต่ฉันรู้สึกว่าถ้าไม่เปลี่ยนตัวแปรของฉันฉันจะเสียเปรียบเมื่อเทียบกับคนอื่น ๆ และอาจส่งผลกระทบต่อสิ่งที่โมเดลชั้นนำและเปลี่ยนการอนุมาน (ดีมันมักจะไม่ได้ ตัวแปรของฉันบางอย่างทำงานได้ดีขึ้นเมื่อบันทึกการเปลี่ยนแปลงบางอย่างเมื่อยกกำลังสอง (ทิศทางที่แตกต่างกันของความลาดเอียง) และบางตัวแปรที่ไม่ได้เปลี่ยนแปลง ใครบางคนจะสามารถให้แนวทางแก่ฉันในการระวังการเปลี่ยนตัวแปรอธิบายสำหรับการถดถอยโลจิสติกและถ้าไม่ทำมันทำไมไม่

11 regression  logistic  data-transformation  skewness 

ฉันกำลังสังเกตรูปแบบแปลก ๆ ที่เหลืออยู่สำหรับข้อมูลของฉัน: [แก้ไข] นี่คือพล็อตการถดถอยบางส่วนสำหรับตัวแปรสองตัว: [EDIT2] เพิ่มแผนการของ PP การกระจายดูเหมือนจะทำได้ดี (ดูด้านล่าง) แต่ฉันไม่มีเงื่อนงำที่เส้นตรงนี้อาจมาจาก ความคิดใด ๆ [อัพเดท 31.07] มันกลับกลายเป็นว่าคุณพูดถูกฉันมีหลายกรณีที่จำนวนทวีตซ้ำเป็น 0 อย่างแน่นอนและ 15 รายนี้ส่งผลให้มีรูปแบบที่เหลือแปลก ๆ ส่วนที่เหลือดูดีขึ้นมากในขณะนี้: ฉันได้รวมการถดถอยบางส่วนเข้ากับเส้นเหลือง

11 regression  multiple-regression  residuals  diagnostic