คำถามติดแท็ก regression

ใครบ้างที่รู้ความหมายของผลกระทบบางส่วนโดยเฉลี่ย? มันคืออะไรกันแน่และฉันจะคำนวณมันได้อย่างไร นี่คือข้อมูลอ้างอิงที่อาจช่วยได้

12 regression  count-data 

ฉันกำลังใช้การวิเคราะห์องค์ประกอบหลักเพื่อเลือกตัวแปรที่จะใช้ในการสร้างแบบจำลอง ในตอนนี้ฉันทำการวัด A, B และ C ในการทดลองของฉัน - สิ่งที่ฉันอยากรู้คือฉันสามารถทำการวัดน้อยลงและหยุดการบันทึก C และหรือ B เพื่อประหยัดเวลาและความพยายามได้หรือไม่? ฉันพบว่าตัวแปรทั้ง 3 ตัวโหลดอย่างหนักในองค์ประกอบหลักตัวแรกซึ่งคิดเป็น 60% ของความแปรปรวนในข้อมูลของฉัน คะแนนองค์ประกอบบอกฉันว่าถ้าฉันเพิ่มตัวแปรเหล่านี้เข้าด้วยกันในอัตราส่วนที่แน่นอน (aA + bB + cC) ฉันสามารถรับคะแนนบน PC1 สำหรับแต่ละกรณีในชุดข้อมูลของฉันและสามารถใช้คะแนนนี้เป็นตัวแปรในการสร้างแบบจำลอง แต่นั่นไม่อนุญาตให้ฉันหยุดการวัด B และ C ถ้าฉันยกกำลังสองของ A และ B และ C บน PC1 ฉันพบว่าตัวแปร A คิดเป็น 65% ของความแปรปรวนใน PC1 และตัวแปร B คิดเป็น 50% ของความแปรปรวนใน …

12 regression  pca  model-selection 

จากเศรษฐมิติโดย Fumio Hayashi (Chpt 1): ไม่มีเงื่อนไข Homoskedasticity: ช่วงเวลาที่สองของข้อผิดพลาด E (εᵢ²) เป็นค่าคงที่ตลอดการสังเกต รูปแบบการทำงาน E (εᵢ² | xi) เป็นค่าคงที่ตลอดการสังเกต เงื่อนไข Homoskedasticity: ข้อ จำกัด ที่ช่วงเวลาที่สองของข้อผิดพลาด E (εᵢ²) เป็นค่าคงที่ตลอดการสังเกตถูกยกขึ้น ดังนั้นช่วงเวลาที่สองตามเงื่อนไข E (εᵢ² | xi) สามารถแตกต่างกันในการสังเกตผ่านการพึ่งพาที่เป็นไปได้ในxᵢ ดังนั้นคำถามของฉัน: เงื่อนไข Homoskedasticity แตกต่างจาก Heteroskedasticity อย่างไร ความเข้าใจของฉันคือว่ามี heteroskedasticity เมื่อช่วงเวลาที่สองแตกต่างจากการสังเกต (xᵢ)

12 regression  econometrics  heteroscedasticity  assumptions 

สมมติว่าเป็นฟังก์ชันเชิงเส้นของxและหุ่นd สมมติฐานของฉันอยู่ที่dตัวเองเป็นเหมือนดัชนีประสมของเวกเตอร์ของตัวแปรอื่น ๆ Z ผมได้รับการสนับสนุนในการนี้ในM N O VของZ (เช่นซี1 , ซี2 , ... , Z n ) บนd มีวิธีใดที่จะทดสอบความเท่ากันของโมเดลทั้งสองนี้:yyyxxxddddddZZZMANOVAMANOVAMANOVAZZZz1z1z_1z2z2z_2znznz_nddd รุ่น 1: y=b0+b1⋅x+b2⋅d+e1y=b0+b1⋅x+b2⋅d+e1y = b_0 + b_1 \cdot x + b_2\cdot d + e_1 รุ่น 2: y=g0+Z⋅G+e2y=g0+Z⋅G+e2y = g_0 + Z\cdot G + e_2 โดยที่คือเวกเตอร์คอลัมน์ของพารามิเตอร์GGG

12 r  hypothesis-testing  regression  model-selection 

จุดรวมของ AIC หรือเกณฑ์ข้อมูลอื่น ๆ นั้นดีกว่าน้อยกว่า ดังนั้นถ้าฉันมีสองรุ่น M1: y = a0 + XA + e และ M2: y = b0 + ZB + u และถ้า AIC ของรุ่นแรก (A1) น้อยกว่ารุ่นที่สอง (A2) ดังนั้น M1 จะมี แบบที่ดีขึ้นจากมุมมองของทฤษฎีข้อมูล แต่มีเกณฑ์มาตรฐานลัดสำหรับความแตกต่างของ A1-A2 หรือไม่? จริง ๆ แล้วมีจำนวนน้อยเท่าใด อีกนัยหนึ่งมีการทดสอบสำหรับ (A1-A2) ที่นอกเหนือจากการมองด้วยตาหรือไม่ แก้ไข: Peter / Dmitrij ... ขอบคุณที่ตอบกลับ ที่จริงนี่เป็นกรณีที่ความเชี่ยวชาญที่สำคัญของฉันขัดแย้งกับความเชี่ยวชาญทางสถิติของฉัน โดยพื้นฐานแล้วปัญหาไม่ได้เลือกระหว่างสองรุ่น …

12 regression  aic 

ฉันอยากจะถามคำถามนี้ในสองส่วน ทั้งสองจัดการกับโมเดลเชิงเส้นทั่วไป แต่ข้อตกลงแรกกับการเลือกรูปแบบและข้อตกลงอื่น ๆ ที่มีการทำให้เป็นมาตรฐาน ความเป็นมา:ฉันใช้โมเดล GLMs (แบบเชิงเส้นโลจิสติกส์การถดถอยแบบแกมม่า) สำหรับการทำนายและคำอธิบาย เมื่อฉันอ้างถึง " สิ่งปกติที่เกิดขึ้นกับการถดถอย " ฉันหมายถึงคำอธิบายด้วย (i) ช่วงความมั่นใจรอบค่าสัมประสิทธิ์ (ii) ช่วงความเชื่อมั่นรอบการทำนายและ (iii) การทดสอบสมมติฐานเกี่ยวกับการรวมกันเชิงเส้นของสัมประสิทธิ์เช่น " มีความแตกต่างระหว่างการรักษา A และการรักษา B หรือไม่ " คุณสูญเสียความสามารถในการทำสิ่งเหล่านี้อย่างถูกกฎหมายโดยใช้ทฤษฎีปกติภายใต้ข้อใดข้อหนึ่งต่อไปนี้หรือไม่? และถ้าเป็นเช่นนั้นสิ่งเหล่านี้จะดีสำหรับแบบจำลองที่ใช้สำหรับการทำนายที่บริสุทธิ์หรือไม่? I.เมื่อ GLM มีความเหมาะสมผ่านกระบวนการคัดเลือกแบบบางรุ่น (สำหรับรูปสมส่วนบอกขั้นตอนแบบขั้นตอนตาม AIC) ครั้งที่สอง เมื่อ GLM เหมาะสมผ่านวิธีการทำให้เป็นมาตรฐาน (พูดโดยใช้ glmnet ใน R) ความรู้สึกของฉันคือสำหรับฉันคำตอบคือในทางเทคนิคที่คุณควรใช้ bootstrap สำหรับ " สิ่งปกติที่ทำกับการถดถอย " แต่ไม่มีใครปฏิบัติตามนั้น เพิ่ม: …

12 regression  model-selection  regularization 

ดูเหมือนว่าคุณสามารถใช้การเข้ารหัสสำหรับตัวแปรเด็ดขาดหนึ่งตัว แต่ฉันมีตัวแปรเด็ดขาดสองตัวและตัวแปรทำนายต่อเนื่องหนึ่งตัว ฉันสามารถใช้การถดถอยแบบหลายครั้งใน SPSS ได้หรือไม่และอย่างไร? ขอบคุณ!

12 regression  spss  categorical-data  continuous-data 

SVM สำหรับการจัดหมวดหมู่ทำให้เข้าใจได้ง่ายสำหรับฉัน: ฉันเข้าใจว่าการย่อขนาดให้ผลกำไรสูงสุด อย่างไรก็ตามฉันไม่เข้าใจวัตถุประสงค์นั้นในบริบทของการถดถอย ข้อความต่าง ๆ ( ที่นี่และที่นี่ ) อธิบายว่านี่เป็นการเพิ่ม "ความเรียบ" ให้สูงสุด ทำไมเราต้องการทำเช่นนั้น? อะไรคือความถดถอยที่เทียบเท่ากับแนวคิดของ "margin"?| | θ | |2||θ||2||\theta||^2 ต่อไปนี้เป็นคำตอบพยายามสองสามข้อ แต่ไม่มีผู้ใดที่ช่วยฉันเข้าใจ

12 regression  svm 

มีเอกสารหรือหนังสือที่ดีเกี่ยวกับการใช้โคตรประสานงานสำหรับ L1 (lasso) และ / หรือการทำให้เป็นระเบียบสุทธิแบบยืดหยุ่นสำหรับปัญหาการถดถอยเชิงเส้นหรือไม่?

12 regression  references  lasso  regularization  elastic-net 

ฉันเหมาะสมกับการถดถอยเชิงเส้น L1-normalized กับชุดข้อมูลที่มีขนาดใหญ่มาก (ที่มี n >> p.) ตัวแปรเป็นที่รู้จักล่วงหน้า แต่การสังเกตการณ์มาถึงกลุ่มเล็ก ๆ ฉันต้องการที่จะรักษาเชือกที่พอดีหลังจากแต่ละก้อน เห็นได้ชัดว่าฉันสามารถปรับโมเดลทั้งหมดได้อีกครั้งหลังจากเห็นการสังเกตชุดใหม่แต่ละชุด อย่างไรก็ตามสิ่งนี้จะไม่มีประสิทธิภาพพอสมควรเนื่องจากมีข้อมูลจำนวนมาก จำนวนข้อมูลใหม่ที่มาถึงในแต่ละขั้นตอนมีขนาดเล็กมากและความพอดีไม่น่าจะเปลี่ยนแปลงระหว่างขั้นตอนมากนัก มีอะไรที่ฉันสามารถทำได้เพื่อลดภาระการคำนวณโดยรวมหรือไม่? ฉันกำลังดูอัลกอริทึม LARS ของ Efron et al. แต่ยินดีที่จะพิจารณาวิธีการติดตั้งแบบอื่น ๆ ถ้ามันสามารถทำให้ "warm-start" ตามที่อธิบายไว้ข้างต้น หมายเหตุ: ฉันกำลังมองหาอัลกอริทึมเป็นหลัก แต่ตัวชี้ไปยังชุดซอฟต์แวร์ที่มีอยู่ซึ่งสามารถทำได้สิ่งนี้อาจพิสูจน์ได้ด้วย นอกเหนือจากวิถีบ่วงบาศปัจจุบันอัลกอริธึมก็แน่นอนยินดีที่จะรักษาสถานะอื่น แบรดลีย์เอฟรอน, เทรเวอร์ Hastie เลน Johnstone และโรเบิร์ตทิบชิรา นี , น้อยมุมถดถอย , พงศาวดารของสถิติ (ด้วยการอภิปราย) (2004) 32 (2), 407--499

12 regression  lasso 

เมื่อใดที่คุณจะใช้ ROC curves ผ่านการทดสอบอื่น ๆ เพื่อกำหนดความสามารถในการทำนายของการวัดในผลลัพธ์ เมื่อจัดการกับผลลัพธ์ที่ไม่ต่อเนื่อง (ชีวิต / ตายปัจจุบัน / ขาดหายไป) อะไรที่ทำให้ ROC โค้งพลังมากขึ้นหรือน้อยลงกว่าบางอย่างเช่นไคสแควร์

12 regression  roc 

คำถามของฉันง่ายเหมือน: การประเมินร่วมกันคืออะไร? และมันหมายถึงอะไรในบริบทของการวิเคราะห์การถดถอย? เป็นอย่างไรบ้าง? ฉันเดินไปในอินเทอร์เน็ตอันยิ่งใหญ่มาระยะหนึ่งแล้ว แต่ไม่พบคำตอบสำหรับคำถามเหล่านี้

12 regression  estimation  terminology 

ตามที่อ้างอิงเล่ม 1 , เล่ม 2และกระดาษ มีการกล่าวถึงว่ามีความเท่าเทียมกันระหว่างการถดถอยแบบปกติ (Ridge, LASSO และ Elastic Net) และสูตรข้อ จำกัด ฉันยังดูCross Validated 1และCross Validated 2แต่ฉันไม่สามารถเห็นคำตอบที่ชัดเจนแสดงให้เห็นว่าการเทียบเท่าหรือตรรกะ คำถามของฉันคือ จะแสดงความเท่าเทียมกันอย่างไรโดยใช้ Karush – Kuhn – Tucker (KKT) สูตรต่อไปนี้ใช้สำหรับการถดถอยแบบริดจ์ บันทึก คำถามนี้ไม่ใช่การบ้าน มันเป็นเพียงเพื่อเพิ่มความเข้าใจของฉันในหัวข้อนี้ UPDATE ฉันยังไม่มีความคิด

12 regression  optimization  lasso  ridge-regression  elastic-net 

ฉันได้อ่านในหลาย ๆ ที่ว่า R Squared ไม่ใช่วิธีที่เหมาะสมที่สุดเมื่อแบบจำลองนั้นเหมาะสมกับ LASSO แต่ฉันไม่ชัดเจนเกี่ยวกับว่าทำไมที่เป็น นอกจากนี้คุณสามารถแนะนำทางเลือกที่ดีที่สุดได้หรือไม่

12 regression  lasso  r-squared  penalized 

ในการตรวจจับแบบบีบอัดมีทฤษฎีบทรับประกันได้ว่า มีวิธีแก้ปัญหากระจัดกระจายc (ดูภาคผนวกสำหรับรายละเอียดเพิ่มเติม)cargmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc มีทฤษฎีบทที่คล้ายกันสำหรับบ่วงบาศหรือไม่? หากมีทฤษฎีบทดังกล่าวไม่เพียง แต่จะรับประกันความมั่นคงของบาศกัมมันตภาพรังสีเท่านั้น แต่มันยังให้การตีความที่มีความหมายมากขึ้นด้วย เชือกสามารถค้นพบเบาบางค่าสัมประสิทธิ์การถดถอยเวกเตอร์cccที่ใช้ในการสร้างการตอบสนองyyyโดยy=Xcy=Xcy = XcXc มีสองเหตุผลที่ฉันถามคำถามนี้: ฉันคิดว่า 'lasso เป็นคำตอบที่กระจัดกระจาย' ไม่ใช่คำตอบว่าทำไมใช้ lasso เพื่อเลือกคุณลักษณะเนื่องจากเราไม่สามารถบอกได้ว่าข้อดีของคุณสมบัติที่เราเลือกคืออะไร ฉันเรียนรู้ Lasso ที่มีชื่อเสียงในเรื่องความไม่แน่นอนในการเลือกคุณสมบัติ ในทางปฏิบัติเราต้องรันตัวอย่างบูตสแตรปเพื่อประเมินความเสถียร อะไรคือเหตุผลที่สำคัญที่สุดที่ทำให้เกิดความไม่แน่นอนนี้ ภาคผนวก: ได้รับXN×M=(x1,⋯,xM)XN×M=(x1,⋯,xM)X_{N \times M} = (x_1, \cdots, x_M)x_M) cccคือΩΩ\Omega -sparse vector ( Ω⩽MΩ⩽M\Omega \leqslant …

12 regression  self-study  feature-selection  lasso  regularization