คำถามติดแท็ก regression

เมื่อใช้ k-fold CV เพื่อเลือกระหว่างโมเดลการถดถอยฉันมักจะคำนวณข้อผิดพลาด CV แยกต่างหากสำหรับแต่ละรุ่นพร้อมกับข้อผิดพลาดมาตรฐาน SE และฉันเลือกรุ่นที่ง่ายที่สุดภายใน 1 SE ของรุ่นที่มีข้อผิดพลาด CV ต่ำสุด (1 กฎข้อผิดพลาดมาตรฐานดูตัวอย่างได้ที่นี่ ) อย่างไรก็ตามเมื่อเร็ว ๆ นี้ฉันได้รับแจ้งว่าด้วยวิธีนี้ฉันประเมินค่าความแปรปรวนสูงเกินไปและในกรณีเฉพาะในการเลือกระหว่างสองรุ่น A และ B ฉันควรดำเนินการต่อไปในลักษณะที่แตกต่างกัน: สำหรับแต่ละเท่าของความยาวให้คำนวณความแตกต่างจุดระหว่างทั้งสองแบบจำลองการทำนายจากนั้นคำนวณความแตกต่างของค่าเฉลี่ยกำลังสองสำหรับการพับKKKยังไม่มีข้อความKNKN_KMSDK=Σยังไม่มีข้อความKi = 1(Y^ฉัน-Y^B i)2ยังไม่มีข้อความK---------------√MSDK=∑i=1NK(y^Ai−y^Bi)2NKMSD_K=\sqrt{\frac{\sum_{i=1}^{N_K}\left(\hat{y}_{Ai}-\hat{y}_{Bi}\right)^2}{N_K}} ค่าเฉลี่ยข้ามเท่าปกติและใช้ข้อผิดพลาดความแตกต่าง CV นี้ (พร้อมกับข้อผิดพลาดมาตรฐาน) เป็นตัวประมาณสำหรับข้อผิดพลาดทั่วไปMSDKMSDKMSD_K คำถาม: สิ่งนี้สมเหตุสมผลสำหรับคุณหรือไม่ ฉันรู้ว่ามีเหตุผลทางทฤษฎีที่อยู่เบื้องหลังการใช้ข้อผิดพลาด CV เป็นตัวประมาณข้อผิดพลาดในการวางนัยทั่วไป (ฉันไม่ทราบว่าเหตุผลเหล่านี้คืออะไร แต่ฉันรู้ว่ามีอยู่จริง!) ฉันไม่รู้ว่ามีเหตุผลทางทฤษฎีที่อยู่เบื้องหลังการใช้ข้อผิดพลาด CV "แตกต่าง" นี้หรือไม่ ฉันไม่รู้ว่าสิ่งนี้สามารถนำมาเปรียบเทียบกับแบบจำลองมากกว่าสองรุ่นได้หรือไม่ การคำนวณความแตกต่างของแบบจำลองทุกคู่ดูเหมือนจะมีความเสี่ยง (การเปรียบเทียบหลายทาง): คุณจะทำอย่างไรถ้าคุณมีมากกว่าสองแบบ? แก้ไข: สูตรของฉันผิดทั้งหมดตัวชี้วัดที่ถูกต้องอธิบายไว้ที่นี่และมันซับซ้อนกว่ามาก ฉันมีความสุขที่ฉันถามที่นี่ก่อนที่จะใช้สูตรไม่ได้! …

9 regression  cross-validation  model-selection 

พิจารณาโมเดลการถดถอยเชิงเส้น: yi=xi⋅β+εi,i=1,…,n,yi=xi⋅β+εi,i=1,…,n, y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n, ที่εi∼L(0,b)εi∼L(0,b)\varepsilon _i \sim \mathcal L(0, b)นั่นคือ , การกระจาย Laplace พร้อมพารามิเตอร์ค่าเฉลี่ย000และพารามิเตอร์bbbทั้งหมดล้วน แต่เป็นอิสระต่อกัน พิจารณาการประเมินความเป็นไปได้สูงสุดของพารามิเตอร์ที่ไม่รู้จักββ\boldsymbol \beta : −logp(y∣X,β,b)=nlog(2b)+1b∑i=1n|xi⋅β−yi|−log⁡p(y∣X,β,b)=nlog⁡(2b)+1b∑i=1n|xi⋅β−yi| -\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol …

9 regression  laplace-distribution 

ฉันอ่านในหนังสือการเรียนรู้ของเครื่องว่าสามารถประมาณค่าพารามิเตอร์ของการถดถอยเชิงเส้น (ท่ามกลางวิธีอื่น ๆ ) โดยการไล่ระดับสีแบบลาดชันในขณะที่พารามิเตอร์ของการถดถอยแบบโลจิสติกมักจะประเมินโดยการประมาณโอกาสสูงสุด เป็นไปได้หรือไม่ที่จะอธิบายให้กับผู้เริ่มต้น (ฉัน) ว่าทำไมเราถึงต้องการวิธีการที่แตกต่างกันสำหรับการถดถอยเชิงเส้น / ลอจิสติก หรือที่รู้จักว่าทำไมไม่ MLE สำหรับการถดถอยเชิงเส้นและทำไมไม่ไล่ระดับความลาดชันสำหรับการถดถอยโลจิสติก?

9 regression  logistic  maximum-likelihood 

ในบทความนี้ ( การอนุมานแบบเบย์สำหรับส่วนประกอบความแปรปรวนโดยใช้ข้อผิดพลาดเฉพาะฮาร์วิลล์ 2517) ผู้เขียนอ้างว่า เป็น "ที่รู้จักกันดี ความสัมพันธ์ ", สำหรับการถดถอยเชิงเส้น ที่ \ epsilon \ sim \ mathcal {N} (0, H)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)y=Xβ+ϵ,y=Xβ+ϵ,y=X\beta+\epsilon,ϵ∼N(0,H).ϵ∼N(0,H).\epsilon\sim\mathcal{N}(0, H). สิ่งนี้เป็นที่รู้จักกันดีอย่างไร วิธีที่ง่ายที่สุดในการพิสูจน์สิ่งนี้คืออะไร?

9 regression  regression-coefficients  heteroscedasticity  bias  linear-algebra 

ในหนังสือเรียนเศรษฐมิติของฉัน (เศรษฐมิติเบื้องต้น) ครอบคลุม OLS ผู้เขียนเขียนว่า "SSR จะต้องล้มลงเมื่อมีการเพิ่มตัวแปรอธิบายอื่น" ทำไมล่ะ

9 regression  optimization  econometrics  intuition  sums-of-squares 

คำถาม: มีการใช้โมเดลเชิงเส้นที่ไม่เหมาะสมในทางปฏิบัติหรือมีความอยากรู้อยากเห็นบางครั้งอธิบายไว้ในวารสารวิทยาศาสตร์หรือไม่? ถ้าเป็นเช่นนั้นพวกเขาจะใช้ในด้านใด? มีตัวอย่างอื่น ๆ ของโมเดลดังกล่าวอีกไหม? ในที่สุดข้อผิดพลาดมาตรฐาน value,ฯลฯ ที่นำมาจาก OLS สำหรับรุ่นดังกล่าวจะถูกต้องหรือไม่หรือควรได้รับการแก้ไขอย่างใดpppR2R2R^2 ความเป็นมา:แบบจำลองเชิงเส้นที่ไม่เหมาะสมมีการอธิบายเป็นครั้งคราวในวรรณคดี โดยทั่วไปโมเดลดังกล่าวสามารถอธิบายได้ดังนี้ y=a+b∑iwixi+εy=a+b∑iwixi+ε y = a + b \sum_i w_i x_i + \varepsilon สิ่งที่ทำให้พวกเขาแตกต่างจากการถดถอยก็คือค่าสัมประสิทธิ์ของไม่ได้ประมาณไว้ในแบบจำลอง แต่เป็นน้ำหนักที่wjwjw_j เท่ากับตัวแปรแต่ละตัว ( การถดถอยแบบถ่วงน้ำหนักหน่วย )wi=1wi=1w_i = 1 ขึ้นอยู่กับสหสัมพันธ์ (Dana และ Dawes, 2004)wi=ρ(y,xi)wi=ρ(y,xi)w_i = \rho(y, x_i) เลือกแบบสุ่ม (Dawes, 1979) −1−1-1สำหรับตัวแปรที่เกี่ยวข้องกับ ,สำหรับตัวแปรที่เกี่ยวข้องกับ (Wainer, 1976)yyy111yyy นอกจากนี้มันเป็นเรื่องธรรมดาที่จะใช้ชนิดของการปรับคุณลักษณะบางอย่างเช่นการแปลงตัวแปรเข้า -scores ดังนั้นแบบจำลองชนิดนี้สามารถทำให้ง่ายขึ้นในการถดถอยเชิงเส้นแบบไม่รวมตัวแปรZZZ …

9 regression  references  linear-model  robust 

ผมอ่านเกี่ยวกับพื้นฐานของการวิเคราะห์องค์ประกอบหลักจากtutorial1 , link1และlink2 ฉันมีชุดข้อมูลของตัวแปร 100 ตัว (รวมถึงตัวแปรเอาต์พุต Y) ฉันต้องการลดตัวแปรเป็น 40 โดย PCA แล้วทำนายตัวแปร Y โดยใช้ตัวแปร 40 ตัว ปัญหาที่ 1:หลังจากได้รับส่วนประกอบหลักและเลือก 40 องค์ประกอบแรกถ้าฉันใช้การถดถอยบนฉันได้รับฟังก์ชั่นบางอย่างที่เหมาะกับข้อมูล แต่จะคาดเดาตัวแปร Y จากข้อมูลต้นฉบับได้อย่างไร? ในการทำนายตัวแปร YI มีตัวแปร (100-1) ที่อินพุตและฉันจะรู้ได้อย่างไรว่ามีตัวแปร 40 ตัวที่เลือกตัวแปร 100-1 ดั้งเดิมของฉันได้อย่างไร ปัญหาที่ 2:ฉันกลับ PCA และรับข้อมูลกลับมาจากองค์ประกอบหลัก 40 รายการ แต่ข้อมูลมีการเปลี่ยนแปลงเพราะฉันเลือกเพียง 40 องค์ประกอบแรก การใช้การถดถอยกับข้อมูลเหล่านี้สมเหตุสมผลหรือไม่? ฉันใช้ Matlab / Octave

9 regression  pca 

ฉันจะเข้าใจanovaผลลัพธ์ได้อย่างไรเมื่อเปรียบเทียบสองรุ่น ตัวอย่าง: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** สถานะ manpage: "คำนวณการวิเคราะห์ความแปรปรวน (หรือความเบี่ยงเบน) ตารางสำหรับวัตถุจำลองรุ่นหนึ่งหรือมากกว่านั้น" อย่างไรก็ตามศาสตราจารย์บอกว่ามันอาจจะใช้สำหรับการเปรียบเทียบแบบจำลอง - นั่นคือสิ่งที่ฉันตั้งใจจะทำ ดังนั้นฉันคิดว่าฉันสามารถใช้anova(model1, model2)และรับค่า p ซึ่งบอกฉันว่าฉันควรปฏิเสธสมมติฐานว่าง: "แบบจำลองเหมือนกัน" ฉันขอกล่าวว่าถ้าค่า p น้อยกว่า (สมมุติว่า) 0.05 แบบจำลองแตกต่างกันอย่างมีนัยสำคัญหรือไม่

9 r  regression  anova 

บางครั้งเราคิดว่า regressors ได้รับการแก้ไขนั่นคือมันไม่ได้สุ่ม ฉันคิดว่านั่นหมายถึงตัวทำนายของเราการประมาณค่าพารามิเตอร์และอื่น ๆ ทั้งหมดนั้นไม่มีเงื่อนไขใช่ไหม? ฉันอาจไปได้ไกลขนาดนั้นว่าพวกเขาจะไม่เป็นตัวแปรสุ่มอีกต่อไป? หากในอีกทางหนึ่งเรายอมรับว่าผู้ถดถอยส่วนใหญ่ในสาขาเศรษฐศาสตร์พูดว่าสุ่มเพราะไม่มีแรงภายนอกกำหนดพวกเขาด้วยการทดลองในใจ จากนั้นนักเศรษฐศาสตร์ก็ให้ความสำคัญกับการถดถอยแบบสุ่ม สิ่งนี้แตกต่างจากการปฎิบัติตามที่ได้รับการแก้ไขอย่างไร ฉันเข้าใจว่าการปรับสภาพคืออะไร ศาสตร์มันหมายความว่าเราให้ข้อสังเกตและเงื่อนไขในการอนุมานว่าชุดใดชุดหนึ่งของ regressors และมีความทะเยอทะยานที่จะบอกว่าการหาข้อสรุปที่ประมาณการพารามิเตอร์ประมาณการแปรปรวน ฯลฯ ไม่มีจะได้รับเหมือนกันได้เราเห็นแตกต่างกันของการก่อให้เกิด regressors ของเรา (เช่นมี crux ในอนุกรมเวลาซึ่งแต่ละชุดเวลาจะเห็นเพียงครั้งเดียว) อย่างไรก็ตามเพื่อให้เข้าใจถึงความแตกต่างระหว่าง regressors คงที่และการปรับเงื่อนไขในการถดถอยแบบสุ่มฉันสงสัยว่าถ้าใครที่นี่รู้จักตัวอย่างของการประมาณค่าหรือขั้นตอนการอนุมานที่ถูกต้องสำหรับการพูดคง regressors แต่แตกสลายเมื่อพวกเขาสุ่ม เปิดรับ) ฉันรอคอยที่จะเห็นตัวอย่างเหล่านั้น!

9 regression  inference  philosophical  conditioning  ancillary-statistics 

ฉันพยายามทำนายคะแนนสมดุลและลองวิธีการถดถอยที่แตกต่างกันหลายวิธี สิ่งหนึ่งที่ฉันสังเกตเห็นคือค่าคาดการณ์ดูเหมือนจะมีขอบเขตบนบางอย่าง นั่นคือความสมดุลที่เกิดขึ้นจริงในแต่คาดการณ์ของฉันที่ด้านบนสุดที่ประมาณ0.8พล็อตต่อไปนี้แสดงยอดคงเหลือตามจริงกับยอดคงเหลือที่คาดการณ์ไว้ (ทำนายด้วยการถดถอยเชิงเส้น):[ 0.0 , 1.0 )[0.0,1.0)[0.0, 1.0)0.80.80.8 และนี่คือแผนการแจกแจงสองข้อมูลเดียวกัน: เนื่องจากตัวทำนายของฉันเบ้มาก (ข้อมูลผู้ใช้ที่มีการแจกแจงกฎหมายพลังงาน) ฉันจึงใช้การแปลงแบบบ็อกซ์ค็อกซ์ซึ่งเปลี่ยนผลลัพธ์เป็นต่อไปนี้: แม้ว่ามันจะเปลี่ยนการกระจายตัวของการทำนาย แต่ก็ยังคงมีขอบเขตบน ดังนั้นคำถามของฉันคือ: อะไรคือเหตุผลที่เป็นไปได้สำหรับขอบเขตบนดังกล่าวในผลการทำนาย? ฉันจะแก้ไขการคาดการณ์เพื่อให้สอดคล้องกับการแจกแจงของค่าจริงได้อย่างไร โบนัส:เนื่องจากการกระจายหลังจากแปลงบ็อกซ์ค็อกซ์ดูเหมือนว่าจะเป็นไปตามการกระจายตัวของตัวทำนายที่ถูกแปลงเป็นไปได้หรือไม่ว่ามันเชื่อมโยงโดยตรงหรือไม่ ถ้าเป็นเช่นนั้นจะมีการเปลี่ยนแปลงที่ฉันสามารถนำไปใช้เพื่อให้เหมาะสมกับการกระจายตัวกับค่าจริงหรือไม่? แก้ไข:ฉันใช้การถดถอยเชิงเส้นอย่างง่ายพร้อมตัวทำนาย 5 ตัว

9 regression  distributions  data-transformation  prediction  bounds 

ฉันใช้decomposeฟังก์ชั่นRและคิดส่วนประกอบ 3 อย่างของอนุกรมเวลารายเดือนของฉัน (แนวโน้มฤดูกาลและการสุ่ม) ถ้าฉันพล็อตแผนภูมิหรือดูที่ตารางฉันสามารถเห็นได้อย่างชัดเจนว่าอนุกรมเวลาได้รับผลกระทบตามฤดูกาล อย่างไรก็ตามเมื่อฉันถอยหลังอนุกรมเวลาลงในตัวแปรจำลองตามฤดูกาล 11 ค่าสัมประสิทธิ์ทั้งหมดไม่มีนัยสำคัญทางสถิติซึ่งบอกว่าไม่มีฤดูกาล ฉันไม่เข้าใจว่าทำไมฉันถึงได้ผลลัพธ์ที่แตกต่างกันสองอย่าง สิ่งนี้เกิดขึ้นกับใคร? ฉันกำลังทำอะไรผิดหรือเปล่า? ฉันจะเพิ่มรายละเอียดที่เป็นประโยชน์ที่นี่ นี่คืออนุกรมเวลาของฉันและการเปลี่ยนแปลงรายเดือนที่สอดคล้องกัน ในแผนภูมิทั้งสองคุณสามารถเห็นว่ามีฤดูกาล (หรือนี่คือสิ่งที่ฉันต้องการประเมิน) โดยเฉพาะในแผนภูมิที่สอง (ซึ่งเป็นการเปลี่ยนแปลงรายเดือนของซีรี่ส์) ฉันสามารถเห็นรูปแบบที่เกิดซ้ำ (คะแนนสูงและคะแนนต่ำในเดือนเดียวกันของปี) ด้านล่างเป็นผลลัพธ์ของdecomposeฟังก์ชั่น ฉันขอขอบคุณที่ @RichardHardy กล่าวว่าฟังก์ชั่นไม่ได้ทดสอบว่ามีฤดูกาลจริงหรือไม่ แต่การสลายตัวดูเหมือนจะยืนยันสิ่งที่ฉันคิด อย่างไรก็ตามเมื่อฉันถอยหลังอนุกรมเวลาของตัวแปรตัวประกอบตามฤดูกาล 11 ตัว (มกราคมถึงพฤศจิกายนไม่รวมธันวาคม) ฉันพบสิ่งต่อไปนี้: Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 5144454056 372840549 13.798 <2e-16 *** Jan -616669492 527276161 -1.170 0.248 Feb -586884419 527276161 …

9 r  regression  time-series 

ความเข้าใจของฉันคือว่าแม้การถดถอยไม่ได้ก่อให้เกิดเวรกรรม มันสามารถให้ความสัมพันธ์ระหว่างตัวแปร y และตัวแปร x และทิศทางที่เป็นไปได้ ฉันถูกไหม? ฉันมักพบวลีที่คล้ายกับ "x ทำนาย y" แม้ในตำราเรียนส่วนใหญ่และในหน้าหลักสูตรออนไลน์ต่างๆ และคุณมักจะเรียก regressors เป็นตัวทำนายและ y เป็นคำตอบ มันยุติธรรมแค่ไหนที่จะใช้กับการถดถอยเชิงเส้น? วิธีการเกี่ยวกับการถดถอยโลจิสติก? (ถ้าฉันมีเกณฑ์ t ซึ่งฉันสามารถเปรียบเทียบความน่าจะเป็นได้หรือไม่)

9 regression  logistic  predictive-models  terminology  causality 

ในการวิเคราะห์การถดถอยหลายตัวแปรดูเหมือนว่าผู้คนใช้คำจำกัดความที่แตกต่างกันของอัตราส่วนอัตราต่อรองที่ปรับ คุณช่วยอธิบายให้ฉันฟังได้ว่าอะไรคือOR ที่ปรับแล้วและมันแตกต่างจากOR ที่ไม่ได้ปรับหรือ ขอบคุณ!

9 regression  multivariate-analysis  odds-ratio 

อาจารย์ที่มหาวิทยาลัยของฉันตั้งคำถามเช่นนี้ (ไม่ใช่เพื่อทำการบ้านเนื่องจากชั้นเรียนจบแล้วและฉันไม่ได้อยู่ในนั้น) ฉันไม่สามารถหาวิธีเข้าหามันได้ คำถามเกี่ยวกับถุง 2 ใบที่บรรจุผลไม้หลากหลายประเภท: ถุงใบแรกมีผลไม้ที่เลือกแบบสุ่มดังต่อไปนี้: + ------------- + -------- + + --------- | เส้นผ่าศูนย์กลางซม มวล g | เน่าเสีย? | + ------------- + -------- + + --------- | 17.28 | 139.08 | 0 | | 6.57 | 91.48 | 1 | | 7.12 | 74.23 | 1 | | …

9 regression  estimation 

หลายปีที่ผ่านมาฉันพบตัวตนนี้ผ่านการทดลองเล่นกับข้อมูลและการแปลงร่าง หลังจากอธิบายให้อาจารย์สถิติของฉันเขามาในชั้นถัดไปด้วยการพิสูจน์แบบหน้าเดียวโดยใช้สัญลักษณ์เวกเตอร์และเมทริกซ์ น่าเสียดายที่ฉันทำกระดาษให้เขาเสีย (นี่คือย้อนกลับไปในปี 2007) ทุกคนสามารถสร้างหลักฐานใหม่ได้หรือไม่? ให้เป็นจุดข้อมูลดั้งเดิมของคุณ กำหนดชุดข้อมูลใหม่โดยหมุนชุดเดิมตามมุม ; เรียกจุดเหล่านี้y'_i)(xi,yi)(xi,yi)(x_i,y_i)θθ\theta(x′i,y′i)(xi′,yi′)(x'_i,y'_i) ค่า R กำลังสองของชุดคะแนนเดิมเท่ากับผลลบของอนุพันธ์เทียบกับของบันทึกธรรมชาติของค่าเบี่ยงเบนมาตรฐานสำหรับแต่ละพิกัดของชุดคะแนนใหม่แต่ละชุดจะประเมินที่θθ\thetaθ=0θ=0\theta=0 r2=−(ddθln(σx′)∣∣θ=0)(ddθln(σy′)∣∣θ=0)r2=−(ddθln⁡(σx′)|θ=0)(ddθln⁡(σy′)|θ=0)r^2= - \left(\left.\frac{d}{d\theta}\ln(\sigma_{x'})\right|_{\theta=0} \right) \left(\left.\frac{d}{d\theta}\ln(\sigma_{y'})\right|_{\theta=0} \right)

9 regression  r-squared