ฉันจะประเมินข้อผิดพลาดมาตรฐานสัมประสิทธิ์ได้อย่างไรเมื่อใช้การถดถอยแบบสัน

ฉันใช้การถดถอยแบบสันบนข้อมูลที่มีค่าหลายระดับสูง ใช้ OLS ฉันได้รับข้อผิดพลาดมาตรฐานขนาดใหญ่ในค่าสัมประสิทธิ์เนื่องจากความหลากหลายทางชีวภาพ ฉันรู้ว่าการถดถอยของสันเขาเป็นวิธีการจัดการกับปัญหานี้ แต่ในการนำไปใช้ทั้งหมดของการถดถอยสันที่ฉันได้ดูไม่มีข้อผิดพลาดมาตรฐานที่รายงานสำหรับสัมประสิทธิ์ ฉันต้องการประเมินว่าการถดถอยของสันเขาช่วยได้มากน้อยเพียงใดโดยดูว่ามันลดความผิดพลาดมาตรฐานของสัมประสิทธิ์ที่เฉพาะเจาะจงได้อย่างไร มีวิธีการประเมินพวกเขาในการถดถอยสัน?

ฉันคิดว่า boostrap เป็นตัวเลือกที่ดีที่สุดในการรับ SE ที่แข็งแกร่ง สิ่งนี้ทำในงานประยุกต์บางงานโดยใช้วิธีการหดตัวเช่นการวิเคราะห์ข้อมูลของสมาคมโรคไขข้ออักเสบอเมริกาเหนือโดยใช้วิธีการถดถอยโลจิสติกที่ถูกลงโทษ (BMC Proceedings 2009) นอกจากนี้ยังมีกระดาษที่ดีจาก Casella ในการคำนวณ SE ด้วยแบบจำลองที่มีการลงโทษการถดถอยที่ถูกต้องข้อผิดพลาดมาตรฐานและ Bayesian Lassos (Bayesian Analysis 2010 5 (2)) แต่พวกเขามีความกังวลมากขึ้นเกี่ยวกับการลงโทษด้วยเชือกและยางยืด

ฉันมักจะคิดว่าสันเขาถดถอยเป็นวิธีที่จะได้รับการคาดการณ์ที่ดีกว่ามาตรฐาน OLS ซึ่งโดยทั่วไปแล้วรูปแบบดังกล่าวจะไม่น่าเชื่อถือ สำหรับการเลือกตัวแปรเชือกหรือelasticnetเกณฑ์ที่มีความเหมาะสมมากขึ้น แต่แล้วมันเป็นเรื่องยากที่จะใช้วิธีการบูต (ตั้งแต่ตัวแปรที่เลือกจะเปลี่ยนจากกลุ่มตัวอย่างที่หนึ่งไปยังอีกและแม้แต่ในด้านห่วงเท่าเมื่อนำมาใช้เพื่อเพิ่มประสิทธิภาพการพารามิเตอร์ / ); นี่ไม่ใช่กรณีที่เกิดจากการถดถอยของริดจ์เนื่องจากคุณพิจารณาตัวแปรทั้งหมดเสมอℓ 1 ℓ $k$$\ell_1$$\ell_2$

ฉันไม่รู้เกี่ยวกับแพ็คเกจ R ที่จะให้ข้อมูลนี้ ดูเหมือนจะไม่สามารถใช้ได้ในแพ็คเกจglmnet (ดูกระดาษของ Friedman ใน JSS เส้นทางการทำให้เป็นมาตรฐานสำหรับโมเดลเชิงเส้นทั่วไปผ่าน Coordinate Descent ) อย่างไรก็ตาม Jelle Goeman ผู้ประพันธ์แพคเกจลงโทษถูกกล่าวถึงประเด็นนี้ด้วย ไม่พบ PDF ต้นฉบับบนเว็บดังนั้นฉันเพียงแค่พูดคำพูดของเขา:

มันเป็นคำถามที่ธรรมดามากที่จะถามถึงข้อผิดพลาดมาตรฐานของสัมประสิทธิ์การถดถอยหรือปริมาณที่ประมาณไว้อื่น ๆ ในหลักการข้อผิดพลาดมาตรฐานดังกล่าวสามารถคำนวณได้ง่ายเช่นการใช้ bootstrap

ยังคงแพคเกจนี้โดยเจตนาไม่ได้ให้พวกเขา เหตุผลของเรื่องนี้คือข้อผิดพลาดมาตรฐานไม่ได้มีความหมายมากสำหรับการประเมินแบบเอนเอียงอย่างรุนแรงเช่นเกิดจากวิธีการประเมินที่ถูกลงโทษ การประมาณค่าแบบลงโทษเป็นกระบวนการที่ช่วยลดความแปรปรวนของตัวประมาณค่าโดยการแนะนำอคติอย่างมีนัยสำคัญ ความเอนเอียงของตัวประมาณแต่ละตัวจึงเป็นองค์ประกอบหลักของความคลาดเคลื่อนกำลังสองเฉลี่ยในขณะที่ความแปรปรวนอาจมีส่วนเพียงเล็กน้อยเท่านั้น

แต่น่าเสียดายที่ในการใช้งานส่วนใหญ่ของการถดถอยเชิงลงโทษนั้นเป็นไปไม่ได้ที่จะได้รับการประเมินความลำเอียงที่แม่นยำ การคำนวณตาม bootstrap ใด ๆ สามารถให้การประเมินความแปรปรวนของการประมาณการเท่านั้น การประมาณการที่น่าเชื่อถือของอคตินั้นจะมีให้เฉพาะในกรณีที่การประมาณการที่เป็นกลางไม่น่าเชื่อถือมีอยู่ซึ่งโดยทั่วไปจะไม่เกิดขึ้นในกรณีที่มีการใช้การประมาณการที่ถูกลงโทษ

การรายงานข้อผิดพลาดมาตรฐานของการประเมินที่ถูกลงโทษจึงบอกเพียงส่วนหนึ่งของเรื่องราว มันสามารถสร้างความประทับใจที่ผิดพลาดอย่างแม่นยำโดยไม่สนใจความไม่ถูกต้องที่เกิดจากอคติอย่างสมบูรณ์ มันเป็นความผิดพลาดอย่างแน่นอนในการสร้างคำแถลงความเชื่อมั่นซึ่งตั้งอยู่บนพื้นฐานของการประเมินความแปรปรวนของการประมาณการเช่นช่วงความเชื่อมั่นที่ใช้ bootstrap

สมมติว่ากระบวนการสร้างข้อมูลเป็นไปตามสมมติฐานมาตรฐานที่อยู่เบื้องหลัง OLS ข้อผิดพลาดมาตรฐานสำหรับการถดถอยริดจ์จะได้รับจาก:

$\sigma^2 (A^T A + \Gamma^T \Gamma)^{-1} A^T A (A^T A + \Gamma^T \Gamma)^{-1}$

สัญกรณ์ดังกล่าวข้างต้นดังต่อไปนี้สัญกรณ์วิกิพีเดียสำหรับการถดถอยสันเขา โดยเฉพาะอย่างยิ่ง

$A$

$\sigma^2$

$\Gamma$

$\Gamma ^T\Gamma$$\text{$\lambda $I}$$\text{I}$$\lambda$ปริพันธ์และปัญหาผกผันอื่น ๆ "ปัญหาผกผันในวิทยาศาสตร์คือกระบวนการคำนวณจากชุดการสังเกตปัจจัยเชิงสาเหตุที่ทำให้เกิดขึ้นเช่นการคำนวณภาพในคอมพิวเตอร์เอกซ์เรย์คอมพิวเตอร์การสร้างแหล่งกำเนิดในอะคูสติกหรือการคำนวณความหนาแน่นของโลกจากการวัดแรงโน้มถ่วง เขตข้อมูลที่นี่ "SPSS มีรหัสเสริมที่ให้ค่าเบี่ยงเบนมาตรฐานของพารามิเตอร์ทั้งหมดและพารามิเตอร์เพิ่มเติมสามารถรับได้โดยใช้การเผยแพร่ข้อผิดพลาดเช่นในภาคผนวกของบทความนี้

โดยทั่วไปแล้วสิ่งที่เข้าใจผิดเกี่ยวกับการทำให้เป็นระเบียบแบบ Tikhonov คือปริมาณของการปรับให้เรียบนั้นมีน้อยมากที่เกี่ยวข้องกับการปรับความโค้งให้ใช้ปัจจัยการปรับให้เรียบเพื่อลดความผิดพลาดของพารามิเตอร์ที่น่าสนใจ คุณจะต้องอธิบายให้มากขึ้นเกี่ยวกับปัญหาเฉพาะที่คุณกำลังพยายามที่จะแก้ปัญหาการใช้สันเขาถดถอยอย่างถูกต้องในบริบทของปัญหาผกผันที่ถูกต้องและเอกสารจำนวนมากเกี่ยวกับการเลือกปัจจัยการปรับให้เรียบและการใช้ Tihonov regularization การแก้ปัญหาเล็กน้อย

ยิ่งไปกว่านั้นการทำให้เป็นมาตรฐาน Tikhonov เป็นเพียงปัญหาการรักษาผกผันเดียวในหมู่หลาย ๆ ตามลิงค์ไปยังวารสารปัญหาผกผัน