AIC ของการถดถอยของสันเขา: องศาอิสระเทียบกับจำนวนพารามิเตอร์

ฉันต้องการคำนวณ AICc ของตัวแบบการถดถอยแนวสัน ปัญหาคือจำนวนพารามิเตอร์ สำหรับการถดถอยเชิงเส้นคนส่วนใหญ่แนะนำว่าจำนวนของพารามิเตอร์เท่ากับจำนวนของค่าสัมประสิทธิ์โดยประมาณพร้อมซิกม่า (ความแปรปรวนของข้อผิดพลาด)

เมื่อพูดถึงการถดถอยของสันเขาฉันได้อ่านว่าร่องรอยของเมทริกซ์ของหมวก - ระดับความเป็นอิสระ (df) - นั้นถูกใช้เป็นจำนวนพารามิเตอร์ในสูตร AIC (เช่นที่นี่หรือที่นี่ )

ถูกต้องหรือไม่ ฉันสามารถใช้ df เพื่อคำนวณ AICc ได้หรือไม่ ฉันสามารถเพิ่ม +1 ลงในบัญชี df เพื่อดูความแปรปรวนข้อผิดพลาดได้หรือไม่

AIC และการถดถอยของสันสามารถทำร่วมกันได้เมื่อมีการตั้งสมมติฐานบางอย่าง อย่างไรก็ตามไม่มีวิธีเดียวในการเลือกการหดตัวสำหรับการถดถอยของสันเขาดังนั้นจึงไม่มีวิธีการทั่วไปในการใช้ AIC ริดจ์ถดถอยเป็นส่วนหนึ่งของ Tikhonov regularization มีเกณฑ์มากที่สามารถนำไปใช้กับการเลือกปัจจัยที่ราบเรียบสำหรับ Tikhonov regularization เป็นเช่นเห็นนี้ หากต้องการใช้ AIC ในบริบทที่มีกระดาษที่ทำให้สมมติฐานที่ค่อนข้างเฉพาะเจาะจงเป็นวิธีการที่จะดำเนินการกูนั้นข้อมูลซับซ้อนตามตัวเลือกพารามิเตอร์ regularization สำหรับการแก้ปัญหาของการป่วยปรับอากาศผกผันปัญหา โดยเฉพาะเรื่องนี้ถือว่า

"ในกรอบสถิติ, ... การเลือกค่าของพารามิเตอร์การทำให้เป็นมาตรฐานαและโดยใช้วิธีการลงโทษสูงสุด (MPL) .... ถ้าเราพิจารณาเสียงเกาส์ uncorrelated ด้วยความแปรปรวนและใช้การลงโทษบรรทัดฐานที่ซับซ้อนให้ดูลิงก์ด้านบนโซลูชัน MPL นั้นเหมือนกับ Tikhonov (1963) โซลูชันที่ทำให้เป็นมาตรฐาน "$\sigma ^2$$p(x) =$

คำถามก็จะกลายเป็นข้อสันนิษฐานเหล่านั้นควรจะทำ? คำถามที่ต้องการองศาอิสระเป็นคำถามรองว่า AIC หรือไม่และการถดถอยสันถูกนำมาใช้ในบริบทที่สอดคล้องกัน ฉันขอแนะนำให้อ่านลิงก์เพื่อดูรายละเอียด ฉันไม่ได้หลีกเลี่ยงคำถามมันเป็นเพียงสิ่งเดียวที่สามารถใช้หลายสิ่งหลายอย่างเป็นเป้าหมายของสันเขาตัวอย่างเช่นเราสามารถใช้ปัจจัยการปรับให้เรียบซึ่งปรับ AIC ให้เหมาะสมได้ ดังนั้นคำถามที่ดีข้อหนึ่งควรได้รับคำถามอื่น "ทำไมต้องสนใจกับ AIC ในบริบทของสันเขา" ในบริบทการถดถอยของสันเขาบางครั้งมันยากที่จะเห็นว่า AIC สามารถสร้างความเกี่ยวข้องได้อย่างไร ตัวอย่างเช่นการถดถอยของสันถูกนำมาใช้เพื่อลดการแพร่กระจายข้อผิดพลาดสัมพัทธ์ของนั่นคือ min$b$$\left [ \dfrac{\text{SD}(b)}{b}\right ]$ ของการแจกแจงแกมม่า (GD) ที่กำหนดโดย

ตามเอกสารนี้ โดยเฉพาะอย่างยิ่งปัญหานี้เกิดขึ้นเพราะในกระดาษนั้นก็มีผลบังคับใช้เรียU nderเวลาC urve (AUC) ที่เหมาะและไม่น่าจะเป็นสูงสุด (ML) ของความดีของ พอดีระหว่างเวลาตัวอย่าง เพื่อความชัดเจนนั้นทำได้เนื่องจาก AUC เป็นส่วนประกอบที่ไม่ถูกต้องและหากใช้ ML การกระจายแกมมาจะไม่สมบูรณ์ ดังนั้นสำหรับแอปพลิเคชันเฉพาะนั้นโอกาสสูงสุดดังนั้น AIC จึงไม่เกี่ยวข้องจริง ๆ (มีการกล่าวกันว่า AIC ใช้สำหรับการทำนายและ BIC เพื่อความดี - พอดี) อย่างไรก็ตามการทำนายและความดี - พอดีพอดีนั้นมีความสัมพันธ์ทางอ้อมกับ AUC อย่างมาก)$[0,\infty)$$[t_1,t_n]$

สำหรับคำตอบของคำถามการอ้างอิงครั้งแรกในข้อความคำถามบอกว่า "ประเด็นหลักคือการทราบว่าเป็นฟังก์ชันที่ลดลงของ [ Sic , ปัจจัยที่ทำให้เรียบ] กับ [ Sic , จำนวนที่มีประสิทธิภาพของพารามิเตอร์ดูร่องรอยของหมวกเมทริกซ์ด้านล่าง] ที่และที่ " ซึ่งหมายความว่าเท่ากับจำนวนพารามิเตอร์ลบด้วยจำนวนปริมาณโดยประมาณเมื่อไม่มีการปรับให้เรียบซึ่งก็คือเมื่อการถดถอยเหมือนกับสแควร์สแควร์สามัญน้อยที่สุดและลดลงเป็นไม่$df$$\lambda$$df = p$$\lambda = 0$$df = 0$$\lambda=\infty$$df$$df$เป็นปัจจัยที่ราบเรียบเพิ่มขึ้น\โปรดทราบว่าสำหรับการปรับให้เรียบแบบไม่สิ้นสุดนั้นเป็นเส้นแบนโดยไม่คำนึงถึงฟังก์ชั่นความหนาแน่นที่เหมาะสม ในที่สุดจำนวนที่แน่นอนคือฟังก์ชัน$\infty$$df$

"เราสามารถแสดงให้เห็นว่า ) โดยที่ { } เป็นค่าลักษณะเฉพาะของ " น่าสนใจอ้างอิงเดียวกัน กำหนดเป็นร่องรอยของเมทริกซ์หมวกให้ดูdef$df_{ridge}= \sum(\lambda_i / (\lambda_i + \lambda$$\lambda_i$$X^{\text{T}} X$$df$