มีการตีความแบบเบย์ของการถดถอยเชิงเส้นพร้อมกับการทำให้เป็นมาตรฐาน L1 และ L2 พร้อมกัน (อาคายืดหยุ่นสุทธิ) หรือไม่?


17

เป็นที่ทราบกันดีว่าการถดถอยเชิงเส้นที่มีการลงโทษนั้นเทียบเท่ากับการหาค่าประมาณ MAP ที่กำหนดให้ Gaussian ก่อนค่าสัมประสิทธิ์ ในทำนองเดียวกันการใช้การลงโทษนั้นเทียบเท่ากับการใช้การแจกแจงแบบลาปลาซก่อนหน้านี้l2l1

มันไม่ใช่เรื่องแปลกที่จะใช้บางชุดถ่วงน้ำหนักของและกู เราสามารถพูดได้ไหมว่าสิ่งนี้เทียบเท่ากับการกระจายก่อนหน้ามากกว่าค่าสัมประสิทธิ์ (โดยสังเขปดูเหมือนว่าจะต้องเป็น) เราสามารถให้รูปแบบการวิเคราะห์ที่ดี (อาจเป็นส่วนผสมของ Gaussian และ Laplacian) ได้หรือไม่? ถ้าไม่ทำไมไม่l1l2


2
ดูกระดาษนี้: tandfonline.com/doi/abs/10.1198/jasa.2011.tm09241 (หากไม่ได้รับคำตอบอย่างถูกต้องในหนึ่งหรือสองสัปดาห์ฉันจะโพสต์สรุปของกระดาษนั้นมากขึ้นหรือน้อยลง)
user795305

8
ฉันควรเพิ่มว่า frequentists เวลาใด ๆ มีโทษเป็นแบบเบย์สามารถตีความว่าเป็น (อาจจะไม่เหมาะสม) ก่อนที่อี- พีอีnภายใต้รูปแบบเกาส์มาตรฐาน penepen
user795305

ขอบคุณบทความนี้และการอ้างอิงได้ตอบคำถามของฉันอย่างสมบูรณ์แบบ!
Michael Curry

ที่ดี! คุณคิดว่าการอ้างอิงใดที่คุณหมายถึง (ฉันวางแผนที่จะอ่านบทความนี้เร็ว ๆ นี้และสนใจในความคิดเห็นของคุณ)
user795305

1
โอเคเยี่ยมเลย! ฉันคิดว่าการตีความแบบเบย์ของพวกเขาเชื่อมโยงกับความคิดเห็นที่สองของฉัน
user795305

คำตอบ:


6

ความคิดเห็นของเบ็นน่าจะเพียงพอ แต่ฉันให้การอ้างอิงเพิ่มเติมซึ่งหนึ่งในนั้นมาจากก่อนหน้าเอกสารอ้างอิงของเบ็น

β

Roy และ Chakraborty (สมการที่ 6) แบบจำลอง Bayesian ที่ถูกต้องสำหรับตาข่ายยืดหยุ่นนั้นถูกนำเสนอเมื่อไม่นานมานี้ ผู้เขียนยังนำเสนอตัวอย่างกิ๊บส์ที่เหมาะสมเพื่อสุ่มตัวอย่างจากการกระจายหลังและแสดงให้เห็นว่าตัวอย่างกิ๊บส์มาบรรจบกับการกระจายนิ่งที่อัตราทางเรขาคณิต ด้วยเหตุนี้การอ้างอิงเหล่านี้อาจจะเปิดออกเพื่อจะเป็นประโยชน์นอกเหนือไปจากกระดาษฮันส์


(+1) คำตอบที่ยอดเยี่ยม!
user795305

1
สำหรับทุกคนในอนาคต - เอกสารล้วน แต่คุ้มค่าที่จะดู แต่กระดาษของฮันส์ให้ตัวอย่างแก่กิ๊บส์สำหรับการแจกแจงต่าง ๆ รวมถึงการเป็นตัวแทนลำดับชั้นของสิ่งก่อนหน้าซึ่งสามารถแปลได้อย่างง่ายดายสำหรับสแตน
Michael Curry
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.