สิ่งที่ไม่เป็นมาก่อนควรเป็นความชันเมื่อทำการถดถอยเชิงเส้น?

เมื่อดำเนินการถดถอยเชิงเส้นแบบเบย์ซึ่งเป็นหนึ่งในความต้องการที่จะกำหนดก่อนสำหรับความลาดชันและตัดขเนื่องจากเป็นพารามิเตอร์ตำแหน่งจึงเหมาะสมที่จะกำหนดชุดก่อน อย่างไรก็ตามสำหรับฉันแล้วดูเหมือนว่าคล้ายกับพารามิเตอร์ของเครื่องชั่งและดูเหมือนว่าไม่เป็นธรรมชาติที่จะกำหนดเครื่องแบบก่อนหน้านี้$a$$b$$b$$a$

ในทางกลับกันมันดูเหมือนจะไม่ถูกต้องนักที่จะกำหนดเจฟฟรีย์ที่ไม่รู้เรื่องก่อนหน้า ( ) สำหรับความชันของการถดถอยเชิงเส้น สำหรับหนึ่งอาจเป็นค่าลบ แต่ฉันไม่เห็นว่ามันจะเป็นอะไร$1/a$

ดังนั้นสิ่งที่ "เหมาะสม" uninformative ก่อนความชันของการถดถอยเชิงเส้นแบบเบย์คืออะไร? (การอ้างอิงใด ๆ จะได้รับการชื่นชม)

จากการวิเคราะห์ข้อมูลแบบเบย์ 3rd ed., p. 355:

การแจกแจงก่อนล่วงหน้าแบบไม่เป็นมาตรฐาน

ในรูปแบบการถดถอยปกติการแจกแจงก่อนหน้าแบบ noninformative ที่สะดวกคือชุดบนหรือ,p ( β , σ 2 | X ) ∝ σ - $(\beta, \log \sigma)$

$$p(\beta,\sigma^2|X) \propto\sigma^{-2}$$

(หมายถึง regressors) หนังสือเล่มนี้มีการอภิปรายเพิ่มเติมที่เป็นประโยชน์นอกเหนือขอบเขตของคำถามนี้: เมื่อก่อนหน้านี้มีประโยชน์เมื่อผู้อื่นเหมาะสมกว่าดีกว่าหลังและเปรียบเทียบกับการประเมินแบบดั้งเดิม$X$

ปกติแล้ว Bayesians จะเลือกนักบวชที่ทำให้ชีวิตของพวกเขามีความท้าทายทางคณิตศาสตร์ได้ง่ายขึ้น นี่หมายความว่า Gaussian Priors ยกเว้นโมเดลที่ห้ามมัน โปรดจำไว้ว่าคุณต้องมีการแปรสภาพมาก่อนในสถานการณ์ของคุณเนื่องจากคุณต้องจำลองความสัมพันธ์ระหว่างความชันและตำแหน่งรวมถึงพฤติกรรมส่วนเพิ่ม ตัวแปรหลายตัวเป็นตั๋วของคุณ

ชาวเกาส์ก่อนหน้าพารามิเตอร์จะมีข้อผิดพลาดในการวัดแบบเกาส์ที่ไม่ต้องสงสัยเลยว่าแบบจำลองการถดถอยของคุณมีอยู่แล้ว

โดยวิธีการที่ฉันไม่ได้เชื่อมโยงลาดกับพารามิเตอร์ขนาดเนื่องจากลาดอาจเป็นค่าลบและพารามิเตอร์ขนาดไม่สามารถ

ทีนี้การแจกแจงเกาส์ไม่ได้เป็นสิ่งที่ผิดปกติมาก่อน แต่ถ้าคุณไม่มีข้อมูลล่วงหน้าบางทีคุณควรไปเป็นประจำ หรือใช้ Gaussian ที่มีความแปรปรวนขนาดใหญ่มาก

ฉันไม่ทราบการอ้างอิงที่ทันสมัยถึงการอนุมานแบบเบย์ ที่มีความเสี่ยงของการใช้รถถังในการถ่ายภาพกระต่ายคุณสามารถมองขึ้นรัสมุสและวิลเลียมส์ซึ่งสามารถใช้ได้ออนไลน์ ส่วนแรกของบทที่ 2 ต้องผ่านการถดถอยแบบเบย์อย่างละเอียด

โดยทั่วไปแล้วจะมีการใช้เครื่องแบบก่อนหน้าความชันและการชดเชยอย่างไรก็ตามฉันชอบความคิดที่จะวางตำแหน่งนักบวชบนและโดยที่เป็นมุมระหว่าง บรรทัดและ y = 0 สิ่งนี้ให้ก่อนหน้าของ ซึ่งชอบทางลาดรอบศูนย์ นี้ได้มาที่http://jakevdp.github.io/blog/2014/06/14/frequentism-and-bayesianism-4-bayesian-in-python/#The-PriorและFrequentism และ Bayesianism: งูหลามที่ขับเคลื่อนด้วย ไพรเมอร์โดย Jake Vanderblasขcos θ θ พี( , B ) = ( 1 + 2 ) - 3 /$\tan^{-1}\left(a\right)$$b\cos\theta$$\theta$