พารามิเตอร์เทียบกับตัวแปรแฝง

ฉันเคยถามเรื่องนี้มาก่อนและพยายามดิ้นรนกับการระบุสิ่งที่ทำให้พารามิเตอร์โมเดลและสิ่งที่ทำให้มันเป็นตัวแปรแฝง ดังนั้นเมื่อดูที่หัวข้อต่างๆในหัวข้อนี้ในเว็บไซต์นี้ความแตกต่างหลัก ๆ น่าจะเป็น:

ตัวแปรแฝงไม่ได้ถูกสังเกต แต่มีการแจกแจงความน่าจะเป็นที่เกี่ยวข้องกับมันเนื่องจากมันเป็นตัวแปรและพารามิเตอร์ก็ไม่ได้ถูกสังเกตและไม่มีการแจกแจงที่เกี่ยวข้องกับพวกมันซึ่งฉันเข้าใจว่ามันเป็นค่าคงที่และมีค่าคงที่ หา. นอกจากนี้เราสามารถใส่ค่าพารามิเตอร์ให้กับตัวแทนเพื่อแสดงถึงความไม่แน่นอนของเราเกี่ยวกับพารามิเตอร์เหล่านี้แม้ว่าจะมีค่าจริงเพียงค่าเดียวที่เกี่ยวข้องกับพวกเขาหรืออย่างน้อยนั่นคือสิ่งที่เราคิด ฉันหวังว่าฉันถูกต้องจนถึงตอนนี้?

ตอนนี้ฉันได้ดูตัวอย่างนี้สำหรับการถดถอยเชิงเส้นแบบเบย์แบบถ่วงน้ำหนักจากวารสารและพยายามดิ้นรนจริงๆที่จะเข้าใจว่าอะไรคือพารามิเตอร์และตัวแปรคืออะไร:

y_{i} = β^{T} x_{i} + ϵ_{y_{i}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

ที่นี่และถูกสังเกต แต่เท่านั้นที่ถือว่าเป็นตัวแปรเช่นมีการกระจายที่เกี่ยวข้องกับมัน $x$ $y$ $y$

ตอนนี้สมมติฐานการสร้างแบบจำลองคือ:

y \sim N (β^{T} x_{i}, σ^{2} / w_{i})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

ดังนั้นความแปรปรวนของจึงถูกถ่วงน้ำหนัก $y$

นอกจากนี้ยังมีการแจกแจงก่อนหน้าในและซึ่งเป็นการแจกแจงแบบปกติและแกมมาตามลำดับ $\beta$ $w$

ดังนั้นโอกาสในการบันทึกอย่างสมบูรณ์จะได้รับจาก:

\log p (y, w, β | x) = Σ \log P (y_{i} | w, β, x_{i}) + \log P (β) + Σ \log P (w_{i})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

ตอนนี้ฉันเข้าใจแล้วทั้งและคือพารามิเตอร์ของแบบจำลอง อย่างไรก็ตามในเอกสารพวกเขาอ้างถึงพวกเขาเป็นตัวแปรแฝง เหตุผลของฉันคือและเป็นส่วนหนึ่งของการแจกแจงความน่าจะเป็นสำหรับตัวแปรและเป็นพารามิเตอร์ของแบบจำลอง อย่างไรก็ตามผู้เขียนถือว่าพวกเขาเป็นตัวแปรสุ่มแฝง ถูกต้องหรือไม่ ถ้าเป็นเช่นนั้นพารามิเตอร์แบบจำลองคืออะไร? $\beta$ $w$ $\beta$ $w$ $y$

กระดาษสามารถพบได้ที่นี่ ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf )

กระดาษเป็นการตรวจจับค่าผิดพลาดอัตโนมัติ: A Bayesian Approach โดย Ting et al.

— Luca
แหล่งที่มา

อาจช่วยแสดงรายการอ้างอิงไปยังกระดาษ (& อาจเป็นลิงก์) ส่วนหนึ่งของปัญหาคือสิ่งที่สิ่งเหล่านี้แตกต่างจากมุมมองของผู้ใช้บ่อยและชาวเบย์ จากมุมมองของเบย์พารามิเตอร์จะมีการแจกแจง - มันไม่ใช่แค่สิ่งที่เพิ่มเข้ามาเพื่อแสดงถึงความไม่แน่นอน

— gung - Reinstate Monica

ฉันคิดว่ามันไม่ยุติธรรมเพราะผู้คนคิดว่าฉันคาดหวังให้พวกเขาอ่านกระดาษโดยไม่อธิบายอะไร แต่ตอนนี้ฉันได้ใส่มันแล้ว

— Luca

ทำไมคุณไม่สามารถใส่ตัวแปรแฝงก่อนหน้าได้? ฉันเป็นมือใหม่เบย์ แต่ดูเหมือนคุณควรจะทำเช่นนั้น

— robin.datadrivers

w

$w$

β

$\beta$

w

$w$

ขอบคุณ @Luca มันคงไม่ดีถ้าคุณต้องการให้คนอ่านบทความ แต่การมีบริบทเป็นสิ่งที่ดี ฉันคิดว่าคุณทำถูกแล้ว

— gung - Reinstate Monica

$y$ $\beta$

ในทางตรงกันข้ามพารามิเตอร์ได้รับการแก้ไขแม้ว่าคุณจะไม่ทราบค่าของมัน ตัวอย่างเช่นการประมาณความน่าจะเป็นสูงสุดให้คุณค่าที่เป็นไปได้มากที่สุดสำหรับพารามิเตอร์ของคุณ แต่มันให้จุดไม่ใช่การแจกแจงแบบเต็มเพราะสิ่งที่ตายตัวไม่มีการแจกแจง! (คุณสามารถใส่การแจกแจงว่าคุณแน่ใจเกี่ยวกับค่านี้หรือในช่วงที่คุณรู้ว่าค่านี้คืออะไร แต่สิ่งนี้ไม่เหมือนกับการกระจายตัวของค่าซึ่งมีอยู่เฉพาะในกรณีที่ค่าสุ่มเป็นจริง ตัวแปร)

$y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

$\beta$ $w$

ในประโยคนี้:

สมการการอัปเดตเหล่านี้จะต้องรันซ้ำ ๆ จนกว่าพารามิเตอร์ทั้งหมดและโอกาสในการบันทึกที่สมบูรณ์จะมารวมกันเป็นค่าคงที่

ในทางทฤษฎีพวกเขาพูดถึงพารามิเตอร์สองตัวไม่ใช่ตัวแปรที่เป็นตัวแปรสุ่มเนื่องจากใน EM นี่คือสิ่งที่คุณทำโดยปรับพารามิเตอร์ให้เหมาะสม

— อัลแบร์โต
แหล่งที่มา

คำถามเกี่ยวกับตัวแปรแฝง

— ทิม

คงที่ฉันหวังว่าตอนนี้จะชัดเจนขึ้น

— alberto