การเปรียบเทียบการประมาณความเป็นไปได้สูงสุด (MLE) และทฤษฎีบทของเบย์

12

ในทฤษฎีบทแบบเบย์และจากหนังสือที่ฉันอ่านเรียกว่าความน่าจะเป็นแต่ฉันคิดว่ามันเป็นเพียงความน่าจะเป็นตามเงื่อนไขของให้จริงไหม?

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

การประมาณความน่าจะเป็นสูงสุดพยายามที่จะเพิ่มใช่ไหม? ถ้าเป็นเช่นนั้นฉันสับสนไม่ดีเพราะเป็นทั้งตัวแปรสุ่มใช่ไหม เพื่อเพิ่มให้ได้มากที่สุดคือ ? ปัญหาอีกข้อหนึ่งถ้าตัวแปรสุ่ม 2 ตัวนี้เป็นอิสระแล้วเป็นเพียงแค่ใช่ไหม? จากนั้นการเพิ่มคือการเพิ่ม(x) $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

หรือบางทีเป็นฟังก์ชั่นของพารามิเตอร์บางตัวนั่นคือและ MLE พยายามค้นหาซึ่งสามารถเพิ่มหรือไม่ หรือแม้กระทั่งว่าเป็นพารามิเตอร์ของแบบจำลองไม่ใช่ตัวแปรสุ่มการเพิ่มความน่าจะเป็นในการหา ? $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

UPDATE

ฉันเป็นสามเณรในการเรียนรู้ของเครื่องและปัญหานี้เป็นความสับสนจากสิ่งที่ฉันอ่านจากบทเรียนการเรียนรู้ของเครื่อง นี่คือชุดข้อมูลที่ได้รับการสังเกต , ค่าเป้าหมายคือและฉันพยายามใส่แบบจำลองให้ตรงกับชุดข้อมูลนี้ ดังนั้นฉันสมมติว่าเมื่อ , มีรูปแบบของการแจกแจงชื่อกำหนดโดยนั่นคือและฉันคิดว่านี่เป็นความน่าจะเป็นหลังใช่ไหม? $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

ตอนนี้เพื่อประมาณค่าของ $\theta$ ฉันใช้ MLE ตกลงมาที่นี่ปัญหาของฉันฉันคิดว่าโอกาสที่จะ $p(x|y;\theta)$ ใช่ไหม? การเพิ่มโอกาสสูงสุดให้ได้ฉันควรจะเลือกสิ่งที่ถูกต้อง $\theta$ และ $y$ ?

หากความเข้าใจในความน่าจะเป็นของฉันผิดโปรดแสดงให้ฉันเห็นวิธีที่ถูกต้อง

bayesian maximum-likelihood

— อาโวคาโด
แหล่งที่มา

ฉันคิดว่าความสับสนคือทฤษฎีบทของเบย์เป็นเพียงการจัดการกับความน่าจะเป็นแบบมีเงื่อนไขตามที่คุณให้ไว้ในตอนต้นของคำถาม การประมาณแบบเบย์ใช้ทฤษฎีบทแบบเบย์เพื่อทำการประมาณค่าพารามิเตอร์ มันเป็นเพียงในหลังทำประเมินความน่าจะเป็นสูงสุด (MLE) และพารามิเตอร์ทีต้า ฯลฯ เข้ามาเล่น

— Zhubarb

@Berkan ดีจริงผมพยายามที่จะคิดออกว่าเป็นโอกาสให้x,

x, y, θ

$x,y,\theta$

— อะโวคาโด

1

ฉันเห็นฉันอยากจะแนะนำให้คุณดูที่สไลด์บรรยายชุดใหญ่ในการประมาณค่าพารามิเตอร์

— Zhubarb

1

อีกหัวข้อที่น่าสนใจที่ควรอ่านคือ Empirical Bayes 'Estimators เราเพิ่งเรียนรู้เกี่ยวกับคนเหล่านี้ในชั้นเรียนของฉัน :) biostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/…

— bdeonovic

16

ฉันคิดว่าความเข้าใจผิดหลักเกิดจากคำถามที่คุณถามในครึ่งแรกของคำถาม ฉันเข้าหาคำตอบนี้เมื่อเปรียบเทียบ MLE กับกระบวนทัศน์เชิงอนุมานแบบเบย์ การอภิปรายที่เข้าถึงได้ง่ายของ MLE สามารถพบได้ในบทที่ 1 ของ Gary King, Unifying Political Methodology การวิเคราะห์ข้อมูลแบบเบย์ของ Gelman สามารถให้รายละเอียดทางด้าน Bayesian ได้

ในทฤษฎีบทของเบย์ และจากหนังสือที่ฉันกำลังอ่านเรียกว่า ความน่าจะเป็น แต่ฉันคิดว่ามันเป็นเพียงความน่าจะเป็นตามเงื่อนไขของให้จริงไหม?
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

ความน่าจะเป็นคือความน่าจะเป็นแบบมีเงื่อนไข ไปคชกรรมสูตรนี้จะอธิบายถึงการกระจายของพารามิเตอร์ได้รับข้อมูลที่และก่อนที่(y) แต่เนื่องจากสัญกรณ์นี้ไม่ได้สะท้อนความตั้งใจของคุณต่อจากนี้ไปฉันจะใช้ ( , ) สำหรับพารามิเตอร์และสำหรับข้อมูลของคุณ $y$ $x$ $p(y)$ $\theta$ $y$ $x$

แต่การปรับปรุงของคุณแสดงให้เห็นว่าจะสังเกตเห็นจากบางส่วนกระจายy) หากเราวางข้อมูลและพารามิเตอร์ของเราในสถานที่ที่เหมาะสมในกฎของ Bayes เราพบว่าพารามิเตอร์เพิ่มเติมเหล่านี้ไม่มีปัญหาสำหรับ Bayesians: $x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

ฉันเชื่อว่านิพจน์นี้เป็นสิ่งที่คุณเป็นหลังจากอัปเดต

การประมาณความเป็นไปได้สูงสุดพยายามที่จะเพิ่มให้สูงสุดใช่ไหม $p(x,y|\theta)$

ใช่. MLE posits ว่า นั่นคือมันถือว่าระยะเป็นที่ไม่รู้จัก ค่าคงที่ (และไม่สามารถอธิบายได้) ในทางตรงกันข้ามการอนุมานแบบเบย์ถือว่าเป็นค่าคงที่ normalizing (เพื่อให้ความน่าจะเป็นรวม / รวมเข้ากับความสามัคคี) และเป็นข้อมูลชิ้นสำคัญ: สิ่งก่อนหน้า เราสามารถคิดว่าเป็นวิธีการลงโทษที่เกิดขึ้นในขั้นตอนการปรับให้เหมาะสมสำหรับ "การเดินไกลเกินไป" จากภูมิภาคที่เราคิดว่าเป็นไปได้มากที่สุด

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

ถ้าเป็นเช่นนั้นฉันสับสนไม่ดีเพราะเป็นตัวแปรสุ่มใช่ไหม เพื่อเพิ่มให้ได้มากที่สุดเพื่อหา ? $x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

ใน MLE จะถือว่าเป็นปริมาณคงที่ซึ่งไม่ทราบ แต่สามารถอนุมานได้ไม่ใช่ตัวแปรสุ่ม การอนุมานแบบเบย์ถือว่าเป็นตัวแปรสุ่ม การอนุมานแบบเบย์ทำให้ฟังก์ชันความหนาแน่นของความน่าจะเป็นเข้าและออกฟังก์ชันความหนาแน่นของความน่าจะเป็นออกมาแทนที่จะเป็นจุดสรุปของแบบจำลองเช่นเดียวกับใน MLE นั่นคือการอนุมานแบบเบย์ดูที่ช่วงเต็มของค่าพารามิเตอร์และความน่าจะเป็นของแต่ละค่า MLE วางตัวว่าเป็นข้อมูลสรุปที่เพียงพอของข้อมูลที่ได้รับจากแบบจำลอง $\hat{\theta}$ $\theta$ $\hat{\theta}$

— Sycorax พูดว่า Reinstate Monica
แหล่งที่มา

1

ขอบคุณสำหรับคำตอบของคุณฉันอัปเดตโพสต์โปรดดูอัปเดตของฉัน

— อะโวคาโด

การอัปเดตนี้เปลี่ยนแปลงความเข้าใจของฉันไปอย่างมาก ตอนแรกฉันคิดว่าคุณเกี่ยวกับเป็นพารามิเตอร์และเป็นข้อมูลของคุณ ตอนนี้ก็ปรากฏว่ามีข้อมูลและคุณมีความสนใจในการสร้างรูปแบบที่อธิบายความสัมพันธ์ระหว่างที่และy ที่ฉันจะแก้ไขคำตอบของฉันเมื่อฉันมีเวลา

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

— Sycorax พูดว่า Reinstate Monica

+1 นี่ยังเป็นคำตอบที่ดี: ฉันหวังว่าคุณจะเก็บไว้เป็นอย่างดีแม้ว่าคุณจะแก้ไขเพื่อให้ตรงกับการเปลี่ยนแปลงในคำถาม

— whuber

ฉันได้อัปเดตการตอบสนองของฉันเพื่อสะท้อนคำถามที่อัพเดทแล้ว ฉันหวังว่ารายละเอียดเหล่านี้จะช่วยได้ ฉันแนะนำให้อ้างอิงถึงข้อมูลอ้างอิงที่ฉันพูดถึง และฉันหวังว่า @whuber ยังคงอนุมัติ ;-)

— Sycorax พูดว่า Reinstate Monica

ขอบคุณมากสำหรับการอัปเดตดังนั้นคุณหมายถึงแม้ว่าฉันจะรับรูปแบบการแจกแจงสำหรับฉันควรปฏิบัติต่อทั้งคู่เป็นข้อมูลที่สังเกตได้เมื่อฉันพยายามประมาณการ ?

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

— อะโวคาโด

3

ปกติเป็นหน้าที่ของพารามิเตอร์Yพิจารณาการปรับเปลี่ยนทฤษฎีบทของเบย์ต่อไปนี้: $p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

หรือมากกว่านั้นอย่างชัดเจน (โดยคำนึงถึงความน่าจะเป็น):

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

สำหรับตัวอย่างที่เป็นรูปธรรมพิจารณาโมเดล

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— เดวิดมาร์กซ์
แหล่งที่มา

ดังนั้นโดยทั่วไปแล้วไม่ใช่ตัวแปรสุ่ม แต่เป็น , จริงไหม?

y

$y$

x

$x$

— อะโวคาโด

Y มักจะเป็นพารามิเตอร์ในรูปแบบ pdf ของ X ในการตั้งค่าบ่อยครั้ง y เป็นค่าคงที่ ในการตั้งค่าแบบเบย์ Y เป็นตัวแปรสุ่ม (ตามตัวอย่างที่ฉันให้) X | Y อาจเป็นเงื่อนไขที่น่าจะเป็นในแง่ที่คุณหมายถึงฉันพยายามให้แรงจูงใจแก่คุณว่าทำไมปริมาณที่เรียกว่าโอกาส

— David Marx

สำหรับตัวอย่างที่เป็นรูปธรรมที่ให้ไว้ในคำตอบของคุณคุณหมายถึงเป็นตัวแปรสุ่ม แต่ในการแจกแจงของมันเป็นพารามิเตอร์หรือไม่?

θ

$\theta$

X

$X$

— อะโวคาโด

เพียงเพราะบางสิ่งเป็นตัวแปรสุ่มไม่ได้หมายความว่ามันไม่สามารถเป็นพารามิเตอร์ได้ ยินดีต้อนรับสู่โลกมหัศจรรย์ของความน่าจะเป็นแบบเบย์ :)

— David Marx

0

"...เรียกว่าความน่าจะเป็น ... " $p(x|y)$

$p(x|y)$ เป็นโอกาสของปีได้รับเครื่องหมาย x การพูดในสิ่งที่เป็นไปได้มีความสำคัญ และใช่มันเป็นเพียงน่าจะเป็นเงื่อนไขของรับY $x$ $y$

"... ถ้าตัวแปรสุ่ม 2 ตัวเหล่านี้เป็นอิสระจากนั้นคือใช่มั้ยจากนั้นการเพิ่มคือการเพิ่ม ... " $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

หากพวกเขามีความเป็นอิสระคือที่เป็นค่าคงที่เกี่ยวกับYโปรดใช้ความระมัดระวังที่นี่เป็นคุณไม่ได้ระบุสิ่งที่คุณกำลังเพิ่มการด้วยความเคารพ - จากสิ่งที่คุณเขียนก่อนหน้านี้ผมจะถือว่าคุณกำลังการเพิ่มส่วนที่เกี่ยวกับY $p(x|y) = p(x)$ $p(x)$ $y$ $y$

... หรือบางทีเป็นฟังก์ชั่นของพารามิเตอร์บางตัวนั่นคือและ MLE พยายามค้นหาซึ่งสามารถเพิ่ม ? หรือแม้กระทั่งว่า y เป็นพารามิเตอร์ของแบบจำลองไม่ใช่ตัวแปรสุ่มการเพิ่มความน่าจะเป็นในการหา ? $p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

การแนะนำทำให้สิ่งนี้เป็นปัญหาใหม่ทั้งหมด โดยทั่วไปแล้วคำตอบของคำถามนี้ส่วนใหญ่ดูเหมือนจะเป็น 'มันขึ้นอยู่กับ' เราสามารถแทนค่าพารามิเตอร์ได้เช่นหากต้องการและเพิ่มค่าสูงสุดด้วยความเคารพ เราสามารถมีสถานการณ์ที่เราเพิ่มค่าด้วยพารามิเตอร์ที่เกี่ยวกับพารามิเตอร์ถ้านั่นเป็นวิธีที่สมเหตุสมผลในการเข้าถึงปัญหาที่อยู่ใกล้มือ $\theta$ $y$ $p(x|y;\theta)$ $\theta$

— ตบเบา ๆ
แหล่งที่มา

เหตุผลที่ฉันแนะนำคือสิ่งนี้ในหนังสือการเรียนรู้ของเครื่องที่ฉันกำลังอ่านให้ชุดข้อมูลและเป็นค่าเป้าหมายที่สอดคล้องกันดังนั้นเพื่อให้พอดีกับแบบจำลองกับชุดข้อมูลนี้ฉันสามารถใช้ MLE เพื่อประเมินพารามิเตอร์ใดของโมเดลใช่ไหม

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

— อะโวคาโด

0

จากคู่มืออ้างอิง STAN:

หากก่อนหน้านี้มีรูปแบบเหมือนกันโหมดหลังจะสอดคล้องกับค่าประมาณโอกาสสูงสุด (MLE) ของพารามิเตอร์ หากก่อนหน้านี้ไม่เหมือนกันบางครั้งโหมดหลังบางครั้งเรียกว่าการประมาณการหลัง (MAP) สูงสุด

— Neerav
แหล่งที่มา