เราเคยใช้การประมาณโอกาสสูงสุดหรือไม่

ฉันสงสัยว่าการประเมินความน่าจะเป็นสูงสุดที่เคยใช้ในสถิติหรือไม่ เราเรียนรู้แนวคิดของมัน แต่ฉันสงสัยว่ามันถูกใช้จริงเมื่อใด หากเราถือว่าการกระจายของข้อมูลเราพบสองพารามิเตอร์หนึ่งสำหรับค่าเฉลี่ยและอีกหนึ่งสำหรับความแปรปรวน แต่คุณใช้จริงในสถานการณ์จริง?

ใครสามารถบอกกรณีง่าย ๆ ที่ใช้สำหรับฉันได้

ฉันสงสัยว่าการประเมินความน่าจะเป็นสูงสุดที่เคยใช้ในสถิติหรือไม่

แน่นอน! จริง ๆ แล้วค่อนข้างมาก - แต่ไม่เสมอไป

เราเรียนรู้แนวคิดของมัน แต่ฉันสงสัยว่ามันถูกใช้จริงเมื่อใด

เมื่อคนมีรูปแบบการกระจายแบบพารามิเตอร์พวกเขามักเลือกที่จะใช้การประเมินความเป็นไปได้สูงสุด เมื่อแบบจำลองนั้นถูกต้องจะมีคุณสมบัติที่มีประโยชน์จำนวนหนึ่งของตัวประมาณความน่าจะเป็นสูงสุด

ตัวอย่างหนึ่ง - การใช้ตัวแบบเชิงเส้นแบบทั่วไปค่อนข้างแพร่หลายและในกรณีนั้นพารามิเตอร์ที่อธิบายค่าเฉลี่ยจะถูกประเมินโดยความน่าจะเป็นสูงสุด

อาจเกิดขึ้นได้ว่ามีการประมาณค่าพารามิเตอร์บางอย่างโดยความน่าจะเป็นสูงสุดและอื่น ๆ ไม่ใช่ ตัวอย่างเช่นพิจารณา Poisson GLM ที่มีการกระจายตัวมากเกินไป - พารามิเตอร์การกระจายจะไม่ถูกประเมินโดยความน่าจะเป็นสูงสุดเนื่องจาก MLE ไม่มีประโยชน์ในกรณีนั้น

หากเราถือว่าการกระจายของข้อมูลเราพบสองพารามิเตอร์

ทีนี้บางครั้งคุณอาจมีสองตัว แต่บางครั้งคุณมีพารามิเตอร์หนึ่งตัวบางครั้งก็สามหรือสี่อย่างหรือมากกว่านั้น

หนึ่งอันสำหรับค่าเฉลี่ยและอีกอันสำหรับความแปรปรวน

คุณกำลังคิดของรูปแบบเฉพาะหรือไม่? นี่ไม่ใช่กรณีเสมอไป พิจารณาการประเมินพารามิเตอร์ของการแจกแจงแบบเอ็กซ์โพเนนเชียลหรือการแจกแจงปัวซองหรือการแจกแจงแบบทวินาม ในแต่ละกรณีมีพารามิเตอร์หนึ่งตัวและค่าความแปรปรวนเป็นฟังก์ชันของพารามิเตอร์ที่อธิบายค่าเฉลี่ย

หรือพิจารณาการแจกแจงแกมมาทั่วไปซึ่งมีสามพารามิเตอร์ หรือการกระจายเบต้าสี่พารามิเตอร์ซึ่งมี (อาจไม่น่าแปลกใจ) สี่พารามิเตอร์ โปรดทราบว่า (ขึ้นอยู่กับการกำหนดพารามิเตอร์เฉพาะ) ความหมายหรือความแปรปรวนหรือทั้งสองอย่างอาจไม่ได้แสดงด้วยพารามิเตอร์เดียว แต่โดยฟังก์ชั่นของหลาย ๆ

ตัวอย่างเช่นการแจกแจงแกมม่าซึ่งมีการกำหนดพารามิเตอร์สามแบบที่เห็นการใช้งานทั่วไป - ทั้งสองที่พบบ่อยที่สุดซึ่งมีทั้งค่าเฉลี่ยและความแปรปรวนเป็นฟังก์ชันของพารามิเตอร์สองตัว

โดยทั่วไปแล้วในแบบจำลองการถดถอยหรือ GLM หรือแบบจำลองการอยู่รอด (ในประเภทแบบจำลองอื่น ๆ อีกมากมาย) แบบจำลองอาจขึ้นอยู่กับตัวทำนายหลายตัวซึ่งในกรณีนี้การกระจายที่เกี่ยวข้องกับการสังเกตแต่ละครั้งภายใต้แบบจำลองอาจมีหนึ่งในพารามิเตอร์ของตัวเอง แม้แต่พารามิเตอร์หลายตัว) ที่เกี่ยวข้องกับตัวแปรทำนายหลายตัว ("ตัวแปรอิสระ")

ในขณะที่การประมาณความน่าจะเป็นสูงสุดสามารถดูได้อย่างน่าสงสัยเนื่องจากข้อสันนิษฐานเกี่ยวกับการกระจายข้อมูล แต่มักใช้ตัวประมาณความน่าจะเป็นสูงสุด แนวคิดก็คือเริ่มต้นด้วยการสมมติการกระจายและแก้ปัญหาสำหรับ MLE จากนั้นลบสมมติฐานการกระจายอย่างชัดเจนและดูที่วิธีการประมาณค่าของคุณดำเนินการภายใต้เงื่อนไขทั่วไปมากขึ้น ดังนั้น Quasi MLE จึงกลายเป็นวิธีที่ชาญฉลาดในการรับตัวประมาณค่าและจากนั้นงานจำนวนมากจะได้รับคุณสมบัติของตัวประมาณ เนื่องจากข้อสันนิษฐานการกระจายลดลง MLE เสมือนจึงไม่มีคุณสมบัติประสิทธิภาพที่ดี

ตัวอย่างเช่นของเล่นสมมติว่าคุณมีตัวอย่าง IID และคุณต้องการสำหรับการประมาณการความแปรปรวนของที่X คุณสามารถเริ่มต้นด้วยการสมมติว่าX ~ N ( μ , σ 2 )เขียนโอกาสโดยใช้รูปแบบไฟล์ PDF ปกติและแก้ปัญหาสำหรับ argmax ที่จะได้รับσ 2 = n - 1 Σ ( x ฉัน - ˉ x ) 2 จากนั้นเราสามารถถามคำถามเช่นภายใต้เงื่อนไขว่าอะไร$x_1, x_2, ..., x_n$$X$$X \sim N (\mu, \sigma^2)$$\hat\sigma^2 = n^{-1}\sum (x_i - \bar x)^2$ประมาณการที่สอดคล้องกันคือมันเป็นกลาง (มันไม่ได้) เป็นรากมันสอดคล้อง n สิ่งที่เป็นมันกระจาย asypmtotic ฯลฯ$\hat\sigma^2$

การประมาณความน่าจะเป็นสูงสุดมักใช้ในการเรียนรู้ของเครื่องเพื่อฝึก

• โครงข่ายประสาทเทียมเช่นเราสามารถใช้ MLE เพื่อประเมินน้ำหนักโครงข่ายประสาทเทียมได้หรือไม่
• การถดถอยเชิงเส้น, โลจิสติกและการถดถอยโลจิสติกหลายคลาสเช่นทำไมค่าสัมประสิทธิ์การถดถอยเชิงเส้นและโลจิสติกไม่สามารถประมาณโดยใช้วิธีการเดียวกันได้?
• ฟิลด์สุ่มแบบมีเงื่อนไข (CRF) เช่นhttps://www.coursera.org/learn/probabilistic-graphical-models-3-learning/lecture/oKJ1x/maximum-likelihood-for-conditional-random-fields
• โมเดลมาร์คอฟที่ซ่อนอยู่ (HMM) เช่นhttps://en.wikipedia.org/w/index.php?title=Hidden_Markov_model&oldid=768811108# การเรียนรู้

โปรดทราบว่าในบางกรณีเราต้องการเพิ่มการทำให้เป็นมาตรฐานซึ่งบางครั้งก็เทียบเท่ากับการประมาณหลังสูงสุดเช่นเหตุใดบทลงโทษของ Lasso จึงเทียบเท่ากับเลขชี้กำลังสองเท่า (Laplace) มาก่อน? .

ใครสามารถบอกกรณีง่าย ๆ ที่ใช้สำหรับฉันได้

กรณีทั่วไปมากคือในการถดถอยโลจิสติก การถดถอยโลจิสติกเป็นเทคนิคที่ใช้บ่อยในการเรียนรู้ของเครื่องเพื่อจำแนกจุดข้อมูล ตัวอย่างเช่นการถดถอยโลจิสติกสามารถใช้ในการจำแนกว่าอีเมลเป็นสแปมหรือไม่เป็นสแปมหรือจำแนกว่าบุคคลมีหรือไม่มีโรค

$x_i$$h_\theta(x_i) = P[y_i = 1] = \frac{1}{1+e^{-\theta^T x_i}}$

$\theta$

$\hat\theta$$-\sum_{i=1}^n y_i\log(h_\hat\theta(x_i)) + (1-y_i)\log(1-h_{\hat\theta}(x_i))$

เราใช้ MLE อยู่ตลอดเวลา แต่เราอาจไม่รู้สึก ฉันจะยกตัวอย่างง่ายๆสองตัวอย่างเพื่อแสดง

ตัวอย่างที่ 1

$8$$10$$\theta$$\theta=0.8$

ทำไมต้องใช้การนับ นี่คือการใช้ MLE! ปัญหาอยู่ที่ไหน

ในการแก้สมการเราต้องแคลคูลัสบ้าง แต่ข้อสรุปกำลังนับ

ตัวอย่างที่ 2

เราจะประเมินพารามิเตอร์การกระจายแบบเกาส์จากข้อมูลได้อย่างไร เราใช้ค่าเฉลี่ยเชิงประจักษ์เป็นค่าเฉลี่ยโดยประมาณและความแปรปรวนเชิงประจักษ์เป็นค่าความแปรปรวนโดยประมาณซึ่งมาจาก MLE!

โอกาสสูงสุดที่ใช้ในการสื่อสารไร้สาย:

• การถอดรหัสข้อมูลดิจิตอลจากสัญญาณที่ได้รับมีเสียงดังมีหรือไม่มีรหัสซ้ำซ้อน
• การประมาณเวลา - เฟสและความถี่ - ออฟเซ็ตในตัวรับ
• การประมาณของ (พารามิเตอร์ของ) ช่องทางการเผยแพร่
• การประมาณความล่าช้ามุมของการมาถึงและการเลื่อนแบบ Doppler (เช่นเรดาร์)
• การประมาณตำแหน่งมือถือ (เช่น GPS)
• การประมาณค่าออฟเซ็ตนาฬิกาสำหรับการซิงโครไนซ์การตั้งค่าแบบกระจายทุกชนิด
• ขั้นตอนการสอบเทียบที่หลากหลาย