มักจะมี maximizer สำหรับปัญหา MLE หรือไม่?

ฉันสงสัยว่าจะมี maximizer สำหรับปัญหาการประมาณโอกาสสูงสุด (บันทึก -) หรือไม่? กล่าวอีกนัยหนึ่งมีการแจกแจงบางส่วนและพารามิเตอร์บางอย่างซึ่งปัญหา MLE ไม่มี maximizer หรือไม่

คำถามของฉันมาจากการอ้างสิทธิ์ของวิศวกรว่าฟังก์ชั่นค่าใช้จ่าย (ความน่าจะเป็นหรือความเป็นไปได้ในการบันทึกฉันไม่แน่ใจว่ามีจุดประสงค์ใด) ใน MLE มักจะเป็นแบบเว้าเสมอและดังนั้นจึงมี maximizer เสมอ

ขอบคุณและขอแสดงความนับถือ!

บางทีวิศวกรที่มีอยู่ในใจครอบครัวที่เป็นที่ยอมรับบัญญัติ: ในพารามิเตอร์ธรรมชาติของพวกเขาพื้นที่พารามิเตอร์เป็นนูนและความน่าจะเป็นบันทึกเป็นเว้า (ดู Thm 1.6.3 ใน Bickel & Doksum ของคณิตศาสตร์สถิติเล่ม 1 ) ยิ่งไปกว่านั้นภายใต้เงื่อนไขทางเทคนิคที่ไม่รุนแรง (โดยพื้นฐานแล้วว่าแบบจำลองนั้นเป็น "เต็มยศ" หรือเทียบเท่าว่าพารามิเตอร์ตามธรรมชาติโดยสามารถระบุได้) ฟังก์ชันบันทึกความน่าจะเป็นคือเว้าอย่างเข้มงวดซึ่งแสดงว่ามี maximizer เฉพาะ (ข้อสรุป 1.6.2 ในการอ้างอิงเดียวกัน) [นอกจากนี้บันทึกการบรรยายที่อ้างถึงโดย @biostat ก็ทำเช่นเดียวกัน]

โปรดทราบว่า parametrization ตามธรรมชาติของครอบครัวเลขชี้กำลังเป็นที่ยอมรับมักจะแตกต่างจาก parametrization มาตรฐาน ดังนั้นในขณะที่ @ cardinal ชี้ให้เห็นว่าบันทึกความน่าจะเป็นของครอบครัวไม่ได้มีการนูนในσ 2มันจะเป็นเว้าในพารามิเตอร์ธรรมชาติซึ่งคือη 1 = μ / σ 2และη 2 = - 1 / σ 2 $\mathcal{N}(\mu,\sigma^2)$$\sigma^2$$\eta_1 = \mu / \sigma^2$$\eta_2 = -1/\sigma^2$

ฟังก์ชันความเป็นไปได้มักจะบรรลุสูงสุดสำหรับการประมาณค่าพารามิเตอร์ที่น่าสนใจ อย่างไรก็ตามบางครั้ง MLE ไม่มีอยู่เช่นสำหรับการแจกแจงแบบเกาส์หรือฟังก์ชั่นที่ไม่ใช่พารามิเตอร์ซึ่งมียอดเขามากกว่าหนึ่งจุด (bi หรือ multi-modal) ฉันมักประสบปัญหาในการประมาณค่าพารามิเตอร์ทางพันธุศาสตร์ประชากรที่ไม่ทราบ ได้แก่ อัตราการรวมตัวกันอีกครั้งผลของการคัดเลือกโดยธรรมชาติ

เหตุผลหนึ่งที่ @ cardinal ชี้ให้เห็นว่าเป็นพื้นที่พาราเมตริกที่ไม่มีขอบเขต

ยิ่งกว่านั้นฉันอยากจะแนะนำบทความต่อไปนี้ดูหัวข้อ 3 (สำหรับฟังก์ชั่น) และรูปที่ 3 อย่างไรก็ตามมีเอกสารที่มีประโยชน์และค่อนข้างสะดวกข้อมูลเกี่ยวกับ MLE

ฉันยอมรับว่าฉันอาจจะพลาดอะไรบางอย่าง แต่ -

หากนี่คือปัญหาการประมาณค่าและเป้าหมายคือการประมาณค่าพารามิเตอร์ที่ไม่รู้จักและพารามิเตอร์นั้นมาจากชุดที่ปิดและล้อมรอบบางส่วนและฟังก์ชันความน่าจะเป็นต่อเนื่องนั้นจะต้องมีค่าสำหรับพารามิเตอร์นี้ที่ขยายให้ใหญ่ที่สุด ฟังก์ชั่นความน่าจะเป็น กล่าวอีกนัยหนึ่งต้องมีค่าสูงสุด (ไม่จำเป็นต้องไม่ซ้ำกัน แต่ต้องมีอย่างน้อยหนึ่งสูงสุดไม่มีการรับประกันว่า maxima ท้องถิ่นทั้งหมดจะเป็น maxima ระดับโลก แต่นั่นไม่ใช่เงื่อนไขที่จำเป็นสำหรับการมีอยู่สูงสุด)

ฉันไม่รู้ว่าฟังก์ชันความน่าจะเป็นต้องนูนหรือไม่ แต่นั่นไม่ใช่เงื่อนไขที่จำเป็นสำหรับการมีอยู่สูงสุด

หากฉันมองข้ามบางสิ่งไปฉันยินดีต้อนรับเมื่อได้ยินว่าเป็นอะไรที่ฉันขาดหายไป

Perhaps someone will find the following simple example useful.

Consider flipping a coin once. Let $\theta$ denote the probability of heads. If it is known that the coin can come up either heads or tails then $\theta \in (0,1)$. Since the set $(0,1)$ is open, the parameter space is not compact. The likelihood for $\theta$ is given by