วิธีการช่วงเวลาคืออะไรและแตกต่างจาก MLE อย่างไร

โดยทั่วไปดูเหมือนว่าวิธีการของช่วงเวลาเป็นเพียงการจับคู่ค่าเฉลี่ยตัวอย่างที่สังเกตหรือความแปรปรวนกับช่วงเวลาทางทฤษฎีเพื่อรับการประมาณค่าพารามิเตอร์ นี่มักจะเหมือนกับ MLE สำหรับครอบครัวเอ็กซ์โปเนนเชียลฉันรวบรวม

อย่างไรก็ตามมันยากที่จะหาคำจำกัดความที่ชัดเจนของวิธีการของช่วงเวลาและการอภิปรายที่ชัดเจนว่าทำไม MLE ดูเหมือนจะได้รับการสนับสนุนโดยทั่วไปแม้ว่ามันจะเป็นเรื่องยากที่จะหาโหมดของฟังก์ชั่นความน่าจะเป็น

คำถามนี้MLE มีประสิทธิภาพมากกว่าวิธี Moment หรือไม่? มีคำพูดจากศ. โดนัลด์รูบิน (ที่ฮาร์วาร์ด) ที่บอกว่าทุกคนรู้จักตั้งแต่ยุค 40 ที่ MLE ชนะ MoM แต่ฉันสนใจที่จะรู้ประวัติหรือเหตุผลในเรื่องนี้

ใน MoM ตัวประมาณถูกเลือกเพื่อให้บางฟังก์ชันมีความคาดหวังตามเงื่อนไขเท่ากับศูนย์ เช่น 0 มักจะคาดหวังก็คือเงื่อนไขในxโดยทั่วไปแล้วสิ่งนี้จะถูกแปลงเป็นปัญหาของการลดขนาดกำลังสองในการคาดหวังนี้ด้วยเมทริกซ์น้ำหนัก$E[g(y,x,\theta)] = 0$$x$

ใน MLE ตัวประมาณจะเพิ่มฟังก์ชันโอกาสในการบันทึกให้มากที่สุด

โดยทั่วไปแล้ว MLE สร้างสมมติฐานที่เข้มงวดขึ้น (ความหนาแน่นเต็มรูปแบบ) และโดยทั่วไปแล้วจะมีความทนทานน้อยกว่า แต่มีประสิทธิภาพมากกว่าถ้าตรงตามสมมติฐาน

ในบางกรณีทั้งสองเกิดขึ้นพร้อมกัน OLS เป็นหนึ่งในตัวอย่างที่น่าทึ่งที่โซลูชันการวิเคราะห์เหมือนกัน

ในบางแง่มุมคุณสามารถนึกถึง MLE (ในเกือบทุกกรณี) เป็นตัวประมาณค่า MoM เนื่องจากตัวประมาณตั้งค่าที่คาดหวังของการไล่ระดับสีของฟังก์ชันความน่าจะเป็นบันทึกเท่ากับศูนย์ ในกรณีดังกล่าวมีหลายกรณีที่ความหนาแน่นไม่ถูกต้อง แต่ MLE ยังคงสอดคล้องกันเนื่องจากเงื่อนไขการสั่งซื้อครั้งแรกยังคงเป็นที่น่าพอใจ จากนั้น MLE จะเรียกว่า "quasi-ML"

วิธีการของช่วงเวลาคืออะไร?

มีบทความที่ดีเกี่ยวกับเรื่องนี้ใน Wikipedia

https://en.m.wikipedia.org/wiki/Method_of_moments_(statistics)

หมายความว่าคุณกำลังประเมินค่าพารามิเตอร์ประชากรโดยการเลือกพารามิเตอร์เช่นการกระจายประชากรมีช่วงเวลาที่เทียบเท่ากับช่วงเวลาที่สังเกตได้ในตัวอย่าง

แตกต่างจาก MLE อย่างไร

การประมาณการความน่าจะเป็นสูงสุดลดฟังก์ชันความน่าจะเป็น ในบางกรณีขั้นต่ำนี้บางครั้งสามารถแสดงในแง่ของการตั้งค่าพารามิเตอร์ประชากรเท่ากับพารามิเตอร์ตัวอย่าง

$\mu = \bar{x}$$\mu$

ในขณะที่โซลูชัน MoM กำลังแก้ไข

ดังนั้น MoM จึงเป็นวิธีที่ใช้งานได้จริงในการประมาณค่าพารามิเตอร์นำไปสู่ผลลัพธ์ที่แน่นอนเช่นเดียวกับ MLE (เนื่องจากช่วงเวลาของตัวอย่างมักจะตรงกับช่วงเวลาของประชากรเช่นค่าเฉลี่ยตัวอย่างจะกระจายรอบค่าเฉลี่ยประชากรและ ขึ้นอยู่กับปัจจัย / อคติมันทำงานได้ดีมาก) MLE มีรากฐานทางทฤษฎีที่แน่นแฟ้นยิ่งขึ้นและตัวอย่างเช่นช่วยให้การประเมินข้อผิดพลาดโดยใช้ฟิชเชอร์เมทริกซ์ (หรือการประมาณของมัน) และเป็นวิธีที่เป็นธรรมชาติมากขึ้นในกรณีของปัญหาการถดถอย (ฉันยังไม่ได้ลอง MoM สำหรับการแก้ไขพารามิเตอร์ในการถดถอยเชิงเส้นอย่างง่ายไม่ทำงานอย่างง่ายดายและอาจให้ผลลัพธ์ที่ไม่ดี ในคำตอบของ superpronker ดูเหมือนว่าสิ่งนี้ทำโดยการย่อขนาดของฟังก์ชั่น สำหรับ MLE การย่อขนาดนี้เป็นการแสดงออกถึงความน่าจะเป็นที่สูงขึ้น แต่ฉันสงสัยว่ามันหมายถึงสิ่งที่คล้ายกันสำหรับ MoM หรือไม่

ขออภัยฉันไม่สามารถผ่านความคิดเห็นได้ ..

MLE สร้างสมมติฐานที่เข้มงวดขึ้น (ความหนาแน่นเต็มรูปแบบ) และโดยทั่วไปแล้วจะมีความทนทานน้อยกว่า แต่มีประสิทธิภาพมากกว่าถ้าตรงตามสมมติฐาน

จริง ๆ แล้วที่ MITx " พื้นฐานของสถิติ " เราได้รับการสอนตรงข้ามว่า MoM อาศัยสมการเฉพาะช่วงเวลาและถ้าเราเลือกความหนาแน่นผิดเราก็ทำผิดโดยสิ้นเชิงในขณะที่ MLE ยืดหยุ่นได้มากกว่าในทุกกรณี KD แตกต่าง ..