“ โอกาสสูงสุดที่ จำกัด ” คืออะไรและควรใช้เมื่อใด

73

ฉันได้อ่านบทคัดย่อของบทความนี้แล้วว่า:

"ขั้นตอนความน่าจะเป็นสูงสุด (ML) ของ Hartley aud Rao นั้นได้รับการแก้ไขโดยการปรับการเปลี่ยนแปลงจาก Patterson และ Thompson ซึ่งการแบ่งความเป็นไปได้นั้นทำให้ปกติเป็นสองส่วนโดยไม่มีผลกระทบคงที่ ตัวประมาณ (REML) "

ฉันยังอ่านนามธรรมของบทความนี้ที่ REML:

"คำนึงถึงการสูญเสียในองศาอิสระที่เกิดจากการประเมินผลกระทบคงที่"

น่าเศร้าที่ฉันไม่มีสิทธิ์เข้าถึงเนื้อหาทั้งหมดของเอกสารเหล่านั้น (และอาจไม่เข้าใจถ้าฉันทำ)

อะไรคือข้อดีของ REML กับ ML? ภายใต้สถานการณ์ใดบ้างที่อาจมีความต้องการ REML มากกว่า ML (หรือในทางกลับกัน) เมื่อติดตั้งแบบจำลองเอฟเฟกต์ผสม โปรดให้คำอธิบายที่เหมาะสมสำหรับคนที่มีพื้นฐานคณิตศาสตร์ในระดับมัธยม (หรือสูงกว่า)!

mixed-model maximum-likelihood reml

— โจคิง
แหล่งที่มา

ดูstats.stackexchange.com/questions/99895/…

62

ตามคำตอบของ ocram ML จะลำเอียงสำหรับการประเมินส่วนประกอบความแปรปรวน แต่สังเกตว่าอคตินั้นเล็กลงสำหรับขนาดตัวอย่างที่ใหญ่ขึ้น ดังนั้นในการตอบคำถามของคุณ " ... อะไรคือข้อดีของ REML กับ ML? ภายใต้สถานการณ์ใดที่อาจมีความต้องการ REML มากกว่า ML (หรือในทางกลับกัน) เมื่อติดตั้งแบบจำลองเอฟเฟกต์ผสม? " สำหรับขนาดตัวอย่างขนาดเล็ก อย่างไรก็ตามการทดสอบอัตราส่วนความน่าจะเป็นสำหรับ REML นั้นต้องการคุณสมบัติสเปคเอฟเฟกต์คงที่เหมือนกันทั้งสองรุ่น ดังนั้นเพื่อเปรียบเทียบโมเดลที่มีเอฟเฟกต์คงที่ (สถานการณ์ทั่วไป) กับการทดสอบ LR ต้องใช้ ML

REML คำนึงถึงจำนวนของพารามิเตอร์ (เอฟเฟกต์คงที่) โดยประมาณซึ่งสูญเสียอิสรภาพ 1 องศาสำหรับแต่ละตัว นี่คือความสำเร็จโดยการใช้ ML ให้เหลือกำลังสองน้อยที่สุดซึ่งเป็นอิสระจากเอฟเฟกต์คงที่

— โรเบิร์ตลอง
แหล่งที่มา

8

อันที่จริงตัวประมาณค่าความแปรปรวนขององค์ประกอบความแปรปรวนนั้นมักจะไม่เอนเอียง (โดยประมาณ) ในขณะที่ตัวประมาณค่า ML นั้นมีอคติเชิงลบ อย่างไรก็ตามตัวประมาณค่า ML มักจะมีค่าคลาดเคลื่อนเฉลี่ย (MSE) ต่ำกว่าตัวประมาณค่า REML ดังนั้นหากคุณต้องการให้ถูกต้องโดยเฉลี่ยให้ไปที่ REML แต่คุณต้องจ่ายด้วยความแปรปรวนที่มากขึ้นในการประมาณการ หากคุณต้องการที่จะใกล้เคียงกับมูลค่าที่แท้จริงโดยเฉลี่ยไปกับ ML แต่คุณจ่ายสำหรับสิ่งนี้ด้วยอคติเชิงลบ

— Wolfgang

3

n

$n$

(n - 1)

$(n-1)$

"ML จะลำเอียงสำหรับการประเมินส่วนประกอบความแปรปรวน" มันหมายถึงความแปรปรวนของเอฟเฟกต์แบบสุ่มหรือข้อผิดพลาดมาตรฐานของสัมประสิทธิ์ผลคงที่หรือไม่?

— skan

54

นี่คือคำตอบด่วน ...

ตัวอย่างมาตรฐาน

$y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

E ({\hat{σ}}_{ML}^{2}) = \frac{n - 1}{n} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

$y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

การประมาณแบบ REML มักถูกใช้ในบริบทที่ซับซ้อนของแบบจำลองผสม หนังสือทุกเล่มในแบบผสมมีส่วนที่อธิบายการประมาณค่า REML ในรายละเอียดเพิ่มเติม

แก้ไข

@Joe King: นี่คือหนึ่งในหนังสือเล่มโปรดของฉันในรูปแบบผสมที่พร้อมใช้งานออนไลน์อย่างสมบูรณ์ ส่วนที่ 2.4.2 เกี่ยวข้องกับการประเมินส่วนประกอบความแปรปรวน สนุกกับการอ่านของคุณ :-)

— ocram
แหล่งที่มา

ขอบคุณ - สิ่งนี้มีประโยชน์ - แม้ว่าฉันจะไม่สามารถเข้าถึงหนังสือในรูปแบบผสมได้ง่าย ได้โปรดช่วยให้คุณเชื่อมโยงคำตอบของคุณกับคำพูด 2 ในโพสต์ของฉันได้อย่างไร

— Joe King

ฉันสงสัยว่า Gaussian หลายตัวแปรเปลี่ยนแปลงเรื่องราวได้อย่างไร stats.stackexchange.com/questions/167494/…

— การพนัน Sibbs

9

วิธี ML ประเมินค่าความแปรปรวนต่ำกว่าเนื่องจากสันนิษฐานว่าทราบพารามิเตอร์คงที่โดยไม่มีความไม่แน่นอนเมื่อประมาณค่าพารามิเตอร์ความแปรปรวน

วิธีการ REML ใช้เคล็ดลับทางคณิตศาสตร์เพื่อทำให้การประมาณค่าพารามิเตอร์ความแปรปรวนเป็นอิสระจากการประมาณการสำหรับผลกระทบคงที่ REML ทำงานโดยรับส่วนที่เหลือจากการถดถอยครั้งแรกสำหรับการสังเกตแบบจำลองโดยส่วนผลกระทบคงที่ของตัวแบบโดยไม่สนใจองค์ประกอบนี้

การประเมิน ML จะไม่เอนเอียงสำหรับผลกระทบคงที่ แต่ลำเอียงสำหรับผลกระทบแบบสุ่มในขณะที่การประมาณการ REML นั้นมีความลำเอียงสำหรับผลกระทบคงที่และไม่เอนเอียงสำหรับผลกระทบแบบสุ่ม

— Skan
แหล่งที่มา