ในทางปฏิบัติเมทริกซ์ความแปรปรวนร่วมแบบสุ่มถูกคำนวณในรูปแบบเอฟเฟกต์ผสมอย่างไร

โดยพื้นฐานสิ่งที่ฉันสงสัยว่าโครงสร้างความแปรปรวนร่วมนั้นมีการบังคับใช้แตกต่างกันอย่างไรและวิธีคำนวณค่าภายในเมทริกซ์เหล่านี้อย่างไร ฟังก์ชั่นเช่น lme () ช่วยให้เราสามารถเลือกโครงสร้างที่เราต้องการได้ แต่ฉันชอบที่จะรู้ว่ามันเป็นอย่างไร

พิจารณาผลกระทบเชิงเส้นผสมรุ่นY$Y=X\beta+Zu+\epsilon$

ที่ไหนและR) นอกจากนี้:ϵ d ∼ N ( 0 , R $u \stackrel{d}{\sim} N(0,D)$$\epsilon \stackrel{d}{\sim} N(0,R)$

$Var(Y|X,Z,\beta,u)=R$

$Var(Y|X,\beta)=Z'DZ+R=V$

เพื่อความง่ายเราจะถือว่าR$R=\sigma^2I_n$

โดยพื้นฐานแล้วคำถามของฉันคือ:ประมาณจากข้อมูลสำหรับการกำหนดพารามิเตอร์ต่างๆอย่างไร พูดว่าถ้าเราสมมติว่าเป็นเส้นทแยงมุม (เอฟเฟกต์สุ่มมีความเป็นอิสระ) หรือแปรสภาพอย่างสมบูรณ์ (กรณีที่ฉันสนใจมากขึ้นในขณะนี้) หรือการกำหนดพารามิเตอร์อื่น ๆ อีกมากมาย? มีตัวประมาณ / สมการอย่างง่ายสำหรับสิ่งเหล่านี้หรือไม่? (ไม่ต้องสงสัยเลยว่าจะถูกประเมินซ้ำ ๆ )D $D$$D$$D$

แก้ไข: จากหนังสือ Variance Components (Searle, Casella, McCulloch 2006) ฉันได้จัดการให้เปล่งประกายต่อไปนี้:

ถ้าดังนั้นองค์ประกอบความแปรปรวนจะได้รับการปรับปรุงและคำนวณดังนี้$D=\sigma^2_uI_q$

$\sigma_u^{2(k+1)} = \frac{\hat{\textbf{u}}^T\hat{\textbf{u}}} {\sigma_u^{2(k)}\text{trace}(\textbf{V}^{-1}\textbf{Z}^T\textbf{Z})}$

$\sigma_e^{2(k+1)} = Y'(Y-X{\hat{\beta}}^{(k)}-{Z}\hat{{u}}^{(k)})/n$

โดยที่และคือการอัพเดตลำดับตามลำดับ U (k)$\hat{\beta}^{(k)}$$\hat{{u}}^{(k)}$$k$

มีสูตรทั่วไปหรือไม่เมื่อถูกบล็อกในแนวทแยงหรือแปรอย่างเต็มที่? ฉันคาดเดาในกรณีที่มีการปรับพารามิเตอร์อย่างสมบูรณ์การสลายตัวของ Cholesky ใช้เพื่อให้แน่ใจว่ามีความชัดเจนและสมมาตรเป็นบวก$D$

The Goldstein .pdf @probabilityislogic linked เป็นเอกสารที่ยอดเยี่ยม นี่คือรายการของข้อมูลอ้างอิงบางส่วนที่พูดถึงคำถามเฉพาะของคุณ:

Harville 1976: ขยายของ Gauss-มาร์คอฟทฤษฎีบทที่จะรวมถึงการประมาณค่าของผลการสุ่ม

Harville 1977: ความน่าจะเป็นสูงสุดวิธีการประมาณค่าความแปรปรวนองค์ประกอบและปัญหาที่เกี่ยวข้อง

สกอตแลนด์และ Ware 1982: รุ่นสุ่มผลสำหรับข้อมูลระยะยาว

McCulloch, 1997: อัลกอริธึมโอกาสสูงสุดสำหรับโมเดลเชิงเส้นผสมทั่วไป

ส่วนที่ตัดตอนมาจากคู่มือผู้ใช้ SAS สำหรับกระบวนการ MIXEDมีข้อมูลที่ดีเกี่ยวกับการประมาณค่าความแปรปรวนร่วมและแหล่งข้อมูลอื่น ๆ อีกมากมาย (เริ่มต้นในหน้า 3968)

มีหนังสือคุณภาพจำนวนมากเกี่ยวกับการวิเคราะห์ข้อมูลตามยาว / ซ้ำ แต่นี่เป็นรายละเอียดเกี่ยวกับการนำไปใช้ใน R (จากผู้เขียนlme4และnlme):

Pinheiro และเบตส์ 2000: ผสมผลกระทบในรุ่น S และ S-PLUS

แก้ไข : กระดาษหนึ่งที่เกี่ยวข้องมากขึ้น: Lindstrom และเบตส์ 1988: Newton-Raphson และ EM อัลกอริทึมสำหรับการเชิงเส้นหลากหลายรูปแบบผลข้อมูลซ้ำมาตรการ

แก้ไข 2 : และอื่น: Jennrich และ Schluchter 1986: ไม่สมดุลซ้ำ-มาตรการรุ่นที่มีโครงสร้างเมทริกซ์ความแปรปรวนร่วม

Harvey Goldsteinไม่ใช่จุดเริ่มต้นที่ดี

เช่นเดียวกับวิธีการประเมินที่ซับซ้อนที่สุดมันแตกต่างกันไปตามแพคเกจซอฟต์แวร์ อย่างไรก็ตามบ่อยครั้งสิ่งที่ทำอยู่ในขั้นตอนต่อไปนี้:

1. เลือกค่าเริ่มต้นสำหรับ (พูดD 0 ) และR (พูดR 0 ) ตั้งค่าi = $D$$D_0$$R$$R_0$$i=1$
2. เงื่อนไขในและR = R ฉัน- 1ประมาณการβและยูและε โทรประมาณการเบต้าฉันและU ฉันและεฉัน$D=D_{i-1}$$R=R_{i-1}$$\beta$$u$$\epsilon$$\beta_i$$u_i$$\epsilon_i$
3. เงื่อนไขในและและประมาณการและRเรียกค่าประมาณและคุณ= คุณฉัน ϵ = ϵ ฉัน D R D ฉันR $\beta=\beta_i$$u=u_i$$\epsilon=\epsilon_i$$D$$R$$D_i$$R_i$
4. ตรวจสอบการบรรจบกัน หากไม่รวมกันให้ตั้งค่าและกลับไปที่ขั้นตอนที่ 2$i=i+1$

วิธีที่ง่ายและรวดเร็วหนึ่งวิธีคือ IGLS ซึ่งขึ้นอยู่กับการวนซ้ำระหว่างโพรซีเดอร์กำลังสองน้อยที่สุดสองขั้นและอธิบายรายละเอียดในบทที่สอง ข้อเสียคือมันไม่ทำงานได้ดีสำหรับองค์ประกอบความแปรปรวนใกล้กับศูนย์

บทความต่อไปนี้ให้โซลูชันแบบปิดสำหรับ D:

• J. Shao, Mari Palta และ Roger Qu, (1998), " การประมาณกำลังสองน้อยที่สุดของพารามิเตอร์การถดถอยในโมเดลเอฟเฟกต์ผสมกับ covariates ที่ไม่มีการวัด ", การสื่อสารในสถิติ - ทฤษฎีและวิธีการ , 27: 6, 1487-1501, DOI: 10.1080 / 03610929808832172

สองอ้างอิงอื่น ๆ ที่อาจเป็นประโยชน์องค์ประกอบความแปรปรวนโดยเซิลและอัลลินช์และวอลช์และพันธุศาสตร์และการวิเคราะห์เชิงปริมาณลักษณะ หนังสือ Lynch and Walsh ให้อัลกอริทึมทีละขั้นตอนถ้าฉันจำได้ถูกต้อง