การประมาณค่าความน่าจะเป็นสูงสุดของความแปรปรวนร่วมของข้อมูลปกติแบบแปรปรวนคืออะไรเมื่อทราบค่าเฉลี่ยและความแปรปรวน?


11

สมมติว่าเรามีตัวอย่างแบบสุ่มจากการแจกแจงปกติแบบ bivariate ซึ่งมีค่าศูนย์เป็นค่ากลางและค่าความแปรปรวนดังนั้นพารามิเตอร์ที่ไม่รู้จักเพียงค่าเดียวคือความแปรปรวนร่วม MLE ของความแปรปรวนร่วมคืออะไร? ฉันรู้ว่ามันควรจะเป็น1nj=1nxjyjแต่เราจะรู้ได้อย่างไร


1
ในฐานะผู้เริ่มต้นคุณไม่คิดว่ามันเป็นเรื่องที่ไม่ค่อยชัดเจนนักที่จะประมาณค่าเฉลี่ยด้วยx¯และy¯เมื่ออันที่จริงแล้วเรารู้ว่ามันเป็น 0 และ 0
โวล์ฟกัง

ไม่ชัดเจนมาก ยังไม่เห็นว่าสิ่งนี้สามารถติดตามได้อย่างง่ายดาย มันคล้ายกับความแปรปรวนตัวอย่าง แต่ทำไมมันถึงเป็น MLE (ยกเว้นว่ามันไม่ใช่และฉันทำผิดพลาดอีกครั้ง)
สเตซี่

คุณลบ1ni=1n(xix¯)(yiy¯)? การใช้สูตรนี้ไม่ได้หมายความว่าคุณจะพิจารณาx¯และy¯เป็นค่าประมาณของค่าเฉลี่ย
Stéphane Laurent

@ StéphaneLaurentใช่แล้วในสูตรเริ่มแรกคุณได้รับสูตรตามที่คุณเขียน
Wolfgang

คำตอบ:


12

ตัวประมาณค่าสัมประสิทธิ์สหสัมพันธ์ (ซึ่งในกรณีของมาตรฐาน bivariate ปกติเท่ากับความแปรปรวนร่วม)

r~=1ni=1nxiyi

เป็นวิธีการประมาณช่วงเวลา, ความแปรปรวนร่วมตัวอย่าง ρρ^

ความหนาแน่นร่วมกันของสองตัวแปรมาตรฐานปกติที่มีค่าสัมประสิทธิ์สหสัมพันธ์ คือρ

f(x,y)=12π1ρ2exp{x2+y22ρxy2(1ρ2)}

และบันทึกความน่าจะเป็นของตัวอย่าง iid ขนาดคือn

lnL=nln(2π)n2ln(1ρ2)12(1ρ2)i=1n(xi2+yi22ρxiyi)

(นี่คือสมมติฐานของ iid ที่เกี่ยวกับการดึงแต่ละครั้งจากประชากรสองมิติของหลักสูตร)

การหาอนุพันธ์เทียบกับและตั้งค่าเท่ากับศูนย์จะให้พหุนามแบบ 3 มิติเป็นρ :ρρ

ρ^:nρ^3(i=1nxiyi)ρ^2(11ni=1n(xi2+yi2))nρ^i=1nxiyi=0

ρ

(1/n)i=1n(xi2+yi2)=(1/n)S2XYn

ρ^:ρ^3r~ρ^2+[(1/n)S21]ρ^r~=0

ρ^(ρ^2r~ρ^+[(1/n)S21])=r~

ρ^=r~(1/n)S2=2

ρ^r~

ρ=0.6n=1.000

i=1nxiyi=522.05,S2=1913.28

ตัวประมาณเมธอดของ Moments ให้เรา

r~=522.051000=0.522

เกิดอะไรขึ้นกับความน่าจะเป็นบันทึก สายตาเรามี

ป้อนคำอธิบายรูปภาพที่นี่

ตัวเลขเรามี

ρ1st derivlnL0.570.92783.650.5159.41782.470.5247.7781.480.5335.78780.680.5423.64780.10.5511.29779.750.561.29779.640.5714.1779.810.5827.15780.270.5940.44781.050.653.98782.18

และเราจะเห็นว่าการเข้าสู่ระบบมีความน่าจะเป็นสูงสุดตาดก่อนที่ยังอนุพันธ์ที่ 1 กลายเป็นศูนย์0.558985) ไม่น่าประหลาดใจสำหรับค่าของไม่แสดง นอกจากนี้อนุพันธ์อันดับ 1 ก็ไม่มีรากอื่นρ=0.56(ρ^=0.558985)ρ

ดังนั้นการจำลองนี้สอดคล้องกับผลลัพธ์ที่ตัวประมาณโอกาสสูงสุดไม่เท่ากับวิธีการประมาณช่วงเวลา (ซึ่งเป็นค่าความแปรปรวนร่วมตัวอย่างระหว่างสอง rv's)

แต่ดูเหมือนว่า "ทุกคน" กำลังบอกว่ามันควร ... ดังนั้นใครบางคนควรมีคำอธิบาย

UPDATE

การอ้างอิงที่พิสูจน์ว่า MLE เป็นตัวประมาณเมธอดของ Moments: Anderson, TW, & Olkin, I. (1985) การประมาณค่าความน่าจะเป็นสูงสุดของพารามิเตอร์ของการแจกแจงแบบหลายตัวแปรปกติ พีชคณิตเชิงเส้นและการประยุกต์, 70, 147-171
มันไม่สำคัญว่าที่นี่วิธีการและความแปรปรวนทั้งหมดมีอิสระที่จะแตกต่างกันและไม่คงที่?

... อาจจะใช่เพราะความคิดเห็นของ @ ผู้ชายในอีก (ลบตอนนี้) คำตอบที่บอกว่ามีกำหนดพารามิเตอร์ค่าเฉลี่ยและความแปรปรวนที่ bivariate ปกติจะกลายเป็นสมาชิกคนหนึ่งของโค้งครอบครัวชี้แจง (และผลและคุณสมบัติบางอย่างเปลี่ยนแปลง) ... ซึ่งดูเหมือนจะเป็นวิธีเดียวที่สามารถกระทบยอดผลลัพธ์ทั้งสอง


1
นี่เป็นสิ่งที่น่าแปลกใจเล็กน้อย แต่หลังจากการไตร่ตรองแล้วก็น่าจะเกิดขึ้น ปัญหาจะสามารถซักค้านเป็นประมาณค่าสัมประสิทธิ์การถดถอยในรูปแบบที่2) นี่ไม่ใช่โมเดลเชิงเส้นดังนั้นจึงไม่มีเหตุผลที่จะคาดหวังว่า MLE จะเป็นผลิตภัณฑ์แบบจุด ตรรกะเดียวกันแสดงให้เห็น (ฉันคิดว่า!) ว่าถ้าเรารู้เพียงดังนั้น MLE คือและถ้าเรารู้เพียง(Y) หากเราไม่รู้ว่าจะเกิดอะไรขึ้นเราจะได้ค่าประมาณ MOM ของคุณ ρY=ρX+ϵϵN(0,1ρ22)Var(X)xy/xxxy/yyVar(Y)
ผู้ชาย

1
@guy: น่าสนใจมาก ฉันคิดว่าข้อโต้แย้งเหล่านี้หากขยายออกไปเล็กน้อยสมควรที่จะโพสต์เป็นคำตอบแยกต่างหาก!
อะมีบา

@guy ฉันไม่คิดว่าสูตรนี้เทียบเท่ากันเพราะความน่าจะเป็นในการตั้งค่าการถดถอยมี square 2 ค่าสัมประสิทธิ์ที่แนบมากับไม่อยู่ในการกำหนดความหนาแน่น bivariate ϵ2=(yρx)2=y22ρxy+ρ2x2ρ2x2
Alecos Papadopoulos

ฉันเดาy) ลองนึกภาพและดังนั้นคาดว่าจะมีค่าประมาณ1ni=1n(xix¯)(yiy¯)n=2y1=y20
Stéphane Laurent

1
@AlecosPapadopoulos 2 คำถูกยกเลิกโดยตัวส่วนดังนั้นคำเดียวจากข้อมูลที่มีส่วนในโอกาสในการบันทึกดั้งเดิมของคุณคือ2) แต่นี่ก็เป็นที่รู้จักกันในทันทีจากการแยกตัวประกอบ ,2) การอ้างสิทธิ์อื่น ๆ ของฉันไม่ถูกต้องเนื่องจากฉันไม่ได้ใส่คำว่าไว้ในนั้น x2+y22ρxy=(1ρ2)x2+(yρx)2(1ρ2)x2(1ρ2)(yρx)2/(1ρ2)XN(μX,σX2)[Y|X]N(μY+ρXσYσX(XμX),σY|X21ρ22)σY/σX
ผู้ชาย

2

ภายใต้เงื่อนไขที่ระบุไว้ (และ ) ฟังก์ชันความน่าจะเป็นสำหรับตัวอย่างสุ่มขนาดคือμX=μY=0σX=σY=1n

L(ρ|X,Y)=1(2π[1ρ2])n/2exp[12(1ρ2)(XX2ρXY+YY)].

ขณะนี้พบการเข้าสู่ระบบความน่าจะเป็นและใช้อนุพันธ์ที่เกี่ยวกับ\ถัดไปตั้งค่าเท่ากับ 0, แก้โร} แน่นอนคุณควรทำแบบทดสอบที่เหมาะสมเพื่อแสดงสิ่งที่คุณพบในความเป็นจริงสูงสุดทั่วโลกρρρ^

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.