ตัวอย่างที่วิธีการของช่วงเวลาสามารถเอาชนะโอกาสสูงสุดในกลุ่มตัวอย่างขนาดเล็ก?


57

ตัวประมาณความน่าจะเป็นสูงสุด (MLE) นั้นมีประสิทธิภาพแบบเชิงเส้นกำกับ เราเห็นผลลัพธ์ที่เกิดขึ้นจริงซึ่งพวกเขามักจะทำได้ดีกว่าวิธีการประมาณการณ์ (MoM) (เมื่อมีความแตกต่างกัน) แม้ในขนาดตัวอย่างที่มีขนาดเล็ก

ที่นี่ 'ดีกว่า' หมายถึงในแง่ของการมีความแปรปรวนน้อยลงเมื่อทั้งสองไม่เอนเอียงและโดยทั่วไปแล้วความคลาดเคลื่อนกำลังสองน้อยกว่า (MSE) หมายถึงมากขึ้น

อย่างไรก็ตามคำถามที่เกิดขึ้น:

มีบางกรณีที่ MoM สามารถเอาชนะ MLE - บนMSE ได้หรือไม่พูดในกลุ่มตัวอย่างขนาดเล็ก?

(ซึ่งนี่ไม่ใช่สถานการณ์ที่แปลก / เลว - กล่าวคือให้เงื่อนไขว่า ML จะมีอยู่ / มีประสิทธิภาพในการถือ asymptotically)

คำถามติดตามจะเป็น 'ขนาดเล็กได้อย่างไร' - นั่นคือถ้ามีตัวอย่างมีบางอย่างที่ยังคงมีขนาดตัวอย่างที่ค่อนข้างใหญ่บางทีแม้แต่ขนาดตัวอย่างที่แน่นอนทั้งหมด?

[ฉันสามารถหาตัวอย่างของตัวประมาณแบบเอนเอียงที่สามารถเอาชนะ ML ในตัวอย่างที่ จำกัด ได้ แต่ไม่ใช่ MoM]


เพิ่มการบันทึกย้อนหลัง: การมุ่งเน้นของฉันที่นี่เป็นหลักในกรณีที่ไม่มีการเปลี่ยนแปลง (ซึ่งจริงๆแล้วคือสิ่งที่ความอยากรู้พื้นฐานของฉันมาจาก) ฉันไม่ต้องการแยกแยะกรณีหลายตัวแปร แต่ฉันก็ไม่ต้องการโดยเฉพาะอย่างยิ่งที่จะหลงทางในการอภิปรายอย่างกว้างขวางเกี่ยวกับการประเมินของ James-Stein


ไม่มีปัญหา; มันเกิดขึ้นกับพวกเราทุกคนและกับฉันบ่อยกว่าคุณ ฉันน่าจะใส่มันไว้ในชื่อ แต่มันก็ค่อนข้างยาวแล้ว
Glen_b

@cardinal ฉันทำเกณฑ์ชัดเจนขึ้นแล้ว
Glen_b

3
มีวิธีอื่นในวิธีที่ช่วงเวลาสามารถ "เอาชนะ" โอกาสสูงสุด ตัวอย่างเช่นในปัญหาการประมาณค่าผสมแบบปกติ MLE ยากต่อการคำนวณในขณะที่ MoM ไม่ได้เป็นที่รู้จัก
vqv

@ vqv แน่นอนว่าเป็นความรู้สึกที่ MoM สามารถเป็นที่นิยมได้
Glen_b

2
ตั้งแต่ผมมีแนวโน้มที่จะเห็นอกเห็นใจกับเบียนผมทราบว่าในกลุ่มตัวอย่างของเครื่องแบบ IID ประมาณการ MoM สำหรับθมี MSE เดียวกันกับขุนนาง (MLE) ถ้าขนาดของกลุ่มตัวอย่างเป็น1หรือ2 .. แต่อนิจจาสำหรับขนาดตัวอย่างที่มีขนาดใหญ่ขึ้นขุนนางยืนยันอำนาจอธิปไตยของเขาอีกครั้ง ...U(0,θ)θ12
Alecos Papadopoulos

คำตอบ:


36

สิ่งนี้อาจถูกพิจารณาว่าเป็นการโกง ... แต่ตัวประมาณ OLS เป็นตัวประมาณ MoM พิจารณาข้อกำหนดมาตรฐานถดถอยเชิงเส้น (กับ regressors สุ่มเพื่อเคาะเงื่อนไขใด ๆ ในเมทริกซ์ regressor) และตัวอย่างที่มีขนาดn แสดงs 2ตัวประมาณ OLS ของความแปรปรวนσ 2ของคำข้อผิดพลาด มันไม่เอนเอียงKns2σ2

MSE(s2)=Var(s2)=2σ4nK

พิจารณาตอนนี้ MLE ของ 2 มันคือσ2

มันเอนเอียงหรือเปล่า MSE มันคือ

σ^ML2=nKns2

แสดงความ MLE ในแง่ของ OLS และการใช้การแสดงออกสำหรับประมาณการ OLS ความแปรปรวนที่เราได้รับ

MSE(σ^ML2)=Var(σ^ML2)+[E(σ^ML2)σ2]2

MSE( σ 2 M L )=2(n-K)+K2

MSE(σ^ML2)=(nKn)22σ4nK+(Kn)2σ4
MSE(σ^ML2)=2(nK)+K2n2σ4

เราต้องการเงื่อนไข (ถ้ามี) ภายใต้ซึ่ง

MSE(σ^ML2)>MSE(s2)2(nK)+K2n2>2nK

2(nK)2+K2(nK)>2n2
2n24nK+2K2+nK2K3>2n2
4n+2K+nKK2>0K2(n+2)K+4n<0
K
ΔK=(n+2)216n=n2+4n+416n=n212n+4
n
Δn=12242=816
n1,n2=12±8162=6±42n1,n2={1,12}
nnΔK<0K

K

K1,K2=(n+2)±n212n+42=n2+1±(n2)2+13n

n>12KK1<K<K2

MSE(σ^ML2)>MSE(s2)
n=505<K<47สำหรับความไม่เสมอภาคที่จะถือ เป็นที่น่าสนใจสำหรับผู้ลงทะเบียนจำนวนน้อย MLE นั้นดีกว่าในแง่ของ MSE


K

K1,K2=(n2+1)±(n2+1)24n
55

1
E(uuX)=σ2E(uuX)σ2

1
nnKE[Xk(YXβ)]=0E[(YXβ)2]=σ2nในตัวส่วน
ผู้ชาย

2
nKn

1
@guy (CONTD) ดังนั้นสิ่งที่คุณพูดคือตัวประมาณค่า MoM ของความแปรปรวนข้อผิดพลาดในกรณีนี้คือตัวประมาณค่าความน่าจะเป็นสูงสุดและผลลัพธ์ที่ฉันได้มาเปรียบเทียบไม่ได้ MoM กับ ML แต่ ML กับ OLS (หลังเป็นหมวดหมู่ของมันเอง) .. ใช่มันอาจจะเป็นที่ถกเถียงกันอยู่ว่านี่เป็นกรณี (เช่น)
Alecos Papadopoulos

1
eE(e2)=nknσ2σ2s2

17

"ในบทความนี้เราพิจารณา parametrization แบบใหม่ของการแจกแจงอินเวอร์สแบบเกาส์สองพารามิเตอร์เราค้นหาตัวประมาณค่าสำหรับพารามิเตอร์ของการแจกแจงอินเวอร์สเกาส์เซียนโดยวิธีการของช่วงเวลาและวิธีการโอกาสสูงสุดจากนั้นเราเปรียบเทียบประสิทธิภาพของ ตัวประมาณค่าสำหรับทั้งสองวิธีขึ้นอยู่กับความเอนเอียงและค่าเฉลี่ยความผิดพลาดกำลังสอง (MSE) สำหรับสิ่งนี้เราแก้ไขค่าพารามิเตอร์เรียกใช้แบบจำลองและรายงาน MSE และค่าความเอนเอียงสำหรับการประเมินที่ได้จากทั้งสองวิธีข้อสรุปคือเมื่อขนาดตัวอย่างเท่ากับ 10 วิธีการของช่วงเวลามีแนวโน้มที่จะมีประสิทธิภาพมากกว่าวิธีการโอกาสสูงสุดสำหรับการประเมินของพารามิเตอร์ทั้งสอง (แลมบ์ดาและทีต้า) .... " อ่านเพิ่มเติม

ทุกวันนี้เราไม่สามารถเชื่อใจได้ทุกอย่างที่ตีพิมพ์ แต่หน้าสุดท้ายของบทความดูเหมือนจะเป็นสัญญา ฉันหวังว่าที่อยู่นี้จะเพิ่มบันทึกย่อของคุณในแบบย้อนหลัง


1
θ

หาดี! แม้ว่าผลลัพธ์จะไม่เป็นที่พอใจก็ยังเห็นการอ้างสิทธิ์ที่ระบุไว้อย่างชัดเจน
Ben Ogorek

กระดาษที่ฉันเชื่อมโยงในคำตอบของฉันมีต้นกำเนิดมาจากวิทยานิพนธ์ปริญญาโทวิทยาศาสตร์ซึ่งมีอยู่ทั้งหมดที่นี่: digi.library.tu.ac.th/thesis/st/0415ดูตัวอย่างที่ 5.2 สำหรับคำแถลงที่เกี่ยวข้อง หกคนรวมถึงศาสตราจารย์เต็มคนลงนามในผลลัพธ์นี้
ไฮเบอร์เนต

14

ตามการจำลองที่ดำเนินการโดย Hosking และ Wallis (1987) ใน "Parameter และ Quantile Estimation สำหรับการแจกแจง Pareto ทั่วไป" พารามิเตอร์ของการแจกแจง Pareto แบบสองพารามิเตอร์ที่กำหนดโดย cdf

G(y)={1(1+ξyβ)1ξξ01exp(yβ)ξ=0

หรือความหนาแน่น

g(y)={1β(1+ξyβ)11ξξ01βexp(yβ)ξ=0

มีความน่าเชื่อถือมากกว่าหากประเมินโดยใช้ MOM ซึ่งตรงข้ามกับ ML สิ่งนี้มีไว้สำหรับกลุ่มตัวอย่างที่มีขนาดใหญ่ถึง 500 ค่าประมาณการ MOM นั้นได้รับจาก

β^=y¯y2¯2(y2¯(y¯)2)

และ

ξ^=12(y¯)22(y2¯(y¯)2)

กับ

y2¯=1ni=1nyi2

กระดาษมีความผิดพลาดเล็กน้อย (อย่างน้อยเวอร์ชั่นของฉันก็ทำ) ผลลัพธ์สำหรับตัวประมาณ MOM ที่ให้ไว้ข้างต้นได้รับการจัดทำโดย "heropup" ในหัวข้อนี้


ขอบคุณสำหรับสิ่งนี้. มันเป็นหนึ่งในตัวอย่างที่ง่ายที่สุดของสิ่งที่ฉันกำลังมองหา
Glen_b

13

ฉันพบหนึ่ง:

สำหรับการกระจายกำลังไฟฟ้าแบบอสมมาตร

f(x)=ασΓ(1α)κ1+κ2exp(κασα[(xθ)+]α1κασα[(xθ)]α),α,σ,κ>0, and x,θR

θσ

Delicado and Goria (2008),
การเปรียบเทียบตัวอย่างขนาดเล็กของความน่าจะเป็นสูงสุด, โมเมนต์และ L- โมเมนต์สำหรับการกระจายกำลังแบบไม่สมมาตร,
สถิติการคำนวณวารสาร & การวิเคราะห์ข้อมูล
เล่มที่ 52 ฉบับที่ 3, มกราคม, 1661-1673

(โปรดดูhttp://www-eio.upc.es/~delicado/my-public-files/LmomAEP.pdf )


13

วิธีการของช่วงเวลา (MM) สามารถเอาชนะโอกาสสูงสุด (ML) วิธีเมื่อมันเป็นไปได้ที่จะระบุเพียงบางช่วงเวลาของประชากร ถ้าการแจกแจงไม่ชัดเจนผู้ประเมิน ML จะไม่สอดคล้องกัน

สมมติว่ามีช่วงเวลาที่แน่นอนและการสังเกต iid MM สามารถให้ตัวประมาณที่ดีพร้อมคุณสมบัติเชิงซีมโทติคที่ดี

X1,,XnXff:RR+νk=Rxkf(x)dxkν4

Xk¯=1ni=1nXikν8<

n(X4¯ν4)dN(0,ν8ν42),
d

n(X4¯ν4)X8¯X4¯2dN(0,1)
X8¯X4¯2Pν8ν42

ν4f

การศึกษาสถานการณ์จำลอง:

Patriota และคณะ (2009) ดำเนินการศึกษาแบบจำลองบางอย่างเพื่อตรวจสอบอัตราการปฏิเสธของการทดสอบสมมติฐานในรูปแบบข้อผิดพลาดในตัวแปร ผลการวิจัยชี้ให้เห็นว่าวิธีการ MM สร้างอัตราความผิดพลาดภายใต้สมมติฐานว่างใกล้ระดับเล็กน้อยกว่า ML หนึ่งสำหรับตัวอย่างขนาดเล็ก

บันทึกประวัติศาสตร์:

วิธีการของช่วงเวลาที่ถูกเสนอโดย K. Pearson ใน 1,894 "การมีส่วนร่วมในทฤษฎีคณิตศาสตร์วิวัฒนาการ". วิธีการของความน่าจะเป็นสูงสุดถูกเสนอโดย RA Fisher ในปี 1922 "บนรากฐานทางคณิตศาสตร์ของสถิติเชิงทฤษฎี" เอกสารทั้งสองที่ตีพิมพ์ในธุรกรรมทางปรัชญาของราชสมาคมแห่งลอนดอนรุ่น A

อ้างอิง:

ฟิชเชอร์, RA (1922) ในฐานรากทางคณิตศาสตร์ของสถิติเชิงทฤษฎี, ธุรกรรมทางปรัชญาของราชสมาคมแห่งลอนดอน, ซีรี่ส์ A, 222, 309-368

Patriota, AG, Bolfarine, H, de Castro, M (2009) โมเดลข้อผิดพลาดในโครงสร้างแบบ heteroscedastic ที่มีข้อผิดพลาดสมการระเบียบวิธีทางสถิติ 6 (4), 408-423 ( pdf )

เพียร์สัน, K (1894) การมีส่วนร่วมในทฤษฎีวิวัฒนาการทางคณิตศาสตร์ธุรกรรมทางปรัชญาของราชสมาคมแห่งลอนดอนรุ่น A, 185, 71-110


1
คำตอบของคุณดูเหมือนจะเป็นคำตอบที่น่าสนใจ คุณสามารถขยายมันเล็กน้อยได้หรือไม่? ฉันไม่แน่ใจว่าฉันค่อนข้างเห็น
Glen_b

@Glen_b โปรดตรวจสอบว่าการเพิ่มครั้งล่าสุดของฉันช่วยคุณได้หรือไม่
Alexandre Patriota

ขอบคุณสำหรับสิ่งนั้น ฉันเชื่อว่าฉันเห็นสิ่งที่คุณได้รับ
Glen_b

ตกลงมันเป็นความคิดเห็นทั่วไป แต่ฉันคิดว่ามันตอบคำถามของคุณ ถ้าคุณให้ข้อมูลโดยรวมเกี่ยวกับพฤติกรรมของข้อมูลมันค่อนข้างเป็นธรรมชาติที่วิธีการของ ML นั้นเหนือกว่าวิธี MM ในกระดาษ [1] เราทำการศึกษาแบบจำลองเพื่อตรวจสอบอัตราการปฏิเสธของการทดสอบสมมติฐานในรูปแบบข้อผิดพลาดในตัวแปร ผลการวิจัยชี้ให้เห็นว่าวิธีการ MM สร้างอัตราความผิดพลาดภายใต้สมมติฐานว่างใกล้ระดับเล็กน้อยกว่า ML หนึ่งสำหรับตัวอย่างขนาดเล็ก [1] ime.usp.br/~patriota/STAMET-D-08-00113-revised-v2.pdf
Alexandre Patriota

นี่เป็นตัวอย่างที่ผิดปกติของเมธอดโมเมนต์ (MoM) MoM มักจะถูกนำไปใช้ในปัญหาการประมาณค่าพารามิเตอร์ซึ่งมีการแจกแจงแบบพารามิเตอร์ที่กำหนดไว้เป็นอย่างดี ในอีกทางหนึ่งคุณสามารถกำหนดค่าประมาณโอกาสสูงสุดแบบไม่มีพารามิเตอร์ได้ที่นี่ ฟังก์ชันการแจกแจงเชิงประจักษ์กล่าวว่า F-hat เป็นค่าประมาณโอกาสสูงสุดแบบ nonparametric ของฟังก์ชันการแจกแจงที่ไม่ทราบ F. เมื่อพิจารณาช่วงเวลาที่ 4 เป็นฟังก์ชันของ F ซึ่งเป็น MLE ที่ไม่ใช่พารามิเตอร์ของช่วงเวลาที่ 4 คือช่วงเวลาที่ 4 ของหมวก F . นี่เหมือนกับช่วงเวลาตัวอย่างที่ 4
vqv

5

แหล่งข้อมูลเพิ่มเติมที่สนับสนุน MOM:

ฮ่องกง, HP และ W. Ye 2014 การวิเคราะห์มากโหลดพื้นหิมะแคนาดาใช้บันทึกความลึกหิมะ อันตรายจากธรรมชาติ 73 (2): 355-371

การใช้ MML อาจให้การทำนายที่ไม่สมจริงหากขนาดตัวอย่างมีขนาดเล็ก (Hosking et al. 1985; Martin และ Stedinger 2000)


Martins, ES และ JR Stedinger 2000 ทั่วไปโอกาสสูงสุดทั่วไปมากมูลค่าประมาณ quantile ข้อมูลอุทกวิทยา การวิจัยทรัพยากรน้ำ 36 (3): 737-744

บทคัดย่อ:

การแจกแจงแบบ Extreme-value generalized (GEV) แบบสามพารามิเตอร์พบแอปพลิเคชั่นมากมายสำหรับอธิบายน้ำท่วมประจำปีปริมาณน้ำฝนความเร็วลมความสูงของคลื่นความลึกของหิมะและหิมะอื่น ๆ การศึกษาก่อนหน้าแสดงให้เห็นว่าตัวประมาณค่าความน่าจะเป็นตัวอย่างสูงสุด (MLE) ของพารามิเตอร์เล็ก ๆ ไม่เสถียรและแนะนำ L ตัวประมาณค่าโมเมนต์ การวิจัยเมื่อเร็ว ๆ นี้แสดงให้เห็นว่าวิธีการประมาณค่าช่วงเวลาแบบควอนไทล์มีค่าสำหรับ .25 0.25 <κ <0.30 ข้อผิดพลาดรูต - ค่าเฉลี่ย - สี่เหลี่ยมจัตุรัสเล็กกว่าช่วงเวลา L และ MLE การตรวจสอบพฤติกรรมของ MLEs ในตัวอย่างขนาดเล็กแสดงให้เห็นว่าค่าไร้สาระของพารามิเตอร์รูปทรง GEV สามารถสร้างขึ้นได้ การใช้การแจกแจงก่อนแบบเบย์เพื่อ จำกัด ค่า to ให้อยู่ในช่วงทางสถิติ / ร่างกายที่สมเหตุสมผลในการวิเคราะห์ความน่าจะเป็นสูงสุด (GML) ทั่วไปที่กำจัดปัญหานี้

ในส่วนของการแนะนำและทบทวนวรรณกรรมพวกเขาอ้างถึงเอกสารเพิ่มเติมซึ่งสรุปว่า MOM ในบางกรณีมีประสิทธิภาพสูงกว่า MLE (การสร้างแบบจำลองมูลค่าที่สูงมาก) เช่น

Hosking และคณะ [1985a] แสดงให้เห็นว่าตัวประมาณค่าพารามิเตอร์ MLE ตัวอย่างขนาดเล็กไม่เสถียรมากและแนะนำตัวประมาณค่าความน่าจะเป็นแบบถ่วงน้ำหนัก (PWM) ซึ่งเทียบเท่ากับตัวประมาณค่าโมเมนต์ L [Hosking, 1990] [ ... ]

Hosking และคณะ [1985a] แสดงให้เห็นว่าช่วงเวลาที่น่าจะเป็นแบบถ่วงน้ำหนัก (PM) หรือช่วงเวลาเทียบเท่า L (LM) สำหรับการกระจาย GEV นั้นดีกว่าตัวประมาณความน่าจะเป็นสูงสุด (MLE) ในแง่ของความลำเอียงและความแปรปรวนสำหรับขนาดตัวอย่างที่แตกต่างกันตั้งแต่ 15 ถึง 100 เมื่อเร็ว ๆ นี้ Madsen และคณะ [1997a] แสดงให้เห็นว่าวิธีการประมาณช่วงเวลา (MOM) ตัวประมาณปริมาณมี RMSE ที่เล็กกว่า (root-mean-squareer ror) สำหรับ -0.25 <K <0.30 มากกว่า LM และ MLE เมื่อประมาณเหตุการณ์ 100 ปีสำหรับขนาดตัวอย่าง 10-50 . MLE นั้นจะดีกว่าก็ต่อเมื่อ K> 0.3 และขนาดของกลุ่มตัวอย่างนั้นเล็กน้อย (n> = 50)

K (คัปปา) เป็นพารามิเตอร์รูปร่างของ GEV

เอกสารที่ปรากฏในคำพูด:

ฮอสเจวาลลิส J, ไม้ E (1985) การประมาณการของการกระจายมากค่าทั่วไปโดยวิธีการของความน่าจะเป็นช่วงเวลาที่-ถ่วงน้ำหนัก Technometrics 27: 251–261

Madsen, H. , PF Rasmussen และ D. Rosbjerg (1997) เปรียบเทียบชุดสูงสุดประจำปีและวิธีการอนุกรมเวลาบางส่วนสำหรับการสร้างแบบจำลองเหตุการณ์อุทกวิทยาที่รุนแรง , 1, การสร้างแบบจำลองที่ไซต์งาน, แหล่งน้ำ Res., 33 (4), 747-758

Hosking, JRM, ช่วงเวลา L: การวิเคราะห์และการประมาณค่าการกระจายโดยใช้ชุดค่าผสมเชิงเส้นของสถิติการสั่งซื้อ , สถิติ Stat Soc., Ser. B, 52, 105-124, 1990


นอกจากนี้ฉันมีประสบการณ์แบบเดียวกับที่สรุปไว้ในเอกสารข้างต้นในกรณีของการสร้างแบบจำลองเหตุการณ์รุนแรงด้วยขนาดตัวอย่างเล็กและปานกลาง (<50-100 ซึ่งเป็นเรื่องปกติ) MLE สามารถให้ผลลัพธ์ที่ไม่สมจริงการจำลองแสดงให้เห็นว่า RMSE ที่เล็กกว่า


3

ในกระบวนการตอบคำถามนี้: การประมาณค่าพารามิเตอร์สำหรับทวินามที่ ฉันสะดุดในบทความนี้:

Ingram Olkin, John Petkau, James V Zidek: การเปรียบเทียบตัวประมาณ N สำหรับการแจกแจงแบบทวินาม Jasa 1981

NBin(N,p)p


สิ่งหนึ่งที่ดีมากเกี่ยวกับตัวอย่างนี้คือมันง่ายมากในการถ่ายทอดสถานการณ์ - หลายคนคุ้นเคยกับทวินาม (อย่างน้อยก็ในแนวคิดถ้าไม่ได้ใช้ชื่อเสมอ)
Glen_b
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.