วิธีการหาค่าฟังก์ชันความน่าจะเป็นสำหรับการแจกแจงแบบทวินามสำหรับการประมาณค่าพารามิเตอร์

22

ตามที่มิลเลอร์และ Freund ของความน่าจะเป็นและสถิติสำหรับวิศวกร 8ED (pp.217-218) ฟังก์ชั่นความเป็นไปได้ที่จะขยายใหญ่สุดสำหรับการกระจายทวินาม (Bernoulli ทดลอง) จะได้รับเป็น

$L(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i}$

จะมาถึงสมการนี้ได้อย่างไร ดูเหมือนว่าฉันจะค่อนข้างชัดเจนเกี่ยวกับดิสทริบิวชันอื่น ๆ ปัวซองและเกาส์;

$L(\theta) = \prod_{i=1}^n \text{PDF or PMF of dist.}$

แต่สำหรับทวินามนั้นแตกต่างกันเล็กน้อย จะตรงไปตรงมาได้อย่างไร

$nC_x~p^x(1-p)^{n-x}$

เป็น

$p^{x_i}(1-p)^{1-x_i}$

ในฟังก์ชั่นโอกาสดังกล่าวข้างต้น?

— Ébe Isaac
แหล่งที่มา

25

ในการประมาณค่าความน่าจะเป็นสูงสุดคุณพยายามเพิ่ม ; แต่การเพิ่มนี้จะเทียบเท่ากับการเพิ่มสำหรับการแก้ไขx $nC_x~p^x(1-p)^{n-x}$ $p^x(1-p)^{n-x}$ $x$

ที่จริงแล้วโอกาสที่เกาส์และปัวซองจะไม่เกี่ยวข้องกับค่าคงที่ชั้นนำของพวกเขาดังนั้นกรณีนี้ก็เป็นเช่นเดียวกับ

ที่อยู่ความคิดเห็น OPs

นี่คือรายละเอียดเพิ่มเติมเล็กน้อย:

ครั้งแรกที่เป็นรวมจำนวนความสำเร็จในขณะที่คือการทดลองเดียว (0 หรือ 1) ดังนั้น: $x$ $x_i$

\prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} = p^{\sum_{1}^{n} x_{i}} (1 - p)^{\sum_{1}^{n} 1 - x_{i}} = p^{x} (1 - p)^{n - x}

$\prod_{i=1}^np^{x_i}(1-p)^{1-x_i} = p^{\sum_1^n x_i}(1-p)^{\sum_1^n1-x_i} = p^{x}(1-p)^{n-x}$

นั่นแสดงให้เห็นว่าคุณได้รับปัจจัยในความน่าจะเป็นอย่างไร (โดยทำตามขั้นตอนข้างต้นย้อนหลัง)

ทำไมค่าคงที่หายไป? อย่างไม่เป็นทางการและสิ่งที่คนส่วนใหญ่ทำ (รวมถึงฉัน) เป็นเพียงสังเกตว่าค่าคงที่นำไม่ส่งผลกระทบต่อค่าของที่เพิ่มโอกาสในการดังนั้นเราจึงไม่สนใจมัน (ตั้งค่าได้อย่างมีประสิทธิภาพถึง 1) $p$

เราสามารถได้มาซึ่งสิ่งนี้โดยจดบันทึกของฟังก์ชันความน่าจะเป็นและค้นหาว่าอนุพันธ์ของมันอยู่ที่ไหน:

\ln (n C_{x} p^{x} (1 - p)^{n - x}) = \ln (n C_{x}) + x \ln (p) + (n - x) \ln (1 - p)

$\ln\left(nC_x~p^x(1-p)^{n-x}\right) = \ln(nC_x)+x\ln(p)+(n-x)\ln(1-p)$

ใช้อนุพันธ์ wrt และตั้งค่าเป็น : $p$ $0$

\frac{d}{d p} \ln (n C_{x}) + x \ln (p) + (n - x) \ln (1 - p) = \frac{x}{p} - \frac{n - x}{1 - p} = 0

$\frac{d}{dp}\ln(nC_x)+x\ln(p)+(n-x)\ln(1-p) = \frac{x}{p}- \frac{n-x}{1-p} = 0$

⟹ \frac{n}{x} = \frac{1}{p} ⟹ p = \frac{x}{n}

$\implies \frac{n}{x} = \frac{1}{p} \implies p = \frac{x}{n}$

ขอให้สังเกตว่าค่าคงที่นำออกจากการคำนวณ MLE

$L_1,L_2$ $L_1=kL_2$ $p$

ในระดับปฏิบัติการอนุมานโดยใช้ฟังก์ชันความน่าจะเป็นจริงขึ้นอยู่กับอัตราส่วนความน่าจะเป็นไม่ใช่ค่าสัมบูรณ์ของความน่าจะเป็น นี่คือสาเหตุที่ทฤษฎี asymptotic อัตราส่วนความน่าจะเป็น (ซึ่งเป็น asymptotically ไคสแควร์ - ภายใต้เงื่อนไขปกติบางอย่างที่มักจะเหมาะสม) การทดสอบอัตราส่วนเป็นที่ชื่นชอบเนื่องจากการNeyman เพียร์สันแทรก ดังนั้นเมื่อเราพยายามทดสอบสมมติฐานง่าย ๆ สองข้อเราจะใช้อัตราส่วนและปัจจัยนำทั่วไปจะถูกยกเลิก

หมายเหตุ: สิ่งนี้จะไม่เกิดขึ้นหากคุณเปรียบเทียบสองรุ่นที่แตกต่างกันพูดทวินามและปัวซอง ในกรณีนี้ค่าคงที่มีความสำคัญ

จากสาเหตุข้างต้นสิ่งแรก (ไม่เกี่ยวข้องกับการหา maximizer ของ L) จะตอบคำถามของคุณได้โดยตรงที่สุด

2

n C_{x}

$nC_x$

n

$n$

@ ÉbeIsaacเพิ่มรายละเอียดเพิ่มเติมบางส่วน

2

xi ในผลิตภัณฑ์หมายถึงการทดลองแต่ละครั้ง สำหรับการทดลองแต่ละครั้ง xi สามารถเป็น 0 หรือ 1 และ n เท่ากับ 1 เสมอ ดังนั้นเล็กน้อยค่าสัมประสิทธิ์ทวินามจะเท่ากับ 1 ดังนั้นในสูตรผลิตภัณฑ์สำหรับความเป็นไปได้ผลิตภัณฑ์ของสัมประสิทธิ์ทวินามจะเป็น 1 และดังนั้นจึงไม่มี nCx ในสูตร ตระหนักถึงสิ่งนี้ในขณะที่ทำมันออกมาทีละขั้นตอน :) (ขออภัยเกี่ยวกับการจัดรูปแบบไม่ได้ใช้ในการตอบด้วยการแสดงออกทางคณิตศาสตร์ในคำตอบ ... ยัง :)

— Abhishek Tiwari
แหล่งที่มา