เหตุผลที่ฟังก์ชั่นความน่าจะเป็นไม่ใช่ pdf คืออะไร?

57

เหตุผลที่ฟังก์ชันความน่าจะเป็นไม่ใช่ pdf (ฟังก์ชันความหนาแน่นของความน่าจะเป็น) คืออะไร

likelihood pdf

6

ฟังก์ชั่นความน่าจะเป็นหน้าที่ของพารามิเตอร์ที่ไม่รู้จัก

θ

$\theta$ (ปรับอากาศในข้อมูล) เช่นนี้โดยทั่วไปจะไม่มีพื้นที่ 1 (เช่นอินทิกรัลเหนือค่าที่เป็นไปได้ทั้งหมดของ

θ

$\theta$ ไม่ใช่ 1) ดังนั้นจึงเป็นคำจำกัดความไม่ใช่ pdf

— MånsT

3

คำถามเดียวกันกับ MO 2 ปีที่แล้ว: mathoverflow.net/questions/10971/…

— Douglas Zare

3

การอ้างอิงที่น่าสนใจ @Douglas คำตอบค่อนข้างน่าพอใจ IMHO คนที่ยอมรับถือว่าสิ่งที่ไม่เป็นความจริง ("ทั้ง

และ

เป็นไฟล์ PDF": ไม่ !) และคนอื่น ๆ ไม่เข้าใจประเด็นทางสถิติ

p (X | m)

$p(X|m)$

p (m | X)

$p(m|X)$

— whuber

2

+1 whuber น่าประหลาดใจที่มีคำตอบที่ไม่ดีในไซต์ mathoverflow ทั้งๆที่ระดับทางคณิตศาสตร์สูงมาก!

— Stéphane Laurent

1

@ สเตฟาน: นี่เป็นเรื่องจริง แต่นักสถิติและผู้ที่น่าจะเป็นไปได้ดูเหมือนจะค่อนข้างน้อยและอยู่ในระหว่าง MO โดยมีข้อยกเว้นที่น่าสังเกต คำถามนั้นมาจากการมีอยู่ของ MO ค่อนข้างเร็วเมื่อทั้งคำถามทั่วไปที่ยอมรับได้และคุณภาพของคำตอบนั้นแตกต่างกันอย่างมาก

— พระคาร์ดินัล

61

เราจะเริ่มด้วยคำจำกัดความสองประการ:

หนาแน่นเป็นฟังก์ชัน (PDF)เป็นฟังก์ชั่นที่ไม่ใช่เชิงลบที่บูรณาการ1 $1$
โอกาสถูกกำหนดเป็นความหนาแน่นร่วมของข้อมูลที่สังเกตได้เป็นฟังก์ชั่นของพารามิเตอร์ แต่ดังที่การอ้างอิงถึง Lehmann ที่สร้างโดย @whuber ในความคิดเห็นด้านล่างฟังก์ชันความน่าจะเป็นเป็นฟังก์ชันของพารามิเตอร์เท่านั้นโดยข้อมูลที่จัดขึ้นเป็นค่าคงที่คงที่ ดังนั้นความจริงที่ว่ามันเป็นความหนาแน่นของฟังก์ชั่นของข้อมูลที่ไม่เกี่ยวข้อง

ดังนั้นฟังก์ชั่นความน่าจะเป็นไม่ใช่ pdf เพราะอินทิกรัลที่เกี่ยวกับพารามิเตอร์นั้นไม่จำเป็นต้องเท่ากับ 1 (และอาจไม่สามารถบูรณาการได้เลยจริงๆแล้วตามที่ระบุโดยความคิดเห็นอื่นจาก @whuber)

หากต้องการดูสิ่งนี้เราจะใช้ตัวอย่างง่ายๆ สมมติว่าคุณมีการสังเกตเดียวจากกระจาย แล้วฟังก์ชันความน่าจะเป็นคือ $x$ ${\rm Bernoulli}(\theta)$

L (θ) = θ^{x} (1 - θ)^{1 - x}

$L(\theta) = \theta^{x} (1 - \theta)^{1-x}$

มันเป็นความจริงที่ว่า 2โดยเฉพาะถ้าแล้วดังนั้น $\int_{0}^{1} L(\theta) d \theta = 1/2$ $x = 1$ $L(\theta) = \theta$

\int_{0}^{1} L (θ) d θ = \int_{0}^{1} θ d θ = 1 / 2

$\int_{0}^{1} L(\theta) d \theta = \int_{0}^{1} \theta \ d \theta = 1/2$

และการคำนวณที่คล้ายกันใช้เมื่อ 0ดังนั้นไม่สามารถใช้เป็นฟังก์ชันความหนาแน่นได้ $x = 0$ $L(\theta)$

บางทีอาจมีความสำคัญมากกว่าตัวอย่างทางเทคนิคนี้ที่แสดงว่าโอกาสที่จะไม่ได้เป็นความหนาแน่นของความน่าจะเป็นคือการชี้ให้เห็นว่าโอกาสที่ไม่ใช่ความน่าจะเป็นของค่าพารามิเตอร์ที่ถูกต้องหรือสิ่งใดก็ตาม - ความน่าจะเป็น (ความหนาแน่น) ของข้อมูล กำหนดค่าพารามิเตอร์ซึ่งเป็นสิ่งที่แตกต่างอย่างสิ้นเชิง ดังนั้นจึงไม่ควรคาดหวังว่าฟังก์ชันความน่าจะเป็นจะทำงานเหมือนความหนาแน่นของความน่าจะเป็น

— มาโคร
แหล่งที่มา

12

+1 จุดที่ละเอียดอ่อนคือแม้กระทั่งการปรากฏตัวของ "

" ในอินทิกรัลก็ไม่ได้เป็นส่วนหนึ่งของฟังก์ชั่นความน่าจะเป็น มันมาจากที่ไหนเลย ในหลาย ๆ วิธีที่จะเห็นสิ่งนี้ให้พิจารณาว่าการแก้ไขใหม่จะไม่เปลี่ยนแปลงสิ่งที่จำเป็นเกี่ยวกับความเป็นไปได้ - มันเป็นเพียงการเปลี่ยนชื่อของพารามิเตอร์ - แต่จะเปลี่ยนอินทิกรัล ตัวอย่างเช่นถ้าเรากำหนดพารามิเตอร์การแจกแจงเบอร์นูลลีด้วยอัตราต่อรองบันทึก

ดังนั้นอินทิกรัลจะไม่มาบรรจบกัน

d θ

$d\theta$

ψ = \log (θ / (1 - θ))

$\psi=\log(\theta/(1-\theta))$

— whuber

3

นั่นเป็นวิธีหนึ่งที่จะกล่าวได้: MLE นั้นไม่แปรเปลี่ยนภายใต้การแปลงเสียงเดียวแต่ความหนาแน่นของความน่าจะเป็นไม่ได้เป็น QED! นี่เป็นข้อโต้แย้งของฟิชเชอร์ซึ่งฉันได้แสดงความคิดเห็นต่อคำตอบของ @Michael Chernick

— whuber

4

+1 สำหรับความคิดเห็นของ whuber "

" ไม่มีความรู้สึกโดยทั่วไปเพราะไม่มีแม้แต่

-field ในพื้นที่พารามิเตอร์!

d θ

$d\theta$

σ

$\sigma$

— Stéphane Laurent

1

@PatrickCaldon ข้อ จำกัด เรื่องความต่อเนื่องเพียงอย่างเดียวคือใน cdf ซึ่งต้องการความต่อเนื่องที่เหมาะสม คุณต้องการสิ่งนี้ความน่าจะเป็นของคุณจะไม่เปลี่ยนจากถูกกำหนดเป็นไม่ได้กำหนดและ (อาจ) กลับมาอีกครั้งซึ่งจะแปลก ฉันไม่แน่ใจ 100% แต่ฉันคิดว่าตราบใดที่คุณมี CDF ของคุณและดังนั้นความน่าจะเป็นคุณไม่ได้จะต้องมีความสามารถที่จะแก้

ฉ

หากคุณสามารถมั่นใจได้ว่า RV นั้นต่อเนื่อง

\int_{D} f

$\int_D f$

— Joey

1

(+1) ให้ฉันเป็นคนแรกที่แสดงความยินดีกับคุณที่ถึง 10K ตัวแทน! คำตอบที่ดี; ฉันชอบตัวอย่างที่คุณให้โดยเฉพาะ ไชโย :)

— สำคัญ

2

$θ$

— Michael Chernick
แหล่งที่มา

3

ดังนั้นคุณเพียงแค่ชี้ให้เห็นว่าความน่าจะเป็นนั้นสามารถรวมเข้ากับพารามิเตอร์ได้ (นั่นเป็นเรื่องจริงเสมอหรือ?) ฉันคิดว่าคุณอาจจะยิ่งทำให้ความสัมพันธ์ของความน่าจะเป็นกับการกระจายหลังเมื่อใช้แบนก่อน แต่ไม่มีคำอธิบายเพิ่มเติมคำตอบนี้ยังคงลึกลับสำหรับฉัน

— มาโคร

6

L (θ)

$L(\theta)$

p (θ)

$p(\theta)$

\int L (θ) p (θ) d θ = 1

$\int L(\theta)p(\theta)d\theta=1$

p

$p$ ที่ทำงาน "... ความน่าจะเป็นคำที่ใช้อย่างผิด ๆ ในการเชื่อมต่อ: ความน่าจะเป็นคืออัตราส่วนของความถี่และเกี่ยวกับความถี่ของค่าดังกล่าวเราไม่สามารถรู้อะไรเลย"

— whuber

1

$\theta$

2

θ

$\theta$

θ

$\theta$

4

f (x_{1}, θ) \dots f (x_{n}, θ)

$f(x_1,\theta)\cdots f(x_n,\theta)$

x

$x$

θ

$\theta$

— whuber

1

ฉันไม่ใช่นักสถิติ แต่ความเข้าใจของฉันคือในขณะที่ฟังก์ชั่นความเป็นไปได้นั้นไม่ใช่ PDF ที่เกี่ยวข้องกับพารามิเตอร์ แต่เกี่ยวข้องโดยตรงกับ PDF โดย Bayes Rule ฟังก์ชันความน่าจะเป็น, P (X | theta), และการแจกแจงหลัง, f (theta | X), มีการเชื่อมโยงอย่างแน่นหนา; ไม่ใช่ "สิ่งที่แตกต่างอย่างสิ้นเชิง" เลย

— แซน
แหล่งที่มา

1

ยินดีต้อนรับสู่เว็บไซต์ของเรา! คุณอาจพบเนื้อหาที่น่าสนใจในความคิดเห็นต่อคำตอบอื่น ๆ ในหัวข้อนี้ บางคนชี้ให้เห็นว่าทำไมกฎของเบย์จึงไม่สามารถใช้งานได้เว้นแต่จะมีการแนะนำเครื่องจักรทางคณิตศาสตร์เพิ่มเติมอย่างชัดเจน (เช่นฟิลด์ซิกมาสำหรับพารามิเตอร์)

— whuber

ขอบคุณ @whuber ฉันไม่ได้สังเกตการอ้างอิงใด ๆ ถึงกฎของเบย์ที่อื่นในหัวข้อ แต่ฉันคิดว่ามีการพาดพิงถึงความคิดเห็นโดยสมมติว่ามีใครพูดได้พอสมควรในความเป็นไปได้ในระดับบัณฑิตศึกษาที่จะรับพวกเขา คุณจะไม่เห็นด้วยหรือไม่ว่าการวางฟังก์ชั่นความน่าจะเป็นในบริบทของกฎของเบย์นั้นให้สัญชาติญาณที่เป็นประโยชน์สำหรับคำถามของ OP หรือไม่?

— santayana

θ

$\theta$

θ

$\theta$

ฉันขอโทษเมื่อเห็นอย่างรวดเร็วครั้งแรกที่ด้ายดูเหมือนจะมีจำนวนมากกว่าความเข้าใจผิดเล็กน้อย แต่ตอนนี้ฉันเห็นความคิดเห็นที่เกี่ยวข้องที่คุณอ้างถึงโดยเฉพาะอย่างยิ่งคำพูดของคุณฟิชเชอร์ แต่สิ่งนี้ไม่ได้เกิดขึ้นกับการถกเถียงแบบเบย์แบบวีบ่อยครั้งหรือไม่? มีผู้ประกอบการจำนวนมากในการอนุมานแบบเบย์ที่จะโต้แย้งในความโปรดปรานของการกระจายความน่าจะเป็นสำหรับทีต้าหรือไม่? (ไม่ว่าคุณจะเห็นด้วยกับพวกเขาเป็นอีกเรื่องหนึ่ง ... )

— santayana

1

θ

$\theta$

1

$\mathcal{L}(\theta; x_1,...,x_n) = f(x_1,...,x_n; \theta)$

$\mathcal{L}(\theta; x_1,...,x_n) = f(x_1,...,x_n; \theta) = \prod_{j} f(x_j; \theta)$

ลองดูรูปแบบดั้งเดิม:

$f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$ $\hat{\mathcal{L}} = \frac{posterior * evidence}{prior}$ $\hat{\mathcal{L}}$ $\mathcal{L}$ $\mathcal{L}$ $\hat{\mathcal{L}}$

ตัวอย่างเช่นฉันไม่ทราบค่าเฉลี่ยและความแปรปรวนมาตรฐานของการแจกแจงแบบเกาส์และต้องการให้พวกเขาได้รับการฝึกอบรมโดยใช้ตัวอย่างจำนวนมากจากการแจกแจงแบบนั้น ฉันเริ่มต้นค่าเฉลี่ยและความแปรปรวนมาตรฐานแบบสุ่ม (ซึ่งกำหนดการแจกแจงแบบเกาส์) จากนั้นฉันใช้ตัวอย่างหนึ่งตัวอย่างและปรับให้เหมาะกับการแจกแจงโดยประมาณและฉันสามารถรับความน่าจะเป็นจากการแจกแจงโดยประมาณ จากนั้นฉันก็ใส่ตัวอย่างต่อไปและรับความน่าจะเป็นจำนวนมากจากนั้นฉันก็คูณความน่าจะเป็นเหล่านี้และได้รับคะแนน คะแนนประเภทนี้น่าจะเป็น มันอาจจะเป็นความน่าจะเป็นของ PDF ที่แน่นอน

— เลิร์นเนอจาง
แหล่งที่มา