วิธีการกำหนดโอกาสอย่างจริงจัง?

โอกาสที่สามารถกำหนดได้หลายวิธีตัวอย่างเช่น:

ฟังก์ชั่นจากซึ่งแผนที่เพื่อเช่น{R} $L$ $\Theta\times{\cal X}$ $(\theta,x)$ $L(\theta \mid x)$ $L:\Theta\times{\cal X} \rightarrow \mathbb{R}$
ฟังก์ชั่นแบบสุ่ม $L(\cdot \mid X)$
เราอาจพิจารณาได้ว่าความน่าจะเป็นเป็นเพียงโอกาส "สังเกต" $L(\cdot \mid x^{\text{obs}})$
ในทางปฏิบัติความน่าจะเป็นที่นำข้อมูลไปสู่ขึ้นอยู่กับค่าคงที่แบบ multiplicative เท่านั้นดังนั้นเราจึงสามารถพิจารณาความเป็นไปได้ว่าเป็นคลาสเทียบเท่าของฟังก์ชันแทนที่จะเป็นฟังก์ชัน $\theta$

อีกคำถามที่เกิดขึ้นเมื่อพิจารณาการเปลี่ยนแปลงของ parametrization: ถ้าเป็น parameterization ใหม่ที่เรามักจะแสดงโดยโอกาสในและนี่ไม่ใช่การประเมินฟังก์ชั่นก่อนหน้าที่แต่ในพี} นี่คือเครื่องหมายที่ไม่เหมาะสม แต่มีประโยชน์ซึ่งอาจทำให้เกิดความยุ่งยากสำหรับผู้เริ่มต้นหากไม่ได้เน้น $\phi=\theta^2$ $L(\phi \mid x)$ $\phi$ $L(\cdot \mid x)$ $\theta^2$ $\sqrt{\phi}$

คำจำกัดความที่คุณชื่นชอบอย่างเข้มงวดของความน่าจะเป็นคืออะไร?

นอกจากนี้คุณจะเรียกอย่างไร ฉันมักจะพูดว่า "ความน่าจะเป็นในเมื่อสังเกต " $L(\theta \mid x)$ $\theta$ $x$

แก้ไข: ในมุมมองของความคิดเห็นด้านล่างฉันรู้ว่าฉันควรจะมีบริบท ฉันพิจารณาแบบจำลองทางสถิติที่กำหนดโดยตระกูลพารามิเตอร์ของความหนาแน่นที่เกี่ยวกับการวัดที่มีอิทธิพลเหนือแต่ละอันที่มีกำหนดไว้ในพื้นที่สังเกตX} ดังนั้นเราจึงกำหนดและคำถามคือ "คืออะไร?" (คำถามไม่ได้เกี่ยวกับความหมายทั่วไปของความน่าจะเป็น) $\{f(\cdot \mid \theta), \theta \in \Theta\}$ $f(\cdot \mid \theta)$ ${\cal X}$ $L(\theta \mid x)=f(x \mid \theta)$ $L$

— Stéphane Laurent
แหล่งที่มา

(1) เนื่องจากสำหรับทั้งหมดฉันเชื่อว่าแม้ค่าคงที่ในจะถูกกำหนด (2) หากคุณคิดว่าพารามิเตอร์เช่นและเป็นเพียงการประสานงานเพื่อการกระจายการเปลี่ยนแปลงแล้วการเปลี่ยนแปลงของการแปรสภาพพารามิเตอร์ไม่มีความหมายทางคณิตศาสตร์ที่แท้จริง มันเป็นเพียงการเปลี่ยนคำอธิบาย (3) เจ้าของภาษาพูดภาษาอังกฤษโดยธรรมชาติจะพูดว่า "โอกาสของ " มากกว่า "เปิด" (4) ข้อ "เมื่อเป็นที่สังเกต" มีความยากลำบากปรัชญาเพราะส่วนใหญ่จะไม่ถูกตั้งข้อสังเกต ทำไมไม่เพียงแค่พูดว่า "โอกาสที่จะได้รับ

\int L (θ | x) d x = 1

$\int L(\theta|x)dx = 1$

θ

$\theta$

L

$L$

ϕ

$\phi$

θ

$\theta$

θ

$\theta$

x

$x$

x

$x$

θ

$\theta$

x

$x$ "?

— whuber

@whuber: สำหรับ (1) ฉันไม่คิดว่าค่าคงที่จะถูกกำหนดไว้อย่างดี ดูหนังสือของ ET Jaynes ที่เขาเขียนว่า: "ความน่าจะเป็นไม่ใช่ความน่าจะเป็นเพราะการทำให้เป็นมาตรฐานนั้นเป็นกฎเกณฑ์"

— Neil G

ดูเหมือนว่าคุณจะสับสนสองชนิดของการฟื้นฟูนีล: เจย์นส์หมายถึงการฟื้นฟูโดยบูรณาการมากกว่าไม่x

θ

$\theta$

x

$x$

— whuber

@ โฮเบอร์: ฉันไม่คิดว่าปัจจัยการปรับจะสำคัญสำหรับ Cramer-Rao ที่ถูกผูกไว้เนื่องจากการเปลี่ยนเพิ่มจำนวนคงที่ให้กับบันทึกความน่าจะเป็นซึ่งจะหายไปเมื่อนำอนุพันธ์บางส่วนมาใช้

k

$k$

— Neil G

ฉันเห็นด้วยกับ Neil ฉันไม่เห็นแอปพลิเคชันใดที่ค่าคงที่มีบทบาท

— Stéphane Laurent

คำตอบ:

รายการที่สามของคุณคือสิ่งที่ฉันได้เห็นบ่อยที่สุดที่ใช้เป็นคำจำกัดความที่เข้มงวด

คนอื่นก็น่าสนใจเช่นกัน (+1) โดยเฉพาะอย่างยิ่งสิ่งแรกที่น่าสนใจด้วยความยากลำบากที่ขนาดตัวอย่างที่ยังไม่ได้กำหนด (ยัง) มันยากที่จะกำหนดชุด "จาก"

สำหรับฉันแล้วสัญชาตญาณพื้นฐานของความน่าจะเป็นคือมันเป็นฟังก์ชั่นของโมเดล + พารามิเตอร์ไม่ใช่ฟังก์ชั่นของตัวแปรสุ่ม (เช่นเป็นจุดสำคัญสำหรับวัตถุประสงค์ในการสอน) ดังนั้นฉันจะยึดตามคำจำกัดความที่สาม

แหล่งที่มาของความไม่เหมาะสมของสัญกรณ์คือชุด "จาก" โอกาสที่จะเกิดขึ้นโดยปริยายซึ่งมักจะไม่ใช่กรณีสำหรับฟังก์ชั่นที่กำหนดไว้อย่างดี ที่นี่วิธีการที่เข้มงวดที่สุดคือการตระหนักว่าหลังจากการเปลี่ยนแปลงความน่าจะเป็นที่เกี่ยวข้องกับรูปแบบอื่น มันเทียบเท่ากับรุ่นแรก แต่ยังคงเป็นรุ่นอื่น ดังนั้นสัญลักษณ์ความน่าจะเป็นที่ควรแสดงรูปแบบที่อ้างถึง (ตามตัวห้อยหรืออื่น ๆ ) ฉันไม่เคยทำแน่นอน แต่สำหรับการสอนฉันอาจ

ในที่สุดเพื่อให้สอดคล้องกับคำตอบก่อนหน้าของฉันฉันพูดว่า "ความน่าจะเป็นของ " ในสูตรสุดท้ายของคุณ $\theta$

— gui11aume
แหล่งที่มา

ขอบคุณ และคุณมีคำแนะนำอย่างไรเกี่ยวกับความเสมอภาคจนถึงค่าคูณแบบคูณ?

— Stéphane Laurent

ส่วนตัวผมชอบเรียกมันเมื่อจำเป็นมากกว่ารหัสยากในคำจำกัดความ และคิดว่าสำหรับการเลือกแบบจำลอง / การเปรียบเทียบความเท่าเทียมแบบ 'up-to-a-multiplicative-constant' นี้ไม่ได้มีไว้

— gui11aume

ตกลง. คุณอาจจินตนาการได้ว่าคุณได้พูดคุยเกี่ยวกับความน่าจะเป็นและสำหรับการสังเกตสองครั้ง ในกรณีเช่นนี้คุณจะพูดว่า "ความน่าจะเป็นของเมื่อสังเกตเห็น" หรือ "ความน่าจะเป็นของสำหรับการสังเกต " หรืออย่างอื่นหรือไม่?

L (θ ∣ x_{1})

$L(\theta\mid x_1)$

L (θ ∣ x_{2})

$L(\theta\mid x_2)$

θ

$\theta$

x_{1}

$x_1$

θ

$\theta$

x_{1}

$x_1$

— Stéphane Laurent

หากคุณอีกครั้ง parametrize รูปแบบของคุณกับคุณจริงคำนวณความน่าจะเป็นองค์ประกอบของฟังก์ชั่นที่ 2 ในกรณีนี้ไปจากถึงดังนั้นชุดคำจำกัดความ (กล่าวถึงเป็น "จาก" ชุด) ของความน่าจะไม่เหมือนเดิมอีกต่อไป คุณสามารถเรียกใช้ฟังก์ชันแรกและที่สองเนื่องจากฟังก์ชั่นเหล่านี้ไม่ใช่ฟังก์ชันเดียวกัน

ϕ = θ^{2}

$\phi = \theta^2$

L (. | x) \circ g (.)

$L(.|x) \circ g(.)$

g (y) = y^{2}

$g(y) = y^2$

g

$g$

R

$R$

R^{+}

$R^+$

L_{1} (. |)

$L_1(.|)$

L_{2} (. |)

$L_2(.|)$

— gui11aume

คำจำกัดความที่สามเป็นอย่างไรอย่างเข้มงวด? และปัญหาของขนาดตัวอย่างที่ไม่ได้ถูกกำหนดไว้คืออะไร? เนื่องจากเราบอกว่าซึ่งโดยธรรมชาติแล้วการมีพีชคณิตซิกม่าที่สอดคล้องกันสำหรับพื้นที่ตัวอย่างทำไมเราจึงไม่มีคำจำกัดความคู่ขนานสำหรับความเป็นไปได้?

P (x_{1}, x_{2}, \dots, x_{n} ∣ θ)

$P(x_1, x_2, \dotsc, x_n \mid \theta)$

Ω^{n}

$\Omega^n$

— Neil G

ฉันคิดว่าฉันจะเรียกมันว่าสิ่งที่แตกต่าง ความน่าจะเป็นความหนาแน่นของความน่าจะเป็นสำหรับ x สังเกตให้ค่าของพารามิเตอร์แสดงเป็นฟังก์ชั่นของสำหรับกำหนดxฉันไม่แชร์มุมมองเกี่ยวกับค่าคงที่สัดส่วน ผมคิดว่ามีเพียงมาลงเล่นเพราะการเพิ่มฟังก์ชั่นต่อเนื่องใด ๆ ของความน่าจะช่วยให้การแก้ปัญหาเหมือนกันสำหรับθดังนั้นคุณสามารถเพิ่มสำหรับหรือฟังก์ชัน monotonic อื่น ๆ เช่นซึ่งเป็นเรื่องปกติ $θ$ $θ$ $x$ $θ$ $cL(θ∣x)$ $c>0$ $\log(L(θ∣x))$

— Michael R. Chernick
แหล่งที่มา

ไม่เพียง แต่การขยายให้ใหญ่สุด: ความเป็นสัดส่วนที่มากขึ้นยังมาพร้อมกับแนวคิดอัตราส่วนความน่าจะเป็นและในสูตร Bayes สำหรับสถิติ Bayesian

— Stéphane Laurent

ฉันคิดว่าบางคนอาจลงคะแนนคำตอบของฉัน แต่ฉันคิดว่ามันค่อนข้างสมเหตุสมผลที่จะกำหนดความน่าจะเป็นแบบนี้ว่าเป็นความน่าจะเป็นที่แน่นอนโดยไม่เรียกสิ่งที่น่าจะเป็นไปได้ @ StéphaneLaurentถึงความคิดเห็นของคุณเกี่ยวกับ Priors หากฟังก์ชั่นสามารถบูรณาการมันสามารถทำให้เป็นมาตรฐานความหนาแน่น หลังเป็นสัดส่วนกับโอกาสที่ครั้งก่อน เนื่องจากหลังต้องถูกทำให้เป็นมาตรฐานโดยการหารด้วยอินทิกรัลเราก็อาจระบุก่อนการกระจาย มันเป็นเพียงในแง่ที่ว่าสิ่งนี้ได้ถูกนำไปใช้กับนักบวชที่ไม่เหมาะสม

— Michael R. Chernick

ฉันไม่แน่ใจว่าทำไมคนจะdownvoteคำตอบนี้ ดูเหมือนว่าคุณกำลังพยายามตอบคำถามที่สองและคำถามของ OP มากกว่าคำถามแรก บางทีนั่นอาจไม่ชัดเจนสำหรับผู้อ่านคนอื่น ๆ ไชโย :)

— พระคาร์ดินัล

@Michael ฉันไม่เห็นด้วยที่จะต้องลงคะแนนคำตอบนี้ด้วย เกี่ยวกับนักบวชที่ไม่ใช่คนใหม่ (นี่คือการสนทนาอื่นและ) ฉันตั้งใจจะเปิดการอภิปรายใหม่เกี่ยวกับเรื่องนี้ ฉันจะไม่ทำเร็ว ๆ นี้เพราะฉันไม่ได้ใช้ภาษาอังกฤษง่ายและนี่เป็นเรื่องยากสำหรับฉันที่จะเขียน "ปรัชญา" มากกว่าคณิตศาสตร์

— Stéphane Laurent

@Stephane: หากคุณต้องการโปรดพิจารณาการโพสต์คำถามอื่นของคุณโดยตรงในภาษาฝรั่งเศส เรามีเจ้าของภาษาชาวฝรั่งเศสหลายคนในเว็บไซต์นี้ที่น่าจะช่วยแปลข้อความใด ๆ ที่คุณไม่แน่ใจ ซึ่งรวมถึงผู้ดำเนินรายการและเป็นบรรณาธิการของวารสารสถิติภาษาอังกฤษที่เป็นที่นิยมอันดับต้น ๆ ฉันหวังว่าจะได้คำถาม

— พระคาร์ดินัล

นี่คือความพยายามในการกำหนดทางคณิตศาสตร์ที่เข้มงวด:

ปล่อยเป็นเวกเตอร์สุ่มที่ยอมรับความหนาแน่นด้วยความเคารพต่อการวัดบนสำหรับ ,เป็นครอบครัวที่มีความหนาแน่นในด้วยความเคารพ\จากนั้นสำหรับเราจะกำหนดฟังก์ชันความน่าจะเป็นให้เป็น ; เพื่อความชัดเจนสำหรับแต่ละเรามีR ใคร ๆ ก็คิดว่าเป็นศักยภาพที่เฉพาะเจาะจง $X: \Omega \to \mathbb R^n$ $f(x | \theta_0)$ $\nu$ $\mathbb R^n$ $\theta \in \Theta$ $\{f(x|\theta): \theta \in \Theta\}$ $\mathbb R^n$ $\nu$ $x \in \mathbb R^n$ $L(\theta | x)$ $f(x | \theta)$ $x$ $L_x : \Theta \to \mathbb R$ $x$ $x_{obs}$ และเป็นมูลค่า "จริง" ของ\ $\theta_0$ $\theta$

ข้อสังเกตสองประการเกี่ยวกับคำนิยามนี้:

ความหมายก็เพียงพอที่แข็งแกร่งที่จะไม่ต่อเนื่องจับอย่างต่อเนื่องและทุกประเภทอื่น ๆ ของครอบครัวของการกระจายสำหรับX $X$
เรากำลังกำหนดโอกาสที่ระดับความหนาแน่นของฟังก์ชั่นแทนที่จะเป็นที่ระดับความน่าจะเป็น / การแจกแจงความน่าจะเป็น เหตุผลของเรื่องนี้ก็คือความหนาแน่นไม่ซ้ำกันและปรากฎว่านี่ไม่ใช่สถานการณ์ที่เราสามารถส่งผ่านความหนาแน่นของความหนาแน่นเท่ากันและยังปลอดภัย: ตัวเลือกความหนาแน่นที่แตกต่างกันนำไปสู่ความหนาแน่นของ MLE ที่แตกต่างกัน อย่างไรก็ตามในกรณีส่วนใหญ่มีทางเลือกตามธรรมชาติของครอบครัวของความหนาแน่นที่เป็นที่ต้องการในทางทฤษฎี
ฉันชอบคำจำกัดความนี้เพราะมันรวมเอาตัวแปรสุ่มที่เราทำงานด้วยลงไปและด้วยการออกแบบเนื่องจากเราต้องกำหนดการกระจายพวกเขาเรายังได้สร้างอย่างจริงจังในแนวคิดของค่า "จริง แต่ไม่ทราบ" ของที่นี่ แสดง\สำหรับฉันในฐานะนักเรียนความท้าทายของการเข้มงวดเกี่ยวกับความน่าจะเป็นคือวิธีการกระทบยอดแนวคิดโลกแห่งความจริงของ "จริง"และ "สังเกต"กับคณิตศาสตร์เสมอ สิ่งนี้มักจะไม่ได้รับความช่วยเหลือจากผู้สอนที่อ้างว่าแนวคิดเหล่านี้ไม่เป็นทางการ แต่จากนั้นจึงหันมาใช้อย่างเป็นทางการเมื่อพิสูจน์สิ่งต่าง ๆ ! ดังนั้นเราจัดการกับพวกเขาอย่างเป็นทางการในคำจำกัดความนี้ $\theta$ $\theta_0$ $\theta$ $x_{obs}$
แก้ไข:แน่นอนเรามีอิสระที่จะพิจารณาองค์ประกอบสุ่มตามปกติ ,และและภายใต้คำจำกัดความนี้โดยไม่มีปัญหาจริงกับความเข้มงวดในฐานะ ตราบใดที่คุณระมัดระวัง (หรือแม้ว่าคุณจะไม่ได้หากระดับความรุนแรงนั้นไม่สำคัญสำหรับคุณ) $L(\theta | X)$ $S(\theta | X)$ $\mathcal I(\theta | X)$

— ผู้ชาย
แหล่งที่มา

@ ซีอาน Letจะเหมือนกันในtheta) พิจารณาสองหนาแน่นเมื่อเทียบกับtheta] ทั้งและเป็นความหนาแน่นที่ถูกต้องสำหรับแต่ภายใต้ MLE มีอยู่และเท่ากับขณะที่ต่ำกว่าขณะที่เรามีดังนั้น ถ้าคุณตั้งค่าคุณจะมีโอกาสเป็นและที่จริงแล้ว MLE นั้นไม่มีอยู่จริงเพราะ

X_{1}, . . ., X_{n}

$X_1, ..., X_n$

(0, θ)

$(0, \theta)$

f_{1} (x) = θ^{- 1} I [0 < x < θ]

$f_1 (x) = \theta^{-1} I[0 < x < \theta]$

f_{2} (x) = θ^{- 1} I [0 \leq x \leq θ]

$f_2 (x) = \theta^{-1} I[0 \le x \le \theta]$

f_{1}

$f_1$

f_{2}

$f_2$

U (0, θ)

$\mathcal U(0, \theta)$

f_{2}

$f_2$

max X_{i}

$\max X_i$

f_{1}

$f_1$

\prod_{j} f_{1} (x_{j} | max x_{i}) = 0

$\prod _j f_1 (x_j| \max x_i) = 0$

\hat{θ} = max X_{i}

$\hat \theta = \max X_i$

0

$0$

sup_{θ} \prod_{j} f_{1} (x | θ)

$\sup _\theta \prod _j f_1(x | \theta)$ ไม่ได้บรรลุสำหรับการใด ๆ\

θ

$\theta$

— ผู้ชาย

@guy: ขอบคุณฉันไม่รู้เกี่ยวกับตัวอย่างเคาน์เตอร์ที่น่าสนใจนี้

— ซีอาน

@guy คุณพูดว่าไม่ได้รับการตอบสนองใด ๆอย่างไรก็ตาม supremum นี้บรรลุบางจุดตามที่ฉันแสดงด้านล่าง: ที่\} ฉันกำลังสมมติว่าสำหรับทุก n มันง่ายที่จะเห็นว่า 1ถ้า ; 2.ถ้า<\ ต่อเนื่อง ...

sup_{θ} \prod_{j} f_{1} (x_{j} | θ)

$\sup_\theta \prod_j f_1(x_j| \theta)$

θ

$\theta$

L_{1} (θ; x) = \prod_{j = 1}^{n} f_{1} (x_{j} | θ) = θ^{- n} \prod_{j = 1}^{n} I (0 < x_{j} < θ) = θ^{- n} I (0 < M < θ),

$L_1(\theta;x) = \prod_{j=1}^n f_1(x_j|\theta) = \theta^{-n} \prod_{j=1}^n I\big(0 < x_j < \theta\big) = \theta^{-n}I\big(0< M < \theta\big),$

M = max {x_{1}, \dots, x_{n}}

$M = \max \{x_1, \ldots, x_n\}$

x_{j} > 0

$x_j > 0$

j = 1, \dots, n

$j=1,\ldots,n$

L_{1} (θ; x) = 0

$L_1(\theta;x) = 0$

0 < θ \leq M

$0<\theta \leq M$

L_{1} (θ; x) = θ^{- n}

$L_1(\theta;x) = \theta^{-n}$

M < θ < \infty

$M < \theta < \infty$

— Alexandre Patriota

@guy: อย่างต่อเนื่อง ... นั่นคือสำหรับทุกinfty) เราไม่มีค่าสูงสุด แต่มี supremum อยู่และให้โดยและอาร์กิวเมนต์คือ บางทีอาจไม่ได้ใช้ asymptotics ปกติที่นี่และควรมีการจ้างโทลเวย์อื่น ๆ แต่จำนวนสูงสุดของมีอยู่หรือฉันพลาดแนวคิดพื้นฐานบางอย่าง

L_{1} (θ; x) \in [0, M^{- n}),

$L_1(\theta;x) \in \big[0,M^{-n}\big),$

θ \in (0, \infty)

$\theta \in (0,\infty)$

sup_{θ \in (0, \infty)} L_{1} (θ, x) = M^{- n}

$\sup_{\theta \in (0,\infty)} L_1(\theta, x) = M^{-n}$

M = \arg sup_{θ \in (0, \infty)} L_{1} (θ; x) .

$M = \arg\sup_{\theta \in (0,\infty)} L_1(\theta;x).$

L_{1} (θ; x)

$L_1(\theta;x)$

— Alexandre Patriota

@AlexandrePatriota supremum มีอยู่อย่างชัดเจน แต่ไม่สามารถบรรลุได้โดยฟังก์ชั่น ผมไม่แน่ใจว่าสิ่งที่สัญกรณ์ควรจะหมายถึง - มีข้อโต้แย้งของไม่มีซึ่งผลตอบแทนถัวเฉลี่ยเพราะ0 MLE ถูกกำหนดให้เป็นซึ่งได้รับ (โดยทั่วไป) และไม่มีบรรลุถึงที่นี่ เห็นได้ชัดว่ามีวิธีรอบมัน - asymptotics ที่เราอุทธรณ์ไปยังต้องการให้มีอยู่โอกาสที่มีคุณสมบัติดังกล่าวและและมีไม่ มันเป็นเพียงมากกว่าL_1

\arg sup

$\arg \sup$

L_{1} (θ; x)

$L_1(\theta; x)$

sup

$\sup$

L_{1} (θ; M) = 0

$L_1(\theta; M) = 0$

\hat{θ}

$\hat \theta$

sup

$\sup$

\hat{θ}

$\hat \theta$

sup

$\sup$

L_{2}

$L_2$

L_{1}

$L_1$

— ผู้ชาย