“ ความน่าจะเป็นถูกนิยามไว้ในค่าคงที่หลายหลากของสัดส่วนเท่านั้น” หมายถึงในทางปฏิบัติอย่างไร

ฉันกำลังอ่านบทความที่ผู้เขียนนำมาจากการอภิปรายเกี่ยวกับการประเมินความเป็นไปได้สูงสุดถึงทฤษฎีบทของเบย์ซึ่งดูเหมือนจะเป็นบทนำสำหรับผู้เริ่มต้น

ตัวอย่างเช่นพวกเขาเริ่มต้นด้วยการแจกแจงทวินาม:

$$p(x|n,\theta) = \binom{n}{x}\theta^x(1-\theta)^{n-x}$$

จากนั้นเข้าสู่ระบบทั้งสองด้าน

$$\ell(\theta|x, n) = x \ln (\theta) + (n-x)\ln (1-\theta)$$

ด้วยเหตุผลที่:

"เพราะความเป็นไปได้นั้นถูกกำหนดให้มีค่าคงที่แบบทวีคูณของสัดส่วนเท่านั้น (หรือค่าคงที่แบบเพิ่มสำหรับบันทึกความน่าจะเป็น) เราสามารถลด ... โดยการลดค่าสัมประสิทธิ์ทวินามและเขียนบันทึกความน่าจะเป็นแทนความน่าจะเป็น"

คณิตศาสตร์ทำให้รู้สึก แต่ฉันไม่สามารถเข้าใจสิ่งที่หมายโดย "ความน่าจะมีการกำหนดเท่านั้นถึงคงคูณสัดส่วน" และวิธีการนี้จะช่วยให้ลดลงค่าสัมประสิทธิ์ทวินามและไปจาก$p(x|n,\theta)$เพื่อ$\ell(\theta|x,n)$n)

คำศัพท์ที่คล้ายกันเกิดขึ้นในคำถามอื่น ๆ ( ที่นี่และที่นี่ ) แต่ก็ยังไม่ชัดเจนว่าในทางปฏิบัติความน่าจะเป็นที่ถูกกำหนดหรือนำข้อมูลไปสู่ค่าคงที่แบบคูณ เป็นไปได้ไหมที่จะอธิบายเรื่องนี้ในแง่ของคนธรรมดา?

ประเด็นก็คือในบางครั้งโมเดลที่แตกต่างกัน (สำหรับข้อมูลเดียวกัน) สามารถนำไปสู่ฟังก์ชั่นความน่าจะเป็นซึ่งแตกต่างกันโดยค่าคงที่การคูณ แต่เนื้อหาข้อมูลจะต้องเหมือนกันอย่างชัดเจน ตัวอย่าง:

เราจำลองทดลอง Bernoulli อิสระที่นำไปสู่ข้อมูลแต่ละคนมีการกระจาย Bernoulli ด้วย (น่าจะ) พารามิเตอร์พีสิ่งนี้นำไปสู่ฟังก์ชั่นความน่าจะเป็น หรือเราสามารถสรุปข้อมูลโดยตัวแปรกระจายแบบทวินามซึ่งมีการแจกแจงทวินามนำไปสู่ฟังก์ชั่นโอกาส ซึ่งเป็นหน้าที่ของพารามิเตอร์ที่ไม่รู้จักเป็นสัดส่วนกับอดีตหน้าที่ฟังก์ชั่นโอกาส . ฟังก์ชั่นความน่าจะเป็นสองอย่างชัดเจนมีข้อมูลเดียวกันและควรนำไปสู่การอนุมานแบบเดียวกัน!$n$$X_1, \dots, X_n$$p$

$$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}$$ $Y=X_1+X_2+\dotsm+X_n$ $$\binom{n}{y} p^y (1-p)^{n-y}$$ $p$

และแน่นอนโดยนิยามแล้วพวกมันถูกพิจารณาว่าเป็นฟังก์ชันความน่าจะเป็นแบบเดียวกัน

มุมมองอื่น: สังเกตว่าเมื่อฟังก์ชั่นความน่าจะเป็นถูกใช้ในทฤษฎีบทของเบย์ซึ่งจำเป็นสำหรับการวิเคราะห์แบบเบย์ ดังนั้นพวกมันจึงไม่เกี่ยวข้องกับการอนุมานแบบเบย์อย่างชัดเจน ในทำนองเดียวกันมันจะยกเลิกเมื่อคำนวณอัตราส่วนความน่าจะเป็นที่ใช้ในการทดสอบสมมติฐานที่ดีที่สุด (Neyman-Pearson บทแทรก) และจะไม่มีผลต่อค่าของตัวประมาณความน่าจะเป็นสูงสุด ดังนั้นเราจะเห็นได้ว่าในการอนุมานบ่อยครั้งมันไม่สามารถมีบทบาทได้

เราสามารถโต้แย้งได้จากมุมมองอื่น ฟังก์ชันความน่าจะเป็นของ Bernoulli (ต่อจากนี้เราจะใช้คำว่า "ความหนาแน่น") ข้างต้นเป็นความหนาแน่นจริง ๆ ที่เกี่ยวกับการนับการวัดนั่นคือการวัดจำนวนเต็มที่ไม่เป็นลบที่มีจำนวนหนึ่งสำหรับแต่ละจำนวนที่ไม่เป็นลบ แต่เราสามารถนิยามความหนาแน่นด้วยความเคารพต่อมาตรการอื่นที่มีอำนาจเหนือกว่า ในตัวอย่างนี้สิ่งนี้จะดูเหมือน (และ) เทียม แต่ในช่องว่างขนาดใหญ่ (ฟังก์ชั่นช่องว่าง) มันเป็นพื้นฐานจริงๆ! ให้เราใช้ภาพประกอบเพื่อการแจกแจงเชิงเรขาคณิตโดยเฉพาะเขียน , กับ , ,และ เป็นต้น จากนั้นความหนาแน่นของการกระจาย Bernoulli ด้วยความเคารพ$\lambda$$\lambda(0)=1/2$$\lambda(1)=1/4$$\lambda(2)=1/8$$\lambda$ฉλ ( x ) = P x ( 1 - P ) 1 - x ⋅ 2 x + 1 P ( X = x ) = ฉλ ( x ) ⋅ λมอบให้โดย หมายความว่า เมื่อมีสิ่งใหม่นี้มีอำนาจเหนือการวัดฟังก์ชั่นความน่าจะเป็น (ที่มีเครื่องหมายจากด้านบน) ทราบปัจจัยพิเศษn} ดังนั้นเมื่อเปลี่ยนการวัดการปกครองที่ใช้ในการกำหนดฟังก์ชั่นความน่าจะเป็นเกิดค่าคงที่การคูณใหม่ซึ่งไม่ขึ้นอยู่กับพารามิเตอร์ที่ไม่รู้จัก

$$f_{\lambda}(x) = p^x (1-p)^{1-x}\cdot 2^{x+1}$$ $$P(X=x)= f_\lambda(x) \cdot \lambda(x)$$ $$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} 2^{x_i+1} = p^y (1-p)^{n-y} 2^{y+n}$$ $2^{y+n}$$p$และไม่เกี่ยวข้องอย่างชัดเจน นั่นคือวิธีอื่นในการดูว่าค่าคงที่แบบหลายค่าต้องไม่เกี่ยวข้องกันอย่างไร อาร์กิวเมนต์นี้สามารถวางนัยได้โดยใช้อนุพันธ์ Radon-Nikodym (เนื่องจากอาร์กิวเมนต์ด้านบนเป็นตัวอย่างของ)

โดยทั่วไปหมายความว่าเฉพาะค่าสัมพัทธ์ของ PDF เท่านั้น ตัวอย่างเช่น PDF มาตรฐานแบบปกติ (เกาส์เซียน) คือ:หนังสือของคุณบอกว่าพวกเขาสามารถใช้แทนเพราะพวกเขาไม่ได้ดูแลขนาดคือปี่}}f ( x ) = 1√2 πอี-x2/2กรัม(x)=อี-x2/2C=$f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$$g(x)=e^{-x^2/2}$$c=\frac{1}{\sqrt{2\pi}}$

สิ่งนี้เกิดขึ้นเพราะพวกเขาเพิ่มฟังก์ชั่นความน่าจะเป็นสูงสุดและและจะมีค่าสูงสุดเท่ากัน ดังนั้นสูงสุดของจะเป็นเช่นเดียวกับของ(x) ดังนั้นพวกเขาไม่ได้กังวลเกี่ยวกับขนาดค⋅ กรัม( x ) กรัม( x ) E - x 2 / 2 F ( x $c\cdot g(x)$$g(x)$$e^{-x^2/2}$$f(x)$

ฉันไม่สามารถอธิบายความหมายของคำพูดได้ แต่สำหรับการประเมินความเป็นไปได้สูงสุดมันไม่สำคัญว่าเราเลือกที่จะค้นหาฟังก์ชันความน่าจะเป็นสูงสุด (ถือเป็นหน้าที่ของหรือ สูงสุดของ โดยที่เป็นค่าคงที่นี่เป็นเพราะเราไม่สนใจค่าสูงสุดของ แต่ให้ค่า โดยที่ค่าสูงสุดนี้เกิดขึ้นและทั้ง และบรรลุค่าสูงสุดที่ L ( x ; θ ) θ L ( x ; θ ) L ( x ; θ ) θ ML L ( x ; θ ) L ( x ; θ ) θ MLกรัม( ⋅ ) L ( x ; θ ) กรัม( L ( x ; θ ) ) θ ML a $L(\mathbf x; \theta)$$\theta$$aL(\mathbf x; \theta)$$a$$L(\mathbf x; \theta)$$\theta_{\text{ML}}$$L(\mathbf x; \theta)$$aL(\mathbf x; \theta)$$\theta_{\text{ML}}$. ดังนั้นค่าคงที่แบบหลายค่าสามารถถูกละเว้นได้ ในทำนองเดียวกันเราสามารถเลือกพิจารณาฟังก์ชัน monotone ใด ๆ (เช่นลอการิทึม) ของฟังก์ชันความน่าจะเป็นกำหนดค่าสูงสุดของและสรุปค่าของ จากสิ่งนี้ สำหรับลอการิทึมค่าคงที่ทวีคูณ จะกลายเป็นค่าคงที่เพิ่มเติมและสิ่งนี้ก็สามารถถูกเพิกเฉยได้ในกระบวนการค้นหาตำแหน่งสูงสุด: เป็น maximized ที่จุดเดียวกับtheta)$g(\cdot)$$L(\mathbf x; \theta)$$g(L(\mathbf x;\theta))$$\theta_{\text{ML}}$$a$$\ln(a)$$\ln(a)+\ln(L(\mathbf x; \theta)$$\ln(L(\mathbf x; \theta)$

การประมาณความน่าจะเป็นหลังสุด (MAP), ถูกมองว่าเป็นความเข้าใจของตัวแปรสุ่มด้วย ฟังก์ชันความหนาแน่นนิรนัยข้อมูลถูกมองว่าเป็นสำนึกของ ตัวแปรสุ่มและฟังก์ชั่นความน่าจะถือเป็นค่าของความหนาแน่น ตาม เงื่อนไข ของเงื่อนไขบน ; กล่าวว่าฟังก์ชั่นความหนาแน่นตามเงื่อนไขได้รับการประเมินที่$\theta$$\Theta$$f_{\Theta}(\theta)$$\mathbf x$$\mathbf X$$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$\mathbf X$$\Theta = \theta$$\mathbf x$x ความหนาแน่นหลังของคือ ซึ่งเรารู้จักตัวเศษเป็นความหนาแน่นร่วมของข้อมูลและพารามิเตอร์ที่ประมาณ จุดโดยที่ บรรลุถึงค่าสูงสุดของมันคือการประมาณค่า MAP ของและใช้อาร์กิวเมนต์เดียวกับ ในย่อหน้าเราจะเห็นว่าเราสามารถละเว้นทางด้านขวาของ$\Theta$

$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x) = \frac{f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)f_\Theta(\theta)}{f_{\mathbf X}(\mathbf x)} \tag{1}$$ $f_{\mathbf X, \Theta}(\mathbf x, \theta)$$\theta_{\text{MAP}}$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x)$$\theta$$[f_{\mathbf X}(\mathbf x)]^{-1}$$(1)$เป็นค่าคงที่คูณเดียวกับที่เราสามารถละเว้นคงคูณในทั้ง และใน theta) ในทำนองเดียวกันเมื่อมีการใช้ความน่าจะเป็นบันทึกเราสามารถละเว้นค่าคงที่เพิ่มเติมได้$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$f_\Theta(\theta)$

ในแง่ของคนธรรมดาคุณมักจะมองหาโอกาสสูงสุดและและแบ่งปันจุดวิกฤติเดียวกัน$f(x)$$kf(x)$

ฉันจะแนะนำไม่ให้ตกจากสายตาคำคงที่ใด ๆ ในฟังก์ชั่นโอกาส (เช่นคำที่ไม่รวมถึงพารามิเตอร์) ในสถานการณ์ปกติพวกเขาจะไม่ส่งผลกระทบต่อของความน่าจะเป็นดังที่กล่าวไปแล้ว แต่: $\text {argmax}$

อาจมีสถานการณ์ที่ผิดปกติเมื่อคุณจะต้องเพิ่มโอกาสในการเพิ่มเพดาน - และจากนั้นคุณควร "จำ" เพื่อรวมค่าคงที่ใด ๆ ในการคำนวณค่าของมัน

นอกจากนี้คุณอาจทำการทดสอบการเลือกแบบจำลองสำหรับแบบจำลองที่ไม่ซ้อนกันโดยใช้ค่าความน่าจะเป็นในกระบวนการ - และเนื่องจากแบบจำลองไม่ซ้อนกันโอกาสสองแบบจะมีค่าคงที่ที่แตกต่างกัน

นอกเหนือจากนี้ประโยค

"เนื่องจากความเป็นไปได้นั้นจะถูกกำหนดให้มีค่าคงที่แบบ multiplicative ของสัดส่วนเท่านั้น (หรือค่าคงที่เพิ่มเติมสำหรับบันทึกความน่าจะเป็น)

เป็นที่ไม่ถูกต้องเพราะโอกาสเป็นครั้งแรกฟังก์ชั่นความหนาแน่นของความน่าจะเป็นร่วมกันไม่เพียง แต่ "ใด ๆ" ฟังก์ชันวัตถุประสงค์ที่จะขยาย