อะไรคือความสัมพันธ์เบื้องหลัง Jeffreys Priors และความแปรปรวนของการเปลี่ยนแปลงที่มั่นคง?

ฉันกำลังอ่านเกี่ยวกับ Jeffreys ก่อนในวิกิพีเดีย: Jeffreys Priorและเห็นว่าหลังจากแต่ละตัวอย่างมันอธิบายว่าการเปลี่ยนแปลงที่ทำให้เกิดความแปรปรวนทำให้เกิดความแปรปรวนทำให้ Jeffreys กลายเป็นชุดก่อนได้อย่างไร

เป็นตัวอย่างสำหรับกรณี Bernoulli มันกล่าวว่าสำหรับเหรียญที่มีหัวกับความน่าจะเป็น $\gamma \in [0,1]$ ที่อัตราผลตอบแทน Bernoulli รุ่นทดลองใช้ฟรีย์ว่าก่อนสำหรับพารามิเตอร์ $\gamma$ คือ:

p (γ) \propto \frac{1}{\sqrt{γ (1 - γ)}}

$p(\gamma) \propto \frac{1}{\sqrt{\gamma ( 1-\gamma)}}$

จากนั้นระบุว่านี่คือการแจกแจงแบบเบต้าด้วย $\alpha = \beta = \frac{1}{2}$ . นอกจากนี้ยังระบุด้วยว่าถ้า $\gamma = \sin^2(\theta)$ ดังนั้น Jeffreys ก่อนหน้าสำหรับ $\theta$ จะเหมือนกันในช่วง $\left[0, \frac{\pi}{2}\right]$ .

ฉันรับรู้การเปลี่ยนแปลงว่าเป็นการเปลี่ยนแปลงที่ทำให้เกิดความแปรปรวน สิ่งที่ทำให้ฉันสับสนคือ:

ทำไมการแปรปรวนที่ทำให้เกิดความแปรปรวนทำให้เกิดความแปรปรวนในรูปแบบเหมือนกันมาก่อน
ทำไมเราถึงต้องการเครื่องแบบก่อน (เนื่องจากดูเหมือนว่าอาจจะไม่เหมาะสมกว่า)

โดยทั่วไปแล้วฉันไม่แน่ใจว่าทำไมการแปลงสแควร์ - ไซน์ถึงได้รับและบทบาทอะไร ใครจะมีความคิดใด ๆ

bayesian prior jeffreys-prior

— user1398057
แหล่งที่มา

ฉันจะออกตัวเองในฐานะผู้ล่อลวงที่สอนตัวเองโดยถามคำถามนี้ แต่: คุณหมายถึงการเปลี่ยนแปลงที่ทำให้เกิดความแปรปรวน

\frac{1}{\sqrt{\sin^{2} (θ) (1 - \sin^{2} (θ))}}

$\frac{1}{\sqrt{\sin^2(\theta) \left( 1 - \sin^2(\theta) \right)}}$

— shadowtalker

กำลังสองไซน์เป็นวิธีที่ผิดปกติในการคิดถึงการเปลี่ยนแปลง

คือรากที่สองของอาร์ซีซีน

θ = arcsin \sqrt[]{γ}

$\theta = \text{arcsin} \root \of \gamma$

— Nick Cox

คำตอบ:

Jeffreys ก่อนเป็นค่าคงที่ภายใต้ reparametrization ด้วยเหตุผลดังกล่าว Bayesians หลายคนคิดว่ามันเป็น "ที่ไม่ให้ข้อมูลมาก่อน" (Hartigan แสดงให้เห็นว่ามีพื้นที่ทั้งหมดของนักบวชเช่นสำหรับโดยที่คือ Jeffreys 'ก่อนและ $J^\alpha H^\beta$ $\alpha + \beta=1$ $J$ $H$ เป็นค่าคงที่ในท้องถิ่นของ asymptotically Asymptotically ก่อน - Invariant Prior Distributions )

เป็นความผิดพลาดที่เกิดขึ้นบ่อยครั้งที่เครื่องแบบก่อนหน้านั้นไม่ใช่แบบให้ข้อมูล แต่หลังจากการเปลี่ยนแปลงพารามิเตอร์ของคุณโดยพลการและเครื่องแบบก่อนหน้าพารามิเตอร์ใหม่หมายถึงบางสิ่งที่แตกต่างอย่างสิ้นเชิง หากมีการเปลี่ยนแปลงโดยพลการของพารามิเตอร์ที่มีผลต่อคุณก่อนหน้านี้ก่อนหน้านี้ของคุณเป็นข้อมูลที่ชัดเจน

การใช้ Jeffreys นั้นตามคำนิยามเทียบเท่ากับการใช้แฟลตก่อนหลังจากใช้การแปลงแปรปรวน - เสถียรภาพ
จากมุมมองทางคณิตศาสตร์การใช้ Jeffreys มาก่อนและการใช้ flat ก่อนหลังจากใช้การแปลงแปรปรวน - เสถียรภาพ จากมุมมองของมนุษย์ส่วนหลังน่าจะดีกว่าเพราะพื้นที่พารามิเตอร์กลายเป็น "เอกพันธ์" ในแง่ที่ว่าความแตกต่างเหมือนกันในทุกทิศทางไม่ว่าคุณจะอยู่ที่ใดในพื้นที่พารามิเตอร์

ลองพิจารณาตัวอย่างของ Bernoulli ของคุณ ไม่ใช่เรื่องแปลกที่การให้คะแนน 99% ในการทดสอบคือระยะทางเดียวกันถึง 90% เนื่องจาก 59% คือ 50%? หลังจากการเปลี่ยนแปลงการรักษาความแปรปรวนของคุณคู่เดิมจะแยกกันมากขึ้นตามที่ควรจะเป็น มันตรงกับสัญชาตญาณของเราเกี่ยวกับระยะทางจริงในอวกาศ (ในทางคณิตศาสตร์การเปลี่ยนแปลงความแปรปรวนที่ทำให้เกิดความแปรปรวนทำให้ความโค้งของบันทึกการสูญเสียเท่ากับเมทริกซ์เอกลักษณ์)

— นีลจี
แหล่งที่มา

1. ฉันยอมรับว่าเครื่องแบบก่อนหน้าไม่ได้หมายถึง "ไม่ใช่ข้อมูล" ก่อนหน้านี้ แต่ความคิดเห็นของฉันเกี่ยวกับการไม่ประเมินมูลค่าที่แน่นอนกว่าค่าอื่นยังคงมีอยู่ (ภายใต้การกำหนดพารามิเตอร์เฉพาะนั้น) 2. ความเหมาะสมของคนก่อนคือเกี่ยวกับการมาก หากคุณมีข้อมูลที่ไม่เหมาะสมก่อนหน้านี้และมีข้อมูลไม่รับประกันว่าคุณจะมีหลังที่เหมาะสม ดังนั้นมันจึงเกี่ยวกับ

— Greenparker

1. แต่นั่นคือประเด็นทั้งหมด: การตั้งพาราเมทริกเป็นกฎเกณฑ์โดยพลการดังนั้นจึงไม่มีความหมายที่จะบอกว่าคุณไม่ได้ให้คุณค่ากับอีกมูลค่าหนึ่ง 2. ในทางปฏิบัติฉันไม่เคยพบมันมาก่อน อาจเกี่ยวข้องกับคนอื่นที่ฉันเดา

— Neil G

1. จุดยุติธรรม 2. ฉันไม่แน่ใจว่าคุณมีปัญหาอะไร แต่ถึงกระนั้นความเป็นไปได้ของการเสียชีวิตแบบเกาส์อันง่าย ๆ ของเจฟฟรีย์ก็อาจจะมีหลังที่ไม่เหมาะสม ดูคำตอบของฉันที่นี่

— Greenparker

@Greenparker คุณพูดถูก ฉันจะชี้แจงว่าทำไมมันถึงไม่เกี่ยวข้องกับฉันในคำตอบของฉัน

— Neil G

ฉันไม่คิดว่าการแก้ไขนั้นถูกต้อง หากด้านหลังไม่ถูกต้องแล้ว MCMC จะไร้สาระแน่นอนที่สุดเนื่องจากคุณพยายามดึงจากการกระจายที่ไม่ได้กำหนด ลองนึกภาพตัวอย่างจาก Uniform

(0, \infty)

$(0,\infty)$ โดยใช้รูปแบบการสุ่มตัวอย่างใด ๆ แม้ว่าอัลกอริทึม MCMC อาจยังคงเป็นไปตามหลักสรีรศาสตร์ (เมื่อคุณมีการเกิดซ้ำเป็นโมฆะ) แต่ตัวอย่างของคุณจะไร้ประโยชน์

— Greenparker

วิกิพีเดียหน้าเว็บที่คุณให้ไม่ได้จริงๆใช้คำว่า "ความแปรปรวนรักษาเสถียรภาพการเปลี่ยนแปลง" คำว่า "การแปรปรวน - เสถียรภาพการเปลี่ยนแปลง" มักใช้เพื่อระบุการเปลี่ยนแปลงที่ทำให้ความแปรปรวนของตัวแปรสุ่มเป็นค่าคงที่ แม้ว่าในกรณีของ Bernoulli นี่คือสิ่งที่เกิดขึ้นกับการเปลี่ยนแปลงนั่นไม่ใช่เป้าหมายที่แท้จริง เป้าหมายคือการได้รับการกระจายตัวที่สม่ำเสมอและไม่ใช่แค่ความแปรปรวนที่เสถียร

จำได้ว่าหนึ่งในวัตถุประสงค์หลักของการใช้ Jeffreys ก่อนคือมันไม่เปลี่ยนแปลงภายใต้การเปลี่ยนแปลง ซึ่งหมายความว่าหากคุณปรับพารามิเตอร์ตัวแปรอีกครั้งตัวแปรก่อนหน้าจะไม่เปลี่ยนแปลง

ฟรีย์ก่อนในกรณี Bernoulli นี้ที่คุณชี้ให้เห็นคือเบต้า ) $(1/2, 1/2)$

p_{γ} (γ) \propto \frac{1}{\sqrt{γ (1 - γ)}} .

$p_{\gamma}(\gamma) \propto \dfrac{1}{\sqrt{\gamma(1-\gamma)}}.$

Reparametrizing กับเราสามารถหาการกระจายของθก่อนอื่นมาดูกันว่า $\gamma = \sin^2(\theta)$ $\theta$ และตั้งแต่,2จำได้ว่า1 $\theta = \arcsin(\sqrt{\gamma})$ $0 < \gamma < 1$ $0 < \theta < \pi/2$ $\sin^2(x) + \cos^2(x) = 1$

\begin{aligned} F_{θ} (x) & = P (θ < x) \\ = P (\sin^{2} (θ) < \sin^{2} (x)) \\ = P (γ < \sin^{2} (x)) \\ = F_{γ} (\sin^{2} (x)) \\ f_{θ} (x) & = \frac{d F_{γ} (\sin^{2} (x)}{d x} \\ = 2 \sin (x) \cos (x) p_{γ} (\sin^{2} (x)) \\ \propto \sin (x) \cos (x) \frac{1}{\sqrt{\sin^{2} (x) (1 - \sin^{2} (x))}} \\ = 1. \end{aligned}

$\begin{align*} F_{\theta}(x) & = P(\theta < x)\\ & = P(\sin^2(\theta) < \sin^2(x))\\ & = P(\gamma < \sin^2(x))\\ & = F_{\gamma}(\sin^2(x))\\ f_{\theta}(x) & = \dfrac{d F_{\gamma}(\sin^2(x)}{d x}\\ & = 2\sin(x)\cos(x)\,p_{\gamma}(\sin^2(x))\\ & \propto \sin(x)\cos(x) \dfrac{1}{\sqrt{\sin^2(x)(1 - \sin^2(x))}}\\ & =1. \end{align*}$

ดังนั้น $\theta$ เป็นชุดการกระจายบน $(0, \pi/2)$ . นี่คือเหตุผลที่ $\sin^2(\theta)$ การแปลงถูกนำมาใช้เพื่อให้การแปรสภาพซ้ำนำไปสู่การแจกแจงแบบสม่ำเสมอ ตอนนี้การกระจายเครื่องแบบเป็นไปอย่างอิสระก่อน $\theta$ (ตั้งแต่ Jeffreys ก่อนเป็นค่าคงที่ภายใต้การเปลี่ยนแปลง) นี่เป็นการตอบคำถามแรกของคุณ

บ่อยครั้งที่การวิเคราะห์แบบเบย์ต้องการรูปแบบที่เหมือนกันเมื่อมีข้อมูลไม่เพียงพอหรือมีความรู้มาก่อนเกี่ยวกับการแจกแจงของพารามิเตอร์ ก่อนหน้านี้เรียกอีกอย่างว่า "ก่อนหน้ากระจาย" หรือ "เริ่มต้นก่อน" แนวคิดคือไม่ยอมรับค่าใด ๆ ในพื้นที่พารามิเตอร์มากกว่าค่าอื่น ๆ ในกรณีเช่นนี้ผู้ที่อยู่หลังขึ้นอยู่กับความน่าจะเป็นของข้อมูล ตั้งแต่,

Q (θ | x) α ฉ (x | θ) ฉ (θ) α ฉ (x | θ) .

$q(\theta|x) \propto f(x|\theta) f(\theta) \propto f(x|\theta).$

หากการแปลงเป็นเช่นนั้นพื้นที่ที่ถูกแปลงนั้นจะถูก จำกัด ขอบเขต (เช่น $(0, \pi/2)$ ในตัวอย่างนี้) จากนั้นการกระจายตัวแบบสม่ำเสมอจะเหมาะสม หากพื้นที่ที่ถูกแปลงนั้นไม่ได้ถูก จำกัด ขอบเขตเครื่องแบบก่อนหน้าจะไม่เหมาะสม แต่บ่อยครั้งที่ผลลัพธ์ด้านหลังจะเหมาะสม แม้ว่าหนึ่งควรเสมอตรวจสอบว่าเป็นกรณีนี้

— Greenparker
แหล่งที่มา

แนวคิดนี้ว่าคุณเป็น "ไม่ยอมรับค่าใด ๆ " โดยใช้การกระจายก่อนหน้านี้ผิด หลักฐานคือคุณสามารถทำการเปลี่ยนแปลงพื้นที่และการกระจายก่อนหน้านี้จะหมายถึงสิ่งที่แตกต่างอย่างสิ้นเชิง

— Neil G

ความคิดเห็นของฉันเกี่ยวกับ "ไม่ยอมรับค่าใด ๆ " หมายถึงเฉพาะการกำหนดพารามิเตอร์เฉพาะนั้น แน่นอนการเปลี่ยนแปลงจะเปลี่ยนวิธีกระจายมวล (เช่นเดียวกับในตัวอย่างของ Bernoulli)

— Greenparker

เช่นเดียวกับที่ฉันกล่าวไว้ด้านล่างความคิดเห็นอื่นของคุณ parametrization เป็นสิ่งที่ไม่มีเหตุผล

— Neil G