นักปราชญ์ชาวเบย์กลายเป็นคนไม่เกี่ยวข้องกับกลุ่มตัวอย่างขนาดใหญ่หรือไม่?

เมื่อดำเนินการอนุมานแบบเบย์เราดำเนินการโดยเพิ่มฟังก์ชั่นโอกาสของเราให้มากที่สุดเมื่อใช้ร่วมกับนักบวชที่เรามีเกี่ยวกับพารามิเตอร์ เนื่องจากความเป็นไปได้ในการบันทึกมีความสะดวกมากขึ้นเราจึงเพิ่มโดยใช้ MCMC หรือสร้างการกระจายหลัง ความน่าจะเป็นของจุดแต่ละจุดก่อนหน้าและจุดข้อมูลแต่ละจุด) $\sum \ln (\text{prior}) + \sum \ln (\text{likelihood})$

หากเรามีข้อมูลจำนวนมากความน่าจะเป็นที่จะครอบงำข้อมูลใด ๆ ที่มีให้ก่อนหน้านี้โดยคณิตศาสตร์อย่างง่าย ในที่สุดสิ่งนี้เป็นสิ่งที่ดีและจากการออกแบบ เรารู้ว่าคนหลังจะมาบรรจบกันเพื่อโอกาสที่จะมีข้อมูลมากขึ้นเพราะมันควรจะเป็น

สำหรับปัญหาที่กำหนดโดยนักบวชคอนจูเกตสิ่งนี้สามารถพิสูจน์ได้อย่างแน่นอน

มีวิธีในการตัดสินใจว่านักบวชไม่สำคัญสำหรับฟังก์ชั่นความน่าจะเป็นและขนาดตัวอย่างหรือไม่?

bayesian prior

— พิกเซล
แหล่งที่มา

ประโยคแรกของคุณไม่ถูกต้อง การอนุมานแบบเบย์และอัลกอริธึม MCMC ไม่ได้เพิ่มโอกาสสูงสุด

— niandra82

คุณคุ้นเคยกับความเป็นไปได้ที่จะเกิดขึ้นน้อยที่สุดปัจจัยของเบย์การกระจายการทำนายผลล่วงหน้า / หลัง สิ่งเหล่านี้เป็นประเภทของสิ่งที่คุณจะใช้เพื่อเปรียบเทียบแบบจำลองในกระบวนทัศน์แบบเบย์ ฉันคิดว่าคำถามนี้เดือดลงไปไม่ว่าจะเป็นปัจจัยของเบย์หรือไม่ระหว่างโมเดลที่มีความแตกต่างจากรุ่นก่อนหน้าพวกเขาจะรวมกันเป็น 1 เมื่อขนาดของกลุ่มตัวอย่างไปถึงอนันต์ นอกจากนี้คุณยังอาจต้องการกำจัด Priors ที่ถูกตัดทอนภายในพื้นที่พารามิเตอร์ที่บ่งบอกถึงความน่าจะเป็นเนื่องจากอาจทำให้เป้าหมายไม่สามารถมาบรรจบกันเป็นค่าประมาณโอกาสสูงสุดได้

— Zachary Blumenfeld

@ ZacharyBlumenfeld: นี่อาจถือว่าเป็นคำตอบที่เหมาะสม!

— ซีอาน

รูปแบบที่ถูกต้องคือ "การเพิ่มกฎของเบย์" หรือไม่? นอกจากนี้โมเดลที่ฉันทำงานด้วยยังมีพื้นฐานทางกายภาพดังนั้นการเว้นวรรคพารามิเตอร์ที่ถูกตัดทอนจึงเป็นสิ่งจำเป็นสำหรับการทำงาน (ฉันยอมรับด้วยว่าความคิดเห็นของคุณอาจเป็นคำตอบคุณช่วยเอาพวกเขาออกไป @ ZacharyBlumenfeld ได้ไหม)

— พิกเซล

คำตอบ:

มันไม่ง่ายเลย ข้อมูลในข้อมูลของคุณจะท่วมทับข้อมูลก่อนหน้านี้ไม่เพียง แต่ขนาดตัวอย่างของคุณจะมีขนาดใหญ่ แต่เมื่อข้อมูลของคุณให้ข้อมูลเพียงพอที่จะครอบงำข้อมูลก่อนหน้านี้ นักบวชที่ไม่ชำนาญได้รับการชักชวนจากข้อมูลอย่างง่ายดายในขณะที่คนที่ให้ข้อมูลอย่างมากอาจต้านทานได้มากกว่า ในกรณีที่รุนแรงด้วยนักบวชที่ไม่เหมาะสมข้อมูลของคุณอาจไม่สามารถเอาชนะได้ (เช่นความหนาแน่นศูนย์ในบางภูมิภาค)

จำได้ว่าตามทฤษฎีบทของเบย์เราใช้สองแหล่งข้อมูลในแบบจำลองทางสถิติของเราข้อมูลนอกข้อมูลก่อนหน้าและข้อมูลที่ถ่ายทอดโดยข้อมูลในฟังก์ชั่นโอกาส :

ด้านหลัง α ก่อน \times ความเป็นไปได้

$\color{violet}{\text{posterior}} \propto \color{red}{\text{prior}} \times \color{lightblue}{\text{likelihood}}$

เมื่อใช้ uninformative ก่อน (หรือโอกาสสูงสุด) เราพยายามที่จะนำข้อมูลก่อนที่เป็นไปได้น้อยที่สุดในแบบจำลองของเรา ด้วยนักบวชที่มีข้อมูลเรานำข้อมูลจำนวนมากมาสู่โมเดล ดังนั้นทั้งข้อมูลและก่อนหน้านี้แจ้งให้เราทราบว่าค่าของพารามิเตอร์โดยประมาณนั้นมีความน่าเชื่อถือมากขึ้นหรือน่าเชื่อถือ พวกเขาสามารถนำข้อมูลที่แตกต่างและแต่ละคนสามารถเอาชนะอีกคนหนึ่งในบางกรณี

ให้ฉันอธิบายสิ่งนี้ด้วยโมเดลเบต้า - ทวินามพื้นฐาน (ดูตัวอย่างโดยละเอียดที่นี่ ) ด้วย"uninformative" ก่อนหน้าตัวอย่างที่ค่อนข้างเล็กอาจเพียงพอที่จะเอาชนะได้ ในแปลงด้านล่างคุณสามารถเห็นพรีออเดอร์ (เส้นโค้งสีแดง), ความน่าจะเป็น (เส้นโค้งสีน้ำเงิน) และ posteriors (เส้นโค้งสีม่วง) ของโมเดลเดียวกันที่มีขนาดตัวอย่างแตกต่างกัน

ในอีกทางหนึ่งคุณสามารถให้ข้อมูลก่อนหน้านี้ซึ่งใกล้เคียงกับมูลค่าที่แท้จริงซึ่งอาจเป็นเรื่องง่าย แต่ก็ไม่ง่ายเช่นเดียวกับข้อมูลที่ให้ข้อมูลรายสัปดาห์ซึ่งถูกชักชวนจากข้อมูล

กรณีจะแตกต่างกันมากกับข้อมูลก่อนเมื่อมันอยู่ไกลจากสิ่งที่ข้อมูลพูด (ใช้ข้อมูลเดียวกันเช่นในตัวอย่างแรก) ในกรณีเช่นนี้คุณต้องการตัวอย่างที่มีขนาดใหญ่กว่าเพื่อเอาชนะก่อนหน้านี้

ดังนั้นไม่เพียง แต่เกี่ยวกับขนาดตัวอย่างเท่านั้น แต่ยังเกี่ยวกับข้อมูลของคุณและข้อมูลก่อนหน้าของคุณ โปรดสังเกตว่านี่เป็นพฤติกรรมที่ต้องการเพราะเมื่อใช้นักบวชที่มีข้อมูลเราต้องการที่จะรวมข้อมูลที่ไม่อยู่ในข้อมูลในโมเดลของเราและสิ่งนี้จะเป็นไปไม่ได้ถ้ากลุ่มตัวอย่างจำนวนมากมักจะทิ้งนักบวช

เนื่องจากความสัมพันธ์ของความซับซ้อนที่เกิดขึ้นก่อนหน้านี้มีความสัมพันธ์กันมาก่อนจึงเป็นเรื่องดีที่จะดูการแจกแจงหลังและทำการตรวจสอบแบบทำนายล่วงหน้า (Gelman, Meng และ Stern, 1996; Gelman and Hill, 2006; Gelman et al, 2004) ยิ่งกว่านั้นตามที่ Spiegelhalter (2004) อธิบายไว้คุณสามารถใช้นักบวชที่แตกต่างกันเช่น "มองโลกในแง่ร้าย" ที่แสดงความสงสัยเกี่ยวกับเอฟเฟกต์ขนาดใหญ่หรือ "กระตือรือร้น" ซึ่งมองโลกในแง่ดีเกี่ยวกับผลกระทบโดยประมาณ การเปรียบเทียบว่านักบวชต่าง ๆ ทำงานกับข้อมูลของคุณอย่างไรอาจช่วยประเมินแบบไม่เป็นทางการว่าอิทธิพลด้านหลังเป็นอย่างไร

Spiegelhalter, DJ (2004) ผสมผสานแนวคิดแบบเบย์เข้ากับการประเมินผลการดูแลสุขภาพ วิทยาศาสตร์สถิติ, 156-174

Gelman, A. , Carlin, JB, Stern, HS, และ Rubin, DB (2004) การวิเคราะห์ข้อมูลแบบเบย์ แชปแมน & ฮอล / CRC

Gelman, A. และ Hill, J. (2006) การวิเคราะห์ข้อมูลโดยใช้การถดถอยและตัวแบบหลายระดับ / ลำดับชั้น สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์

Gelman, A. , Meng, XL, และ Stern, H. (1996) การประเมินการทำนายหลังของความเหมาะสมของตัวแบบผ่านความคลาดเคลื่อนที่รับรู้ Statistica sinica, 733-760

— ทิม
แหล่งที่มา

ขอขอบคุณทิม ฉันต้องการเพิ่มว่าความเปรียบต่างที่คุณวางไว้อย่างดีที่นี่อาจนำเสนอตัวเองได้แม้จะอยู่ในรูปแบบเดียวกันและเดียวกับที่เกี่ยวข้องกับพารามิเตอร์ที่แตกต่างกันของแบบจำลองนั้น อาจจะมีพารามิเตอร์บางอย่างเกี่ยวกับการที่ข้อมูลนำเสนอข้อมูลเล็กน้อยซึ่งในกรณีไพรเออร์อาจจะทำหน้าที่อย่างยิ่งที่จะให้ระบุข้อ จำกัด

— David C. Norris

ในเมทริกซ์ 3x3 แรกของกราฟกราฟนั้นถูกต้องหรือไม่ ด้านหลังแบนราบจนสุดรวมถึง n = 25?

— MichiganWater

@MichiganWater แต่ละคอลเล็คชั่น 9 พล็อตใช้มาตราส่วนเดียวกันสำหรับแกน y เพื่อให้ค่าที่ใหญ่ที่สุดไม่หลุดออกจากหน้าจอ ดังนั้นมันจะค่อนข้างแบนราบกับกรณีที่คุณมีข้อมูลมากขึ้น หากคุณ "ซูมเข้า" พวกเขาจะไม่แบน

— ทิม

เมื่อดำเนินการอนุมานแบบเบย์เราดำเนินการโดยเพิ่มฟังก์ชั่นโอกาสของเราให้มากที่สุดเมื่อใช้ร่วมกับนักบวชที่เรามีเกี่ยวกับพารามิเตอร์

นี่ไม่ใช่สิ่งที่ผู้ปฏิบัติงานส่วนใหญ่คิดว่าเป็นการอนุมานแบบเบย์ เป็นไปได้ที่จะประมาณค่าพารามิเตอร์ด้วยวิธีนี้ แต่ฉันจะไม่เรียกมันว่าการอนุมานแบบเบย์

การอนุมานแบบเบย์ใช้การแจกแจงหลังเพื่อคำนวณความน่าจะเป็นหลัง (หรืออัตราส่วนความน่าจะเป็น) สำหรับการแข่งขันของสมมติฐาน

การกระจายหลังสามารถประมาณสังเกตุโดยเทคนิค Monte Carlo หรือ Markov-Chain Monte Carlo (MCMC) เทคนิค

การแยกความแตกต่างเหล่านี้ออกจากกันคำถาม

นักปราชญ์ชาวเบย์กลายเป็นคนไม่เกี่ยวข้องกับกลุ่มตัวอย่างขนาดใหญ่หรือไม่?

ยังขึ้นอยู่กับบริบทของปัญหาและสิ่งที่คุณสนใจ

หากสิ่งที่คุณดูแลเกี่ยวกับการคาดการณ์รับตัวอย่างแล้วมีขนาดใหญ่มากแล้วคำตอบคือโดยทั่วไปใช่ไพรเออร์ที่มีasymptoticallyไม่เกี่ยวข้อง * อย่างไรก็ตามหากสิ่งที่คุณสนใจคือการเลือกรูปแบบและการทดสอบสมมติฐานแบบเบย์ดังนั้นคำตอบคือไม่นักบวชมีความสำคัญมากและผลของมันจะไม่ลดลงเมื่อขนาดตัวอย่าง

* ที่นี่ฉันสมมติว่านักบวชจะไม่ถูกตัดทอน / ตรวจสอบเกินพื้นที่พารามิเตอร์ที่บ่งบอกถึงความเป็นไปได้และพวกเขาไม่ได้ระบุอย่างไม่ดีเพื่อทำให้เกิดปัญหาการลู่เข้าใกล้ศูนย์ความหนาแน่นในภูมิภาคสำคัญ การโต้เถียงของฉันยังเป็นแบบซีมโทติคซึ่งมาพร้อมกับคำเตือนทั่วไปทั้งหมด

ทำนายความหนาแน่น

$\mathbf{d}_N = (d_1, d_2,...,d_N)$ $d_i$ $f(\mathbf{d}_N\mid \theta)$ $\theta$

$\pi_0 (\theta \mid \lambda_1)$ $\pi_0 (\theta \mid \lambda_2)$ $\lambda_1 \neq \lambda_2$

π_{ยังไม่มีข้อความ} (θ | d_{ยังไม่มีข้อความ}, λ_{J}) α ฉ (d_{ยังไม่มีข้อความ} | θ) π_{0} (θ | λ_{J}) ฉ โอ R J = 1, 2

$\pi_N (\theta \mid \mathbf{d}_N, \lambda_j) \propto f(\mathbf{d}_N\mid \theta)\pi_0 ( \theta \mid \lambda_j)\;\;\;\;\;\mathrm{for}\;\;j=1,2$

$\theta^*$ $\theta^{j}_N \sim \pi_N(\theta\mid \mathbf{d}_N, \lambda_j)$ $\hat \theta_N = \max_\theta\{ f(\mathbf{d}_N\mid \theta) \}$ $\theta^{1}_N$ $\theta^{2}_N$ $\hat \theta_N$ $\theta^*$ $\varepsilon >0$

\begin{aligned} \underset{ยังไม่มีข้อความ \to \infty}{Lim} P R (| θ_{ยังไม่มีข้อความ}^{J} - θ^{* * * *} | \geq ε) & = 0 \forall J \in {1, 2} \\ \underset{ยังไม่มีข้อความ \to \infty}{Lim} P R (| {\hat{θ}}_{ยังไม่มีข้อความ} - θ^{* * * *} | \geq ε) & = 0 \end{aligned}

$\begin{align} \lim_{N \rightarrow \infty} Pr(|\theta^j_N - \theta^*| \ge \varepsilon) &= 0\;\;\;\forall j \in \{1,2\} \\ \lim_{N \rightarrow \infty} Pr(|\hat \theta_N - \theta^*| \ge \varepsilon) &= 0 \end{align}$

$\theta^j_N = \max_\theta \{\pi_N (\theta \mid \mathbf{d}_N, \lambda_j)\}$

$f(\tilde d \mid \mathbf{d}_N, \lambda_j) = \int_{\Theta} f(\tilde d \mid \theta,\lambda_j,\mathbf{d}_N)\pi_N (\theta \mid \lambda_j,\mathbf{d}_N)d\theta$ $f(\tilde d \mid \mathbf{d}_N, \theta^j_N)$ $f(\tilde d\mid \mathbf{d}_N, \theta^*)$

การเลือกรูปแบบและการทดสอบสมมติฐาน

หากมีใครสนใจในการเลือกแบบจำลองแบบเบย์และการทดสอบสมมติฐานพวกเขาควรทราบว่าผลของการทดสอบก่อนหน้านี้จะไม่หายไปแบบไม่แสดงอาการ

$f(\mathbf{d}_N \mid \mathrm{model})$

K_{ยังไม่มีข้อความ} = \frac{ฉ (d_{ยังไม่มีข้อความ} | {ม. โอ d อี ล.}_{1})}{ฉ (d_{ยังไม่มีข้อความ} | {ม. โอ d อี ล.}_{2})}

$K_N = \frac{f(\mathbf{d}_N \mid \mathrm{model}_1)}{f(\mathbf{d}_N \mid \mathrm{model}_2)}$

P R ({ม. โอ d อี ล.}_{J} | d_{ยังไม่มีข้อความ}) = \frac{ฉ (d_{ยังไม่มีข้อความ} | {ม. โอ d อี ล.}_{J}) P R ({ม. โอ d อี ล.}_{J})}{Σ_{ล. = 1}^{L} ฉ (d_{ยังไม่มีข้อความ} | {ม. โอ d อี ล.}_{ล.}) P R ({ม. โอ d อี ล.}_{ล.})}

$Pr(\mathrm{model}_j \mid \mathbf{d}_N) = \frac{f(\mathbf{d}_N \mid \mathrm{model}_j)Pr(\mathrm{model}_j)}{\sum_{l=1}^L f(\mathbf{d}_N \mid \mathrm{model}_l)Pr(\mathrm{model}_l)}$

ฉ (d_{ยังไม่มีข้อความ} | λ_{J}) = \int_{Θ} ฉ (d_{ยังไม่มีข้อความ} | θ, λ_{J}) π_{0} (θ | λ_{J}) d θ

$f(\mathbf{d}_N \mid \lambda_j) = \int_{\Theta} f(\mathbf{d}_N \mid \theta, \lambda_j)\pi_0(\theta\mid \lambda_j)d\theta$

ฉ (d_{ยังไม่มีข้อความ} | λ_{J}) = Π_{n = 0}^{ยังไม่มีข้อความ - 1} ฉ (d_{n + 1} | d_{n}, λ_{J})

$f(\mathbf{d}_N \mid \lambda_j) = \prod_{n=0}^{N-1} f(d_{n+1} \mid \mathbf{d}_n , \lambda_j)$

f (d_{N + 1} ∣ d_{N}, λ_{j})

$f(d_{N+1} \mid \mathbf{d}_N , \lambda_j)$

f (d_{N + 1} ∣ d_{N}, θ^{*})

$f(d_{N+1} \mid \mathbf{d}_N , \theta^*)$ $f(\mathbf{d}_N \mid \lambda_1)$ $f(\mathbf{d}_N \mid \theta^*)$ $f(\mathbf{d}_N \mid \lambda_2)$

\frac{ฉ (d_{ยังไม่มีข้อความ} | λ_{1})}{ฉ (d_{ยังไม่มีข้อความ} | λ_{2})} ⧸ \overset{พี}{\to} 1

$\frac{f(\mathbf{d}_N \mid \lambda_1)}{ f(\mathbf{d}_N \mid \lambda_2)} \not\stackrel{p}{\rightarrow} 1$

h (d_{N} ∣ M) = \int_{Θ} h (d_{N} ∣ θ, M) π_{0} (θ ∣ M) d θ

$h(\mathbf{d}_N\mid M) = \int_{\Theta} h(\mathbf{d}_N\mid \theta, M)\pi_0(\theta\mid M) d\theta$

\frac{ฉ (d_{ยังไม่มีข้อความ} | λ_{1})}{ชั่วโมง (d_{ยังไม่มีข้อความ} | M)} \neq \frac{ฉ (d_{ยังไม่มีข้อความ} | λ_{2})}{ชั่วโมง (d_{ยังไม่มีข้อความ} | M)}

$\frac{f(\mathbf{d}_N \mid \lambda_1)}{ h(\mathbf{d}_N\mid M)} \neq \frac{f(\mathbf{d}_N \mid \lambda_2)}{ h(\mathbf{d}_N\mid M)}$

— Zachary Blumenfeld
แหล่งที่มา

ปัญหาที่จะเก็บไว้ในใจก็คือคุณสามารถมีจำนวนมากของข้อมูลแต่ยังคงมีน้อยมากข้อมูลเกี่ยวกับพารามิเตอร์บางอย่างในรูปแบบของคุณ ในกรณีเช่นนี้แม้แต่ข้อมูลที่ไม่ได้มาก่อนก็สามารถเป็นประโยชน์อย่างยิ่งเมื่อทำการอนุมาน

เป็นตัวอย่างโง่สมมติว่าคุณกำลังเปรียบเทียบวิธีการของสองกลุ่มและคุณมี 1,000,000 ตัวอย่างของกลุ่มที่ 1 และ 10 ตัวอย่างของกลุ่ม 2 จากนั้นมีข้อมูลอย่างชัดเจนก่อนหน้าเกี่ยวกับกลุ่ม 2 สามารถปรับปรุงการอนุมานแม้ว่าคุณจะรวบรวมกว่าล้าน ตัวอย่าง

และในขณะที่ตัวอย่างนั้นอาจไม่สำคัญ แต่ก็เริ่มนำไปสู่ความหมายที่สำคัญมาก ถ้าเราต้องการที่จะเข้าใจปรากฏการณ์ที่ซับซ้อนบางอย่างสิ่งที่ต้องทำคือรวบรวมข้อมูลมากมายเกี่ยวกับชิ้นส่วนที่เราไม่เข้าใจและข้อมูลเกี่ยวกับชิ้นส่วนที่เราเข้าใจน้อยลง หากเรารวบรวมข้อมูลจำนวนมากในลักษณะนี้การทิ้งข้อมูลก่อนหน้านี้เพราะเรามีข้อมูลจำนวนมากเป็นตัวเลือกที่ไม่ดีจริงๆ เราเพิ่งตั้งค่าการวิเคราะห์กลับคืนเพราะเราไม่ต้องเสียเวลาในการรวบรวมข้อมูลในสิ่งที่เรารู้แล้ว!

— Cliff AB
แหล่งที่มา