Bootstrapping เทียบกับ Bayesian

ฉันมีปัญหาในการทำความเข้าใจว่ากระบวนการบูตสเตปแบบเบย์คืออะไรและสิ่งนั้นแตกต่างจากการบูตสแตรปปกติของคุณอย่างไร และถ้ามีใครบางคนสามารถนำเสนอการทบทวนและการเปรียบเทียบทั้งสองอย่างง่าย

ลองยกตัวอย่าง

สมมติว่าเรามีชุดข้อมูล X นั่นคือ [1,2,5,7,3]

หากเราสุ่มตัวอย่างด้วยการแทนที่หลาย ๆ ครั้งเพื่อสร้างขนาดตัวอย่างเท่ากับขนาดของ X (ดังนั้น [7,7,2,5,7], [3,5,2,2,7] ฯลฯ ) จากนั้นเรา คำนวณค่าเฉลี่ยของแต่ละวิธีนั่นคือการกระจาย bootstrap ของค่าเฉลี่ยตัวอย่างหรือไม่

อะไรคือการกระจาย bootstrap แบบเบส์ของสิ่งนั้น?

และการกระจาย bootstrap แบบเบย์ของพารามิเตอร์อื่น ๆ (ความแปรปรวน ฯลฯ ) ทำในวิธีเดียวกันได้อย่างไร?

bayesian sampling bootstrap

— SpicyClubSauce
แหล่งที่มา

ดูsumsar.net/blog/2015/04/…และprojecteuclid.org/euclid.aos/1176345338หรืออาจ @ rasmus-bååthสามารถตอบคุณได้)

— ทิม

bootstrap (ผู้ใช้บ่อย) ใช้ข้อมูลเป็นการประมาณที่สมเหตุสมผลในการกระจายประชากรที่ไม่รู้จัก ดังนั้นการกระจายตัวตัวอย่างของสถิติ (ฟังก์ชั่นของข้อมูล) สามารถประมาณได้โดยการสุ่มใหม่การสังเกตซ้ำด้วยการแทนที่และคำนวณสถิติสำหรับแต่ละตัวอย่าง

Let แสดงข้อมูลเดิม (ในตัวอย่างที่กำหนดให้ ) ให้แสดงถึงตัวอย่างบูตสแตรป ตัวอย่างดังกล่าวน่าจะมีการสังเกตซ้ำหลายครั้งหรือมากกว่าและการสังเกตอื่น ๆ จะหายไป ค่าเฉลี่ยของตัวอย่าง bootstrap ถูกกำหนดโดย $y = (y_1,\ldots,y_n)$ $n=5$ $y^b = (y_1^b, \ldots, y_n^b)$ มันคือการกระจายของ

m_{b} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}^{b} .

$m_b = \frac{1}{n} \sum_{i=1}^n y_i^b.$

m_{b}

$m_b$ มากกว่าจำนวนซ้ำของ bootstrap ที่ใช้ในการประมาณการกระจายตัวตัวอย่างจากประชากรที่ไม่รู้จัก

เพื่อให้เข้าใจการเชื่อมต่อระหว่าง bootstrap ที่พบบ่อยและ bootstrap ของ Bayesian มันเป็นคำแนะนำเพื่อดูวิธีการคำนวณ $m_b$ จากมุมมองที่แตกต่างกัน

ในแต่ละตัวอย่างบูต , การสังเกตแต่ละเกิดขึ้นที่ใดก็ได้จาก 0 ถึงครั้ง Let หมายถึงจำนวนครั้งที่เกิดขึ้นในและปล่อยให้ )ดังนั้น $y^b$ $y_i$ $n$ $h_i^b$ $y_i$ $y^b$ $h^b = (h_1^b, \ldots, h_n^b)$ $h_i^b \in \{0, 1, \ldots, n-1,n\}$ และ nได้รับเราสามารถสร้างคอลเลกชันของค่าลบน้ำหนักว่าผลรวมให้เป็นหนึ่ง: ที่ nด้วยสัญกรณ์นี้เราสามารถแสดงค่าเฉลี่ยของตัวอย่าง bootstrap เป็น $\sum_{i=1}^n h_i^b = n$ $h^b$ $w^b = h^b/n$ $w_i^b = h_i^b/n$

m_{b} = \sum_{i = 1}^{n} w_{i}^{b} y_{i} .

$m_b = \sum_{i=1}^n w_i^b\, y_i.$

วิธีการที่สังเกตจะถูกเลือกสำหรับตัวอย่างบูตกำหนดร่วมกันจำหน่ายสำหรับขโดยเฉพาะอย่างยิ่งมีการกระจายแบบพหุนามและดังนั้น $w^b$ $h^b$ ดังนั้นเราจึงสามารถคำนวณโดยการวาดจากการกระจายและการคำนวณผลิตภัณฑ์จุดด้วยYจากมุมมองใหม่นี้ปรากฏว่าการสังเกตได้รับการแก้ไขในขณะที่น้ำหนักมีการเปลี่ยนแปลง

(n w^{b}) \sim Multinomial (n, (1 / n)_{i = 1}^{n}) .

$(n\,w^b) \sim \textsf{Multinomial}(n,(1/n)_{i=1}^n).$

m_{b}

$m_b$

w^{b}

$w^b$

y

$y$

ในการอนุมานแบบเบย์การสังเกตจะได้รับการแก้ไขแน่นอนดังนั้นมุมมองใหม่นี้จึงเป็นที่พอใจของวิธีการแบบเบย์ อันที่จริงการคำนวณค่าเฉลี่ยตาม bootstrap แบบเบย์แตกต่างกันเฉพาะในการกระจายน้ำหนัก (อย่างไรก็ตามจากมุมมองแนวคิด Bootesrap แบบเบย์ค่อนข้างแตกต่างจากเวอร์ชั่นที่ใช้บ่อย) ข้อมูลได้รับการแก้ไขและน้ำหนักที่เป็นพารามิเตอร์ที่ไม่รู้จัก เราอาจสนใจฟังก์ชั่นของข้อมูลที่ขึ้นอยู่กับพารามิเตอร์ที่ไม่รู้จัก: $y$ $w$

μ = \sum_{i = 1}^{n} w_{i} y_{i} .

$\mu = \sum_{i=1}^n w_i\, y_i.$

นี่คือภาพย่อขนาดย่อของแบบจำลองที่อยู่ด้านหลังรองเท้าบู๊ตแบบเบย์: การแจกแจงการสุ่มตัวอย่างสำหรับการสังเกตนั้นมีหลายรูปแบบและน้ำหนักก่อนหน้านี้คือการกระจายตัวแบบดิริชเล็ตที่ จำกัด ซึ่งทำให้น้ำหนักทั้งหมดอยู่บนจุดยอด (ผู้เขียนบางคนอ้างถึงโมเดลนี้ว่าเป็นโมเดลความน่าจะเป็นแบบหลายส่วน)

w \sim Dirichlet (1, \dots, 1) .

$w \sim \textsf{Dirichlet}(1,\ldots,1).$ (การแจกแจงแบบนี้ค่อนข้างเรียบง่าย) การแจกแจงสองแบบสำหรับตุ้มน้ำหนัก (ผู้ถี่ถ้วนและเบย์) มีลักษณะคล้ายกัน: พวกมันมีวิธีการเหมือนกันและโควาเรียสที่คล้ายกัน การกระจายแบบดิริชเล็ตนั้น 'ราบรื่นกว่าการกระจายแบบมัลติโนเมียลดังนั้นการบูตแบบเบย์อาจเรียกได้ว่าการบูตแบบสมู ธ เราอาจตีความ bootstrap เป็นประจำเพื่อประมาณค่า bootstrap แบบเบย์

$\mu$ $w$ $y$

\sum_{i = 1}^{n} w_{i} g (y_{i}, θ) = \underline{0},

$\sum_{i=1}^n w_i\, g(y_i,\theta) = \underline 0,$

g (y_{i}, θ)

$g(y_i,\theta)$

θ

$\theta$

\underline{0}

$\underline 0$

θ

$\theta$

y

$y$

w

$w$

w

$w$ จากการกระจายหลังและประเมินผลการแก้ปัญหาที่ กรอบการประมาณสมการใช้กับโอกาสเชิงประจักษ์และด้วยวิธีการทั่วไปของช่วงเวลา (GMM).)

\sum_{i = 1}^{n} w_{i} (y_{i} - μ) = 0.

$\sum_{i=1}^n w_i\,(y_i - \mu) = 0.$

θ = (μ, v)

$\theta = (\mu,v)$

g (y_{i}, θ) = (\begin{matrix} y_{i} - μ \\ (y_{i} - μ)^{2} - v \end{matrix}) .

$g(y_i,\theta) = \begin{pmatrix} y_i - \mu \\ (y_i - \mu)^2 - v \end{pmatrix}.$

— MEF
แหล่งที่มา

ขอบคุณสำหรับคำอธิบายอย่างละเอียด โดยส่วนตัวแล้วฉันขอขอบคุณข้อความสั้น ๆ เมื่อเลือกแต่ละข้อ

— ErichBSchulz