การตีความแบบเบย์มีไว้สำหรับ REML หรือไม่

มีการตีความแบบเบย์ของ REML หรือไม่ สำหรับสัญชาตญาณของฉัน REML มีความคล้ายคลึงกันอย่างมากกับกระบวนการประมาณค่าเบย์เชิงประจักษ์และฉันสงสัยว่ามีการแสดงความเท่าเทียมเชิงซีมโทติค (ภายใต้คลาสของนักบวชชั้นสูงที่เหมาะสม) ทั้งเชิงประจักษ์ Bayes และ REML ดูเหมือนว่าวิธีการประมาณค่าแบบ 'ประนีประนอม' ที่ดำเนินการในการเผชิญกับพารามิเตอร์ที่สร้างความรำคาญเช่น

ส่วนใหญ่สิ่งที่ฉันค้นหาด้วยคำถามนี้คือความเข้าใจในระดับสูงที่การโต้แย้งประเภทนี้มักจะให้ผล แน่นอนหากการโต้เถียงในลักษณะนี้ด้วยเหตุผลบางอย่างไม่สามารถถูกนำไปใช้อย่างมีประสิทธิภาพสำหรับ REML คำอธิบายว่าทำไมสิ่งนี้จึงส่งผลให้เกิดความเข้าใจอย่างลึกซึ้ง!

bayesian asymptotics reml

— David C. Norris
แหล่งที่มา

บทความนี้ดูเหมือนจะเกี่ยวข้อง: Foulley J. (1993) อาร์กิวเมนต์ง่ายๆแสดงวิธีหาโอกาสสูงสุดที่ จำกัด J. Dairy Sci 76, 2320–2324 10.3168 / jds.S0022-0302 (93) 77569-4 sciencedirect.com/science/article/pii/…

— djw

การตีความแบบเบย์นั้นมีอยู่ภายในกรอบการวิเคราะห์แบบเบย์เท่านั้นสำหรับตัวประมาณที่เกี่ยวข้องกับการแจกแจงหลัง ดังนั้นวิธีเดียวที่ตัวประมาณค่า REML สามารถได้รับการตีความแบบเบย์ (เช่นการตีความแบบตัวประมาณการที่นำมาจากด้านหลัง) คือถ้าเราใช้ความน่าจะเป็นบันทึกแบบ จำกัด ในการวิเคราะห์ REML ให้เป็นแบบบันทึกหลังในลักษณะเดียวกัน การวิเคราะห์แบบเบย์ ในกรณีนี้ตัวประมาณ REML จะเป็นตัวประมาณค่า MAPจากทฤษฎีแบบเบย์พร้อมกับการตีความแบบเบย์แบบเดียวกัน

การตั้งค่าตัวประมาณ REML ให้เป็นตัวประมาณของ MAP:มันค่อนข้างง่ายที่จะดูวิธีตั้งค่าความน่าจะเป็นของบันทึกที่ จำกัด ในการวิเคราะห์ REML ให้เป็นตัวบันทึกหลังในการวิเคราะห์แบบเบย์ ในการทำเช่นนี้เราจำเป็นต้องมีการบันทึกก่อนที่จะเป็นเชิงลบของส่วนของความเป็นไปได้ที่จะถูกลบโดยกระบวนการ REML สมมติว่าเรามี log-likelihoodโดยที่เป็น log-likelihood ที่เหลือและเป็นพารามิเตอร์ที่น่าสนใจ (โดยที่เป็นพารามิเตอร์ที่สร้างความรำคาญของเรา) การตั้งค่าก่อนหน้ากับให้หลังที่สอดคล้องกัน: $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

สิ่งนี้ทำให้เรา:

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

ผลลัพธ์นี้ช่วยให้เราสามารถตีความตัวประมาณ REML เป็นตัวประมาณค่า MAP ดังนั้นการตีความแบบเบย์ที่เหมาะสมของตัวประมาณ REML ก็คือมันเป็นตัวประมาณที่เพิ่มความหนาแน่นหลังไว้ด้านล่างก่อนหน้านี้

เมื่อแสดงวิธีการให้การตีความแบบเบย์แก่ผู้ประมาณค่า REML แล้วเราทราบว่ามีปัญหาใหญ่เกิดขึ้นกับวิธีการนี้ ปัญหาหนึ่งคือก่อนหน้านี้เกิดขึ้นโดยใช้ส่วนประกอบบันทึกความน่าจะเป็นซึ่งขึ้นอยู่กับข้อมูล ดังนั้นความจำเป็นในการได้รับการตีความก่อนหน้านี้จึงไม่ใช่ความจริงก่อนหน้านี้ในแง่ของการเป็นฟังก์ชันที่สามารถเกิดขึ้นได้ก่อนที่จะเห็นข้อมูล ปัญหาอีกประการหนึ่งคือก่อนหน้านี้มักจะไม่เหมาะสม (กล่าวคือไม่ได้รวมเข้ากับหนึ่ง) และอาจเพิ่มน้ำหนักได้จริงเมื่อค่าพารามิเตอร์กลายเป็นรุนแรง (เราจะแสดงตัวอย่างด้านล่างนี้) $\ell_*(\theta, \nu)$

จากปัญหาเหล่านี้เราอาจโต้แย้งได้ว่าไม่มีการตีความแบบเบย์ที่สมเหตุสมผลสำหรับตัวประมาณ REML อีกวิธีหนึ่งเราสามารถยืนยันว่าตัวประมาณ REML ยังคงรักษาความหมายแบบเบย์ข้างต้นไว้ได้ซึ่งเป็นตัวประมาณตัวด้านหลังสูงสุดภายใต้ "ก่อนหน้า" ซึ่งจะต้องสอดคล้องกับข้อมูลที่สังเกตในรูปแบบที่กำหนดโดยบังเอิญและอาจไม่เหมาะสมอย่างยิ่ง

ภาพประกอบพร้อมข้อมูลปกติ:ตัวอย่างคลาสสิกของการประมาณค่า REML สำหรับกรณีของข้อมูลปกติที่คุณสนใจความแม่นยำและ meanเป็นพารามิเตอร์ที่สร้างความรำคาญ ในกรณีนี้คุณมีฟังก์ชั่นบันทึกความเป็นไปได้: $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

ใน REML เราแบ่งความน่าจะเป็นนี้เป็นสององค์ประกอบ:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

เราได้ตัวประมาณค่า REML สำหรับพารามิเตอร์ความแม่นยำโดยการเพิ่มความน่าจะเป็นที่เหลือซึ่งทำให้ตัวประมาณค่าที่เป็นกลางสำหรับความแปรปรวน:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

ในกรณีนี้ตัวประมาณ REML จะสอดคล้องกับตัวประมาณค่า MAP สำหรับความหนาแน่น "ก่อนหน้า":

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

อย่างที่คุณเห็นจริง ๆ แล้ว "ก่อนหน้า" นี้ขึ้นอยู่กับค่าข้อมูลที่สังเกตดังนั้นจึงไม่สามารถเกิดขึ้นจริงก่อนที่จะเห็นข้อมูล ยิ่งไปกว่านั้นเราจะเห็นได้ชัดว่ามันเป็น "ที่ไม่เหมาะสม" ก่อนหน้านี้ที่ทำให้น้ำหนักของและมากขึ้นเรื่อย ๆ (อันที่จริงก่อนหน้านี้เป็นคนทำตัวสวย ๆ ) หากโดย "ความบังเอิญ" คุณต้องสร้างรูปแบบก่อนหน้านี้ที่เกิดขึ้นเพื่อให้สอดคล้องกับผลลัพธ์นี้ตัวประมาณ REML จะเป็นตัวประมาณของแผนที่ภายใต้เรื่องก่อนหน้านี้ ตัวประมาณที่เพิ่มด้านหลังให้ใหญ่ที่สุดก่อนหน้านั้น $\theta$ $\nu$

— Ben - Reinstate Monica
แหล่งที่มา

ช่างเป็นคำตอบที่ชัดเจนมาก! ฉันรู้สึกว่าฉันเข้าใจ REML ดีกว่ามากซึ่งส่วนใหญ่เป็นเป้าหมายหลักของฉัน วิธีการของคุณในการเปิดการโต้แย้งของคุณดูเหมือนจะเป็นหลักในการระบุตัวตนแล้ว 'แก้ปัญหา' ก่อน จากนั้นคุณก็จะรื้อถอนสิ่งนั้นก่อนหน้านี้ซึ่งดูเหมือนว่าฉันจะเป็นคำวิจารณ์ ทำอย่างสวยงาม!

— David C. Norris

ใช่นั่นเป็นวิธีที่ฉันใช้ โดยการเปรียบเทียบเรามักจะให้การตีความ MLE แบบเบย์ด้วยวิธีเดียวกัน --- โดยการหาว่า MLE เป็น MAP ภายใต้เครื่องแบบก่อน ดังนั้นโดยทั่วไปเมื่อเราต้องการหาอะนาล็อกแบบเบย์ไปยังตัวประมาณแบบคลาสสิกที่เกิดขึ้นจากการเพิ่มฟังก์ชั่นบางอย่างให้มากที่สุดเราเพิ่งตั้งค่าฟังก์ชั่นนั้นไปทางด้านหลัง หากสิ่งนี้ให้ความรู้สึกที่สมเหตุสมผลมาก่อนเราจะมีการตีความแบบเบย์ที่ดี หากก่อนหน้านี้บ้า (เช่นเดียวกับ REML) เรามีข้อโต้แย้งที่ดีว่าไม่มีการตีความแบบเบย์ที่ดี

— เบ็น - Reinstate Monica