เหตุใดจึงยากที่จะรวมความไม่แน่นอนในเอฟเฟกต์แบบสุ่มเมื่อทำการทำนายจากตัวแบบผสม?

มีหลายเธรดใน R-sig-ME เกี่ยวกับการได้รับช่วงความเชื่อมั่นสำหรับการทำนายโดยใช้lme4และnlmeในอาร์ตัวอย่างเช่นที่นี่และที่นี่ในปี 2010 รวมถึงคำอธิบายของ Dougals Bates ซึ่งเป็นหนึ่งในผู้เขียนของทั้งสองแพคเกจ ฉันลังเลที่จะพูดคำต่อคำเพราะเขากลัวว่าพวกเขาจะถูกนำออกไปจากบริบท แต่อย่างไรก็ตามความคิดเห็นหนึ่งที่เขาทำคือ

"คุณกำลังรวมพารามิเตอร์และตัวแปรสุ่มเข้ากับการคาดการณ์ของคุณและฉันไม่แน่ใจว่าการประเมินความแปรปรวนของการคาดการณ์เหล่านั้นหมายความว่าอย่างไร Bayesian อาจจะเข้าใจได้ แต่ฉันไม่สามารถเข้าใจได้ " https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

ฉันรู้ว่าแพ็คเกจ glmm ของ Bayesian MCMCglmmสามารถสร้างช่วงเวลาที่น่าเชื่อถือสำหรับการคาดการณ์

เมื่อเร็ว ๆ นี้รุ่นพัฒนาของlme4on github ได้รับpredictวิธีการ แต่มันมาพร้อมกับความคิดเห็นต่อไปนี้:

"@note ไม่มีตัวเลือกสำหรับการคำนวณข้อผิดพลาดมาตรฐานของการทำนายเนื่องจากเป็นการยากที่จะกำหนดวิธีการที่มีประสิทธิภาพซึ่งรวมความไม่แน่นอนในพารามิเตอร์ความแปรปรวนเราขอแนะนำ \ code {\ link {bootMer}} สำหรับงานนี้" https://github.com/lme4/lme4/blob/master/R/predict.R

เหตุใดจึงยากที่จะรวมความไม่แน่นอนในเอฟเฟกต์แบบสุ่มเมื่อทำการคาดการณ์จากโมเดลผสมในการตั้งค่าที่ใช้บ่อย

ฉันไม่แน่ใจเกี่ยวกับความคิดเห็นเกี่ยวกับวิธีการทำนาย แต่ปัญหาหลักเกี่ยวข้องกับการสร้างมาตรการแปรปรวนที่ตีความได้ง่ายไม่ใช่มาตรการแปรปรวนต่อกัน เบตส์ไม่ได้แสดงความคิดเห็นในการอ้างอิงครั้งแรกว่าคุณสามารถทำได้หรือไม่มันหมายถึงอะไร

ใช้แบบจำลองหลายระดับอย่างง่ายของการออกแบบการวัดซ้ำสองระดับ สมมติว่าคุณมีข้อมูลต่อไปนี้ที่แต่ละบรรทัดมีหัวเรื่อง:

ในlmerรูปแบบสามารถแสดงเป็น:

y ~ x + (1|subject)

คุณคาดการณ์ค่า y จาก x เป็นเอฟเฟกต์คงที่ (ความแตกต่างระหว่าง A และ B); และการสกัดกั้นผลแบบสุ่ม ** ดูกราฟอย่างระมัดระวังและสังเกตว่าในขณะที่เอฟเฟกต์ x สำหรับแต่ละเรื่อง (ความชันของแต่ละบรรทัด) มันค่อนข้างเล็กเมื่อเทียบกับความแปรปรวนของวัตถุ (ความสูงของแต่ละบรรทัด)

โมเดลแยกวิเคราะห์ความแปรปรวนสองชุดนี้และแต่ละชุดมีความหมาย คุณสามารถใช้เอฟเฟกต์แบบสุ่มเพื่อทำนายความสูงของเส้นและคุณสามารถใช้เอฟเฟกต์คงที่ของ x เพื่อทำนายความลาดชัน คุณสามารถใช้ทั้งสองรวมกันเพื่อทำงานค่า y แต่ละค่าของเรา แต่สิ่งที่คุณทำไม่ได้คือพูดอะไรที่มีความหมายกับโมเดลของคุณเมื่อคุณรวมความแปรปรวนของความลาดชันและความสูงของเส้นเข้าด้วยกัน คุณต้องพูดถึงความแปรปรวนของความลาดชันและความสูงของเส้นแยกจากกัน นั่นเป็นคุณสมบัติของรุ่นไม่ใช่ความรับผิดชอบ

คุณจะมีความแปรปรวนของผลกระทบของ x ที่ค่อนข้างง่าย คุณสามารถพูดอะไรบางอย่างเกี่ยวกับช่วงความมั่นใจรอบ ๆ นั้น แต่โปรดทราบว่าช่วงความมั่นใจนี้จะมีความสัมพันธ์เล็กน้อยกับการคาดการณ์ของค่า y ใด ๆ เนื่องจากค่า y นั้นได้รับอิทธิพลจากการผสมผสานระหว่างเอฟเฟกต์และความแปรปรวนของเรื่องที่แตกต่างจากความแปรปรวนของเอฟเฟกต์เพียงอย่างเดียว

เมื่อเบทส์เขียนสิ่งต่าง ๆ อย่างที่คุณยกมาฉันคิดว่าเขามักจะนึกถึงการออกแบบหลายระดับที่ซับซ้อนกว่าซึ่งสิ่งนี้ไม่ได้เข้าใกล้ แต่แม้ว่าคุณเพียงแค่พิจารณาตัวอย่างง่ายๆนี้คุณก็จะสงสัยว่าความหมายที่แท้จริงจะถูกดึงออกมาจากการรวมการวัดความแปรปรวนทั้งหมดเข้าด้วยกัน

ฉันไม่สนใจเอฟเฟกต์คงที่ของการสกัดกั้นเพื่อความเรียบง่ายและแค่ถือว่าเป็นเอฟเฟกต์แบบสุ่ม คุณสามารถแยกข้อสรุปที่คล้ายกันจากโมเดลที่เรียบง่ายกว่าด้วยการสกัดกั้นแบบสุ่มและแบบคงที่เท่านั้น แต่ฉันคิดว่ามันจะยากกว่าที่จะถ่ายทอด ในกรณีนั้นอีกครั้งผลกระทบคงที่และผลการสุ่มจะถูกแยกวิเคราะห์ด้วยเหตุผลและหมายถึงสิ่งที่แตกต่างกันและนำความแปรปรวนของพวกเขากลับมารวมกันสำหรับค่าที่ทำนายทำให้ความแปรปรวนที่จะทำให้ความรู้สึกเล็ก ๆ น้อย ๆ

เป็นเวลานานที่ฉันสงสัยเกี่ยวกับความเชื่อทั่วไปที่ดูเหมือนว่ามีความแตกต่างพื้นฐานบางอย่างในลักษณะพิเศษแบบคงที่และแบบสุ่มสำหรับโมเดลเอฟเฟกต์ผสม (โดยทั่วไปไม่เป็นเชิงเส้น) ความเชื่อนี้เป็นตัวอย่างที่ระบุโดยเบตส์ในการตอบสนองต่อไปนี้

https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Bates ระบุไว้อย่างชัดเจนว่าเขาเชื่อว่ามีความแตกต่างพื้นฐานระหว่างเอฟเฟกต์แบบคงที่และแบบสุ่มเพื่อให้ไม่สามารถรวมกันได้ ฉันคิดว่าเขาผิดและฉันหวังว่าจะโน้มน้าวให้ผู้อ่านบางคนถึงมุมมองทางเลือก ฉันใช้วิธีการแบบประจำดังนั้นสิ่งที่ฉันต้องการทำคือการกำหนดแนวคิดของความน่าจะเป็นของโปรไฟล์สำหรับฟังก์ชันของเอฟเฟกต์ทั้งแบบคงที่และแบบสุ่ม เพื่อกระตุ้นการสนทนาสมมติว่าเรามีรูปแบบพารามิเตอร์สองตัวพร้อมพารามิเตอร์ x และ u (ไม่มีอะไรเกี่ยวกับเอฟเฟกต์แบบสุ่ม) ให้ เป็นฟังก์ชั่นความเป็นไปได้ที่เราจะไม่ใช้การอ้างอิงใด ๆ กับข้อมูล ให้เป็นฟังก์ชัน (nice) ใด ๆ ของ x และ u โปรไฟล์ความน่าจะเป็น สำหรับฟังก์ชันถูกกำหนดโดยg ( x , u ) P g ( t ) $L(x,u)$$g(x,u)$$P_g(t)$$g$

$$P_g(t)=\max_{x,u} \{L(x,u)\ |\ g(x,u)=t \} \eqno(1)$$

ฉันเชื่อว่าจะไม่มีใครโต้แย้งกับสิ่งนี้ ทีนี้สมมติว่าเรามีการแจกแจงความน่าจะเป็นก่อนสำหรับคุณ จากนั้นฉันจะอ้างว่าโปรไฟล์ความน่าจะเป็นสำหรับยังคงสมเหตุสมผล แต่เราควรแก้ไข (1) โดยรวมถึงก่อนหน้านี้$p(u)$$g$

$$P_g(t)=\max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=t \} \eqno(2)$$ โปรดทราบว่าเนื่องจากเป็นพารามิเตอร์ที่มี ก่อนหน้านี้มันเหมือนกับสิ่งที่เรียกว่าเอฟเฟกต์แบบสุ่ม ทำไมหลายคนถึงคิดว่าพารามิเตอร์เอฟเฟกต์แบบสุ่มแตกต่างกัน ความแตกต่างที่ฉันคิดว่ามาจากการปฏิบัติตามปกติของการประมาณค่าพารามิเตอร์สำหรับพวกเขา สิ่งที่สร้างเอฟเฟ็กต์แบบ `` แตกต่าง '' คือมีหลายอย่างในหลายรุ่น ดังนั้นเพื่อให้ได้การประมาณค่าที่มีประโยชน์สำหรับเอฟเฟกต์คงที่ (หรือพารามิเตอร์อื่น ๆ ) จึงจำเป็นต้องใช้เอฟเฟกต์แบบสุ่มด้วยวิธีอื่น สิ่งที่เราทำคือการรวมมันเข้ากับโมเดล ในโมเดลด้านบนเราจะสร้างความน่าจะเป็นโดยที่ ตอนนี้$u$$F(x)$ $$F(x) = \int L(x,u)p(u)du$$ $u$ไปแล้ว ดังนั้นหากทุกสิ่งที่เรามีคือมันดูเหมือนว่าจะทำให้รู้สึกไม่ที่จะพูดคุยเกี่ยวกับความน่าจะเป็นรายละเอียดบางฟังก์ชั่นU)$F(x)$$g(x,u)$

ดังนั้นเพื่อให้ได้ข้อมูลเกี่ยวกับฟังก์ชั่นเราไม่ควรบูรณาการมากกว่าพารามิเตอร์ยูแต่จะเกิดอะไรขึ้นในกรณีที่มีพารามิเตอร์เอฟเฟกต์แบบสุ่มจำนวนมาก จากนั้นฉันอ้างว่าเราควรรวมเข้ากับ `` ส่วนใหญ่ '' แต่ไม่ใช่ทั้งหมดในแง่ที่ฉันจะทำให้แม่นยำ เพื่อกระตุ้นการก่อสร้างให้มีผลกระทบสุ่ม u_n) พิจารณากรณีพิเศษที่ฟังก์ชั่นเพียงขึ้นอยู่กับและในความเป็นจริงเป็น imagineable ฟังก์ชั่นที่ง่ายกรัมผสานรวมกับเอฟเฟกต์แบบสุ่มเพื่อรับ $g(x,u)$$u$$n$$u=(u_1,u_2,...,u_{n-1},u_n)$$g(x,u)$$u_n$$g(x,u)=u_n$$u_1,u_2,...,u_{n-1}$

$$F(x,u_n) = \int L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_{n-1}\eqno(4)$$ เหมือนเดิม เราสามารถสร้างโปรไฟล์ความน่าจะเป็น วิธีการพูดคุยเพื่อที่จะทำให้ความรู้สึกสำหรับฟังก์ชั่นโดยพลU) โปรดสังเกตว่าคำจำกัดความของใน เหมือนกับ เพื่อดูบันทึกนี้ว่าสำหรับกรณีธรรมดา , เหมือนกับ $$P_g(t)=\max_{x,u_n} \{F(x,u_n) | u_n=t \} \eqno(3)$$ $(3)$$g(x,u)$$F(x,u_n)$$(4)$ $$F(x,s) = \lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<g(x,u_n)<s+\epsilon/2\}} L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_n\eqno(5)$$ $g(x,u)=u_n$$(5)$ $$F(x,s)=\lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<u_n<s+\epsilon/2\}} F(x,u_n)du_n\eqno(6)$$

สำหรับฟังก์ชั่นทั่วไป เราสร้างฟังก์ชัน กำหนดโดยและคำนวณความน่าจะเป็นของโปรไฟล์ $g(x,u)$$F(x,s)$$(5)$

$$P_g(s)=\max_{x,u} \{F(x,s) | g(x,u)=s \} \eqno(3)$$

ความเป็นไปได้ของโปรไฟล์นี้เป็นแนวคิดที่กำหนดไว้อย่างดีและมีความเป็นส่วนตัว อย่างไรก็ตามเพื่อให้มีประโยชน์ในทางปฏิบัติเราจำเป็นต้องคำนวณค่าของมันอย่างน้อยประมาณ ฉันเชื่อว่าสำหรับหลาย ๆ รุ่นฟังก์ชั่นสามารถประมาณได้ดีพอโดยใช้ตัวแปรของ Laplace Approxation กำหนดโดย Let H เป็นกระสอบของบันทึกของฟังก์ชั่นที่ที่เกี่ยวกับพารามิเตอร์และU$F(x,s)$$\hat x(s),\hat u(s)$

$$\hat x(s),\hat u(s)= \max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=s\}$$ $-L(x,u)p(u)$$x$$u$

ชุดระดับของมี submanifolds มิติของมิติที่มีถาวรผลกระทบและผลกระทบแบบสุ่ม เราจำเป็นต้องรวม form เหนือช่องนี้ซึ่งทั้งหมดจะถูกทำให้เป็นเส้นตรงที่ เรื่องนี้เกี่ยวข้องกับเรขาคณิตเชิงอนุพันธ์เบื้องต้น สมมติว่า โดย reparameterizing เราสามารถ assum ที่และ 0 จากนั้นพิจารณาแผนที่ $g$$m+n-1$$n+m$$m$$n$$n$$du_1\wedge du_2\wedge\ldots\wedge du_n$$\hat x(s),\hat u(s)$$g_{x_n}(\hat x(s),\hat u(s))\ne 0$$\hat x(s)=0$$\hat u(s)=0$

$$(x_1,x_2,\ldots,x_{m-1},u_1,u_2,\ldots,u_n) \rightarrow (x_1,x_2,\ldots,x_{m-1}, {-\sum_{i=1}^{m-1}g_{x_i}x_i-\sum_{i=1}^ng_{u_i}u_i\over g_{x_m}}, u_1,u_2,\ldots,u_n)$$ โดยที่ใช้ แสดงถึงผลสืบเนื่องบางส่วนของเทียบกับ ประเมินที่จุดสูงสุด นี่คือแผนที่เชิงเส้นของมิติบนพื้นที่สัมผัสของชุดระดับของกรัมเราสามารถใช้มันเพื่อคำนวณอินทิกรัลที่ต้องการ ขั้นแรกการดึงกลับของ 1 รูปแบบเป็นเพียงตัวเอง$g_{x_i}$$g$$x_i$$m+n-1$$g$$du_i$

การดึงกลับของ Hessian เป็นรูปแบบสมการกำลังสอง

$$T_{i,j} =H_{i+m,j+m}+{g_{u_i}g_{u_j}\over {g_{x_m}}^2}H_{m,m}\quad \hbox{\rm for} \ 1<=i,j<=n$$

ดังนั้นอินทิกรัลสามารถคำนวณ (หรือประมาณ) ผ่านการประมาณ Laplace ซึ่งเป็นสูตรปกติที่เกี่ยวข้องกับลอการิทึมของดีเทอร์มีแนนต์ของซึ่งคำนวณจากการสลายตัวของ Cholesky มูลค่าของ Laplace ที่ประมาณของอินทิกรัลคือ โดยที่เป็นตัวกำหนด เรายังต้องจัดการกับความกว้างของชุดระดับของเป็น ในการสั่งซื้อครั้งแรกนี้มีค่า โดยที่เป็นเวกเตอร์ของอนุพันธ์ย่อยของ $T$

$$L(\hat x(s),\hat u(s))|-T|^{1\over2}$$ $|\cdot|$$g$$\epsilon\rightarrow 0$$\epsilon/\|\nabla g(\hat x(s),\hat u(s))\|$$\nabla g(\hat x(s),\hat u(s)))$$g$ $( g_{x_1}, g_{x_2}, \ldots, g_{x_m}, g_{u_1}, g_{u_2}, \ldots, g_{u_n})$ เพื่อให้ค่าความน่าจะเป็นในการตั้งค่าระดับของจะได้รับ โดย นี่คือการประมาณที่ถูกต้องที่จะใช้สำหรับการคำนวณความน่าจะเป็นของโปรไฟล์$g$ $${L(\hat x(s),\hat u(s))|-T|^{1\over2}\over \|\nabla g(\hat x(s),\hat u(s))\|}$$