ความแปรปรวนกับผลรวมของค่าที่คาดการณ์จากตัวแบบเอฟเฟกต์แบบผสมบนชุดเวลา

ฉันมีรูปแบบเอฟเฟกต์แบบผสม (อันที่จริงแล้วเป็นโมเดลผสมแบบผสมทั่วไป) ที่ให้การคาดการณ์สำหรับไทม์ ในการต่อต้านความสัมพันธ์อัตโนมัติฉันใช้โมเดล corCAR1 เนื่องจากข้อเท็จจริงที่ว่าฉันมีข้อมูลขาดหายไป ข้อมูลควรจะให้โหลดทั้งหมดแก่ฉันดังนั้นฉันต้องรวมช่วงเวลาการทำนายทั้งหมด แต่ฉันควรจะได้รับการประมาณข้อผิดพลาดมาตรฐานของการโหลดทั้งหมดด้วย

หากการคาดคะเนทั้งหมดเป็นอิสระสิ่งนี้สามารถแก้ไขได้อย่างง่ายดายโดย:

$Var(\sum^{n}_{i=1}E[X_i]) = \sum^{n}_{i=1}Var(E[X_i])$ กับ $Var(E[X_i]) = SE(E[X_i])^2$

ปัญหาคือค่าที่คาดการณ์มาจากแบบจำลองและข้อมูลดั้งเดิมมีความสัมพันธ์อัตโนมัติ ปัญหาทั้งหมดนำไปสู่คำถามต่อไปนี้:

ฉันถูกต้องในการสมมติว่า SE ในการทำนายที่คำนวณได้สามารถตีความได้ว่าเป็นรากของความแปรปรวนตามมูลค่าที่คาดหวังของการทำนายนั้นหรือไม่ ฉันมีแนวโน้มที่จะ interprete การทำนายเป็น "การคาดการณ์ความหมาย" และรวมชุดของวิธีการทั้งหมด
ฉันจะรวมความสัมพันธ์อัตโนมัติในปัญหานี้ได้อย่างไรหรือฉันสามารถสรุปได้อย่างปลอดภัยว่าจะไม่มีผลต่อผลลัพธ์มากเกินไป

นี่เป็นตัวอย่างใน R. ชุดข้อมูลจริงของฉันมีการวัดประมาณ 34,000 ชุดดังนั้นปัญหาความสามารถในการปรับขนาดได้ นั่นคือเหตุผลที่ฉันสร้างแบบจำลองความสัมพันธ์อัตโนมัติภายในแต่ละเดือนมิฉะนั้นการคำนวณจะเป็นไปไม่ได้อีกต่อไป มันไม่ใช่ทางออกที่ถูกต้องที่สุด แต่วิธีที่ถูกต้องที่สุดนั้นไม่สามารถทำได้

set.seed(12)
require(mgcv)

Data <- data.frame(
    dates = seq(as.Date("2011-1-1"),as.Date("2011-12-31"),by="day")
)

Data <- within(Data,{
X <- abs(rnorm(nrow(Data),3))
Y <- 2*X + X^2 + scale(Data$dates)^2
month <- as.POSIXlt(dates)$mon+1
mday <- as.POSIXlt(dates)$mday
})

model <- gamm(Y~s(X)+s(as.numeric(dates)),correlation=corCAR1(form=~mday|month),data=Data)

preds <- predict(model$gam,se=T)

Total <- sum(preds$fit)

แก้ไข:

บทเรียนที่จะเรียนรู้: ขั้นแรกให้ดูตัวอย่างทั้งหมดในไฟล์ช่วยเหลือทั้งหมดก่อนที่จะตื่นตระหนก ในไฟล์ช่วยเหลือของ predict.gam ฉันสามารถค้นหา:

#########################################################
## now get variance of sum of predictions using lpmatrix
#########################################################

Xp <- predict(b,newd,type="lpmatrix") 

## Xp %*% coef(b) yields vector of predictions

a <- rep(1,31)
Xs <- t(a) %*% Xp ## Xs %*% coef(b) gives sum of predictions
var.sum <- Xs %*% b$Vp %*% t(Xs)

ซึ่งดูเหมือนจะใกล้เคียงกับสิ่งที่ฉันต้องการจะทำ สิ่งนี้ยังไม่ได้บอกฉันว่ามันทำอย่างไร ฉันสามารถเข้าใจได้ถึงความจริงที่ว่ามันขึ้นอยู่กับเมทริกซ์ตัวทำนายเชิงเส้น ข้อมูลเชิงลึกใด ๆ ยังคงยินดีต้อนรับ

mixed-model variance random-variable

— Joris Meys
แหล่งที่มา

ฉันไม่แน่ใจว่าโปรแกรม r กำลังทำอะไร แต่เรามี โดยที่คือเวกเตอร์คอลัมน์ของอันและคือความแปรปรวนร่วม เมทริกซ์สำหรับ T สิ่งนี้ช่วยได้ไหม?

โวลต์ a R (\underset{ผม}{Σ} E [X_{ผม}]) = a^{T} โวลต์ a R (E [X]) a

$var(\sum_iE[X_i])=a^Tvar(E[X])a$

a

$a$

v a r (E [X])

$var(E[X])$

E [X] = (E [X_{1}], \dots, E [X_{n}])^{T}

$E[X]=(E[X_1],\dots,E[X_n])^T$

— ความน่าจะเป็นทาง

@probabilityislogic นั้นเป็นสิ่งที่โปรแกรม r กำลังทำอยู่ ขอบคุณสำหรับคณิตศาสตร์

— Joris Meys

@probabilityislogic หากคุณสามารถใส่คำตอบลงไปได้คุณสามารถคว้าค่าหัว +50 ได้ ;)

— e-sushi

ปัญหาหนึ่งที่ฉันเห็นและอาจเป็นแค่การตีความสัญลักษณ์ของคุณอย่างผิด ๆ แต่ซึ่งเป็นค่าคงที่ดังนั้นนั่นคือที่ที่ฉันสับสนเป็นส่วนใหญ่

E (X_{i}) = μ_{i}

$E(X_{i})=\mu_{i}$

\sum_{i = 1}^{n} V a r (E [X_{i}]) = 0

$\sum_{i=1}^{n}Var(E[X_{i}])=0$

— user52220

@ user52220 นั่นคือสิ่งที่คุณผิด E (Xi) เป็นค่าที่คาดหวังและดังนั้นจึงเป็นตัวแปรสุ่มในขณะที่ mu_i เป็นค่าเฉลี่ยของประชากรและด้วยจำนวนคงที่ Var (mu) = 0 แต่สิ่งนี้ไม่ถูกต้องสำหรับ E (Xi)

— Joris Meys

ในสัญกรณ์เมทริกซ์แบบผสมสามารถแสดงเป็น

y = X * เบต้า + Z * u + epsilon

โดยที่ X และ Z เป็นที่รู้จักในการฝึกอบรมการออกแบบที่เกี่ยวข้องกับเอฟเฟกต์คงที่และการสังเกตผลแบบสุ่มตามลำดับ

ฉันจะใช้การแปลงที่ง่ายและเพียงพอ (แต่ไม่ใช่ดีที่สุด) สำหรับการแก้ไขความสัมพันธ์อัตโนมัติที่เกี่ยวข้องกับการสูญเสียการสังเกตครั้งแรกและแทนที่เวกเตอร์คอลัมน์ของ [y1, y2, ... yn] ด้วยขนาดเล็กทีละหนึ่ง เวกเตอร์คอลัมน์การสังเกต ได้แก่ : [y2 - rho * y1, y3 - rho * y2, ... , yn - rho * y (n-1)], โดยที่ rho เป็นค่าประมาณของคุณสำหรับความสัมพันธ์อัตโนมัติแบบอนุกรม

สิ่งนี้สามารถทำได้โดยการคูณด้วยเมทริกซ์ T สร้าง T * y โดยที่แถวที่ 1 ของ T ประกอบด้วยดังนี้: [-rho, 1, 0, 0, .... ], แถวที่ 2: [0, -rho, 1, 0, 0, ... ] ฯลฯ ในทำนองเดียวกันเมทริกซ์การออกแบบอื่นจะเปลี่ยนเป็น T * X และ T * Z นอกจากนี้เมทริกซ์ความแปรปรวนร่วมแปรปรวนของข้อผิดพลาดก็มีการเปลี่ยนแปลงเช่นกันตอนนี้มีข้อผิดพลาดอิสระ

ตอนนี้เพียงแค่คำนวณวิธีแก้ปัญหาด้วยเมทริกซ์การออกแบบใหม่

— AJKOER
แหล่งที่มา