การคืนค่าสัมประสิทธิ์และความแปรปรวนจากการถดถอยพหุนามแบบฉากฉาก

ดูเหมือนว่าถ้าฉันมีโมเดลการถดถอยเช่น $y_i \sim \beta_0 + \beta_1 x_i+\beta_2 x_i^2 +\beta_3 x_i^3$ ฉันสามารถใส่พหุนามดิบและได้ผลลัพธ์ที่ไม่น่าเชื่อถือหรือใส่พหุนาม orthogonal และรับสัมประสิทธิ์ที่ไม่มีการตีความทางกายภาพโดยตรง (เช่นฉันไม่สามารถใช้พวกมันเพื่อค้นหาตำแหน่งของ extrema ในระดับเดิม) ดูเหมือนว่าฉันควรจะมีสิ่งที่ดีที่สุดของทั้งสองโลกและสามารถแปลงค่าสัมประสิทธิ์มุมฉากที่เหมาะสมและความแปรปรวนของพวกมันกลับคืนสู่ระดับดิบ ฉันใช้หลักสูตรบัณฑิตศึกษาในการประยุกต์การถดถอยเชิงเส้น (โดยใช้ Kutner, 5ed) และฉันดูผ่านบทการถดถอยพหุนามในเดรเปอร์ (3ed ที่อ้างถึงโดย Kutner) แต่ไม่พบการสนทนาเกี่ยวกับวิธีการทำเช่นนี้ ข้อความช่วยเหลือสำหรับpoly()ฟังก์ชั่นใน R ไม่ได้ ฉันไม่พบสิ่งใดในการค้นหาเว็บของฉันรวมถึงที่นี่ด้วย กำลังสร้างค่าสัมประสิทธิ์ดิบ (และรับค่าความแปรปรวน) จากค่าสัมประสิทธิ์ที่พอดีกับพหุนาม orthogonal ...

เป็นไปไม่ได้ที่จะทำและฉันเสียเวลา
อาจเป็นไปได้ แต่ไม่ทราบว่าในกรณีทั่วไป
เป็นไปได้ แต่ไม่ได้พูดถึงเพราะ "ใครจะไป?"
เป็นไปได้ แต่ไม่ได้กล่าวถึงเพราะ "ชัดเจน"

หากคำตอบคือ 3 หรือ 4 ฉันจะขอบคุณมากถ้ามีคนมีความอดทนที่จะอธิบายวิธีการทำเช่นนี้หรือชี้ไปที่แหล่งที่ทำเช่นนั้น ถ้าเป็น 1 หรือ 2 ฉันก็ยังอยากรู้ว่าอะไรคืออุปสรรค ขอบคุณมากสำหรับการอ่านและฉันต้องขออภัยล่วงหน้าหากฉันมองเห็นบางสิ่งบางอย่างที่ชัดเจน

— f1r3br4nd
แหล่งที่มา

ฉันไม่เข้าใจคะแนนของคุณ x, x

และ x

ไม่ใช่ orthogonal ดังนั้นพวกเขามีความสัมพันธ์และพารามิเตอร์การถดถอยอาจไม่เสถียร แต่มันก็ไม่ได้เป็นกรณีที่พวกเขาไม่น่าเชื่อถือโดยอัตโนมัติ การเปลี่ยนเป็นพหุนามแบบหลายมิติอาจมีความน่าเชื่อถือมากกว่า แต่ค่าสัมประสิทธิ์ของพลังดั้งเดิมของ x ใดที่ตีความได้มากกว่าค่าสัมประสิทธิ์ของพหุนามแบบมุมฉาก? ถ้า x เป็นเพียงตัวแปรเดียวในโมเดล y = a + bx ดังนั้น ∆y = yi-yi-1 = b∆x และ b สามารถตีความได้เนื่องจากการเปลี่ยนแปลงใน y ต่อหน่วยเปลี่ยนเป็น x แต่ด้วยพลังที่เกี่ยวข้องกับการตีความเช่นนี้จะหายไป

^{2}

$^2$

^{3}

$^3$

— Michael R. Chernick

ฉันใช้โมเดลที่มีเพียง x เป็นตัวแปรเพื่อความเรียบง่าย แต่ในความเป็นจริงฉันเปรียบเทียบเส้นโค้งระหว่างกลุ่มการรักษา ดังนั้นขึ้นอยู่กับเงื่อนไขที่มีนัยสำคัญและขนาดของพวกเขาฉันสามารถตีความพวกเขา - ยกตัวอย่างเช่นการเปลี่ยนแปลงโดยรวมขึ้น / ลงหรือความลาดชันเริ่มต้นมากขึ้น / น้อยลง ตามที่คำถามของฉันบอกไว้การเปรียบเทียบโดยธรรมชาติที่ทำระหว่างเส้นโค้งคือตำแหน่งของ maxima / minima ซึ่งง่ายต่อการตีความหากอยู่ในระดับเดิม ดังนั้นการลงคะแนนของคุณสำหรับตัวเลือก 3 ฉันจะรับหรือไม่

— f1r3br4nd

ไม่ฉันยังไม่ทราบว่าเป็นไปได้หรือไม่ ฉันเพิ่งเข้าใจว่าทำไมคุณถึงอยากทำ

— Michael R. Chernick

โปรดทราบว่าแบบจำลองที่พอดีกับชื่อโพลิโนเมียลแบบฉากจะมีขนาดพอดี (เช่น

เดียวกัน, ค่าติดตั้งเหมือนกัน, ฯลฯ ) เมื่อแบบจำลองนั้นพอดีกับคำพหุนามแบบดิบ ดังนั้นหากคุณต้องการเชื่อมโยงสิ่งนี้กลับไปยังข้อมูลดั้งเดิมคุณสามารถดูค่าสัมประสิทธิ์สำหรับคำศัพท์ดิบ แต่ใช้ชื่อพหุนามแบบมุมฉากเพื่ออนุมานคำแต่ละคำในวิธีที่ "บัญชีสำหรับ" การพึ่งพาระหว่างพวกเขา .

R^{2}

$R^2$

— Macro

เมื่อมันปรากฎออกมาคือลูกบาศก์ splines และ B-splines อยู่ในชั้นเรียนทั้งหมดด้วยตัวเองและเป็นสิ่งที่ดีที่สุดของสองโลก

— คาร์ล

ใช่มันเป็นไปได้

ให้เป็นชิ้นส่วนที่ไม่คงที่ของ polynomials มุมฉากคำนวณจากฉัน(แต่ละอันคือเวกเตอร์คอลัมน์) การย้อนกลับกับจะต้องลงตัวพอดี คุณสามารถดำเนินการได้ด้วยซอฟต์แวร์แม้ว่าจะไม่ได้จัดทำเอกสารขั้นตอนในการคำนวณชื่อพหุนามแบบมุมฉาก การถดถอยของให้ค่าสัมประสิทธิ์ซึ่ง $z_1, z_2, z_3$ $x_i$ $x_i$ $z_j$ $\gamma_{ij}$

z_{i j} = γ_{j 0} + x_{i} γ_{j 1} + x_{i}^{2} γ_{j 2} + x_{i}^{3} γ_{j 3} .

$z_{ij} = \gamma_{j0} + x_i\gamma_{j1} + x_i^2\gamma_{j2} + x_i^3\gamma_{j3}.$

ผลที่ได้คือเมทริกซ์ว่าเมื่อคูณขวาแปลงเมทริกซ์ออกแบบเข้า $4\times 4$ $\Gamma$ $X=\pmatrix{1;&x;&x^2;&x^3}$

\begin{matrix} (1) & Z = (\begin{matrix} 1; & z_{1}; & z_{2}; & z_{3} \end{matrix}) = X Γ . \end{matrix}

$Z=\pmatrix{1;&z_1;&z_2;&z_3} = X\Gamma.\tag{1}$

หลังจากติดตั้งโมเดลแล้ว

E (Y) = Z β

$\mathbb{E}(Y) = Z\beta$

$\hat\beta$ $(1)$

\hat{Y} = Z \hat{β} = (X Γ) \hat{β} = X (Γ \hat{β}) .

$\hat Y = Z\hat\beta = (X\Gamma)\hat\beta = X(\Gamma\hat\beta).$

$\Gamma\hat\beta$ $x$

Rรหัสต่อไปนี้แสดงขั้นตอนเหล่านี้และทดสอบด้วยข้อมูลสังเคราะห์

n <- 10        # Number of observations
d <- 3         # Degree
#
# Synthesize a regressor, its powers, and orthogonal polynomials thereof.
#
x <- rnorm(n)
x.p <- outer(x, 0:d, `^`); colnames(x.p) <- c("Intercept", paste0("x.", 1:d))
z <- poly(x, d)
#
# Compute the orthogonal polynomials in terms of the powers via OLS.
#
xform <- lm(cbind(1, z) ~ x.p-1)
gamma <- coef(xform)
#
# Verify the transformation: all components should be tiny, certainly
# infinitesimal compared to 1.
#
if (!all.equal(as.vector(1 + crossprod(x.p %*% gamma - cbind(1,z)) - 1), 
    rep(0, (d+1)^2)))
  warning("Transformation is inaccurate.")
#
# Fit the model with orthogonal polynomials.
#
y <- x + rnorm(n)
fit <- lm(y ~ z)
#summary(fit)
#
# As a check, fit the model with raw powers.
#
fit.p <- lm(y ~ .-1, data.frame(x.p))
#summary(fit.p)
#
# Compare the results.
#
(rbind(Computed=as.vector(gamma %*% coef(fit)), Fit=coef(fit.p)))

if (!all.equal(as.vector(gamma %*% coef(fit)), as.vector(coef(fit.p))))
  warning("Results were not the same.")

— whuber
แหล่งที่มา

Γ

$\Gamma$

1

$1$

10^{- 16}

$10^{-16}$

1

$1$

สองปีต่อมา ... @ เมื่อไรเป็นไปได้ไหมที่จะขยายไปยังค่าสัมประสิทธิ์ 95% ของค่าสัมประสิทธิ์เช่นกัน?

— user2602640

@ user2602640 ใช่ คุณต้องแยกเมทริกซ์ความแปรปรวนร่วม - ความแปรปรวนร่วมของสัมประสิทธิ์ (ใช้vcovในR) เพื่อแปลงความแปรปรวนที่คำนวณในหนึ่งเกณฑ์ไปยังผลต่างในเกณฑ์ใหม่แล้วคำนวณ CIs ด้วยตนเองตามปกติ

— whuber

@ เมื่อไรฉันได้แสดงความคิดเห็นของคุณเกี่ยวกับครึ่งทางแล้วทำให้คุณสูญเสียไปอย่างสิ้นเชิง ... มีโอกาสที่คุณจะสงสารนักชีววิทยาที่ท้าทายทางคณิตศาสตร์และเขียนมันออกมาเป็นรหัส?

— user2602640