การแปลงกลับของสัมประสิทธิ์การถดถอย

ฉันกำลังถดถอยเชิงเส้นด้วยตัวแปรที่ขึ้นกับการแปลง การเปลี่ยนแปลงต่อไปนี้ได้ทำขึ้นเพื่อให้สมมติฐานเกี่ยวกับความเป็นปกติของเศษซากเหลืออยู่ ตัวแปรที่ขึ้นต่อกันที่ไม่ถูกแปลงนั้นมีความเบ้เชิงลบและการแปลงต่อไปนี้ทำให้ใกล้เคียงปกติ:

Y = \sqrt{50 - Y_{o r i g}}

$Y=\sqrt{50-Y_{orig}}$

โดยที่ $Y_{orig}$ เป็นตัวแปรตามในระดับเดิม

ฉันคิดว่ามันทำให้ความรู้สึกที่จะใช้การเปลี่ยนแปลงบางอย่างเกี่ยวกับ $\beta$ ค่าสัมประสิทธิ์การทำงานทางด้านหลังของเราขนาดเดิม ใช้สมการถดถอยต่อไปนี้

Y = \sqrt{50 - Y_{o r i g}} = α + β \cdot X

$Y=\sqrt{50-Y_{orig}}=\alpha+\beta \cdot X$

และโดยการแก้ไขเรามี $X=0$

α = \sqrt{50 - Y_{o r i g}} = \sqrt{50 - α_{o r i g}}

$\alpha=\sqrt{50-Y_{orig}}=\sqrt{50-\alpha_{orig}}$

และในที่สุดก็,

α_{o r i g} = 50 - α^{2}

$\alpha_{orig}=50-\alpha^2$

ใช้ตรรกะเดียวกันฉันพบ

β_{o r i g} = α (α - 2 β) + β^{2} + α_{o r i g} - 50

$\beta_{orig}=\alpha\space(\alpha-2\beta)+\beta^2+\alpha_{orig}-50$

ตอนนี้ทุกอย่างทำงานได้ดีสำหรับแบบจำลองที่มีตัวทำนาย 1 หรือ 2 ตัว ค่าสัมประสิทธิ์การแปลงกลับคล้ายกับค่าเดิมตอนนี้ฉันสามารถเชื่อถือข้อผิดพลาดมาตรฐานได้แล้ว ปัญหาเกิดขึ้นเมื่อมีคำศัพท์โต้ตอบเช่น

Y = α + X_{1} β_{X_{1}} + X_{2} β_{X_{2}} + X_{1} X_{2} β_{X_{1} X_{2}}

$Y=\alpha+X_1\beta_{X_1}+X_2\beta_{X_2}+X_1X_2\beta_{X_1X_2}$

จากนั้นการเปลี่ยนรูปแบบกลับสำหรับนั้นไม่ใกล้เคียงกับระดับเดิมและฉันไม่แน่ใจว่าทำไมจึงเกิดขึ้น ฉันไม่แน่ใจเช่นกันว่าสูตรที่พบสำหรับการเปลี่ยนค่าสัมประสิทธิ์เบต้าสามารถใช้งานได้เช่นเดียวกับที่ 3 (สำหรับเงื่อนไขการโต้ตอบ) ก่อนเข้าสู่พีชคณิตบ้าฉันคิดว่าฉันจะขอคำแนะนำ ... $\beta$ $\beta$

regression data-transformation

— Dominic Comtois
แหล่งที่มา

คุณให้คำจำกัดความของ

และ

อย่างไร

α_{o r i g}

$\alpha_{orig}$

β_{o r i g}

$\beta_{orig}$

— mark999

ในฐานะที่เป็นค่าของอัลฟาและเบต้าในตาชั่งดั้งเดิม

— Dominic Comtois

แต่นั่นหมายความว่าอย่างไร

— mark999

ฉันต้องการความเสี่ยง: การประมาณที่เราได้รับคือข้อมูลดั้งเดิมที่เหมาะกับการถดถอยเชิงเส้น

— Dominic Comtois

สำหรับฉันที่ดูเหมือนเป็นแนวคิดที่ไร้ความหมาย ฉันเห็นด้วยกับคำตอบของ gung

— mark999

คำตอบ:

ปัญหาหนึ่งคือคุณได้เขียน

Y = α + β \cdot X

$Y=α+β⋅X$

นั่นคือรูปแบบที่กำหนดได้ง่าย (เช่นไม่ใช่แบบสุ่ม) ในกรณีนี้คุณสามารถแปลงค่าสัมประสิทธิ์ในระดับเดิมได้เนื่องจากมันเป็นเพียงเรื่องของพีชคณิตแบบง่าย แต่ในการถดถอยปกติคุณมีเพียง ; คุณออกจากข้อผิดพลาดในแบบจำลองของคุณแล้ว หากการแปลงจากกลับเป็นไม่ใช่เชิงเส้นคุณอาจมีปัญหาเนื่องจาก $E(Y|X)=α+β⋅X$ $Y$ $Y_{orig}$ $E\big(f(X)\big)≠f\big(E(X)\big)$ โดยทั่วไป ฉันคิดว่าอาจเกี่ยวข้องกับความคลาดเคลื่อนที่คุณเห็น

แก้ไข:โปรดทราบว่าหากการแปลงเป็นเส้นตรงคุณสามารถแปลงกลับเพื่อรับค่าประมาณของสัมประสิทธิ์ในระดับเดิมเนื่องจากความคาดหวังเป็นเส้นตรง

— มาโคร
แหล่งที่มา

+1 สำหรับการอธิบายว่าทำไมเราไม่สามารถแปลงสภาพกลับคืน

— gung - Reinstate Monica

I salute your efforts here, but you're barking up the wrong tree. You don't back transform betas. Your model holds in the transformed data world. If you want to make a prediction, for example, you back transform $\hat{y}_i$ , but that's it. Of course, you can also get a prediction interval by computing the high and low limit values, and then back transform them as well, but in no case do you back transform the betas.

— gung - Reinstate Monica
แหล่งที่มา

What to make of the fact that the back-transformed coefficients get very close to the ones obtained when modelling the untransformed variable? Doesn't that allow for some inference on the original scale?

— Dominic Comtois

I don't know, exactly. It could depend any number of things. My first guess is that you're getting lucky w/ your 1st couple of betas, but then your luck runs out. I have to agree w/ @mark999 that "the estimates that we'd get were the original data suited to linear regression" doesn't actually make any sense; I wish it did & it sort of seems to at first blush, but unfortunately it doesn't. And it doesn't license any inferences on the original scale.

— gung - Reinstate Monica

@gung for non linear transformations (say box cox): I can back transform fitted values as well as prediction intervals, but I can't transform betas nor coefficient intervals for the betas. Is there any additional limitation I should be aware of? btw, this is a very interesting topic, where can I get a better understanding?

— mugen

@mugen, it's hard to say what else you should be aware of. 1 thing maybe to hold in mind is that the back transformation of y-hat gives you the conditional median whereas the un-back-transformed (bleck) y-hat is the conditional mean. Other than that, this material should be covered in a good regression textbook.

— gung - Reinstate Monica

@mugen, you're welcome. Feel free to ask more questions via the normal mechanisms (clicking ASK QUESTION); there will be more resources for answering, you will get the attention of more CVers, & the information will be better accessible for posterity.

— gung - Reinstate Monica