คุณจะรับมือกับการประมาณค่าไม่เสถียรในการถดถอยเชิงเส้นด้วยค่าความหลากหลายหลายค่าได้สูงโดยไม่ต้องทิ้งตัวแปรอย่างไร

ความมั่นคงเบต้าในการถดถอยเชิงเส้นที่มีความหลากหลายสูง?

สมมุติว่าในการถดถอยเชิงเส้นตัวแปรและมีความหลากหลายเชิงเส้นสูง (ความสัมพันธ์มีค่าประมาณ 0.9) $x_1$ $x_2$

เรามีความกังวลเกี่ยวกับค่าสัมประสิทธิ์ความมั่นคงดังนั้นเราจึงต้องปฏิบัติต่อความหลากหลายเชิงซ้อน $\beta$

วิธีแก้ปัญหาหนังสือเรียนคือการทิ้งหนึ่งในตัวแปร

แต่เราไม่ต้องการสูญเสียข้อมูลที่เป็นประโยชน์เพียงแค่ทิ้งตัวแปร

ข้อเสนอแนะใด ๆ

regression multicollinearity

— Luna
แหล่งที่มา

คุณได้ลองใช้รูปแบบการทำให้เป็นมาตรฐาน (เช่นการถดถอยสัน) หรือไม่?

— Néstor

คำตอบ:

คุณสามารถลองใช้วิธีการถดถอยริดจ์ในกรณีที่เมทริกซ์สหสัมพันธ์ใกล้เคียงกับเอกพจน์ (เช่นตัวแปรที่มีความสัมพันธ์สูง) มันจะช่วยให้คุณประเมินแข็งแกร่ง $\beta$

คำถามเดียวก็คือวิธีการเลือก regularization พารามิเตอร์\ไม่ใช่ปัญหาง่ายๆ แต่ฉันแนะนำให้ลองใช้ค่าที่แตกต่างกัน $\lambda$

หวังว่านี่จะช่วยได้!

— พอล
แหล่งที่มา

การตรวจสอบข้ามเป็นสิ่งปกติที่ต้องทำเพื่อเลือก ;-)

λ

$\lambda$

— Néstor

แน่นอน (+1 สำหรับคำตอบและความคิดเห็นของ Nestors) และหากคุณทำการคำนวณใน "รูปแบบบัญญัติ" (โดยใช้การสลายตัว eigen ของคุณสามารถค้นหาเพื่อลดข้อผิดพลาดการตรวจสอบข้ามแบบลาออกหนึ่งครั้ง โดยวิธีการของนิวตันมากอย่างง่าย.

X^{T} X

$X^TX$

λ

$\lambda$

— Dikran กระเป๋า

ขอบคุณมาก! บทช่วยสอน / บันทึกย่อเกี่ยวกับวิธีการทำเช่นนั้นรวมถึงการตรวจสอบข้ามใน R หรือไม่?

— Luna

ตรวจสอบบทที่ 3 ในหนังสือเล่มนี้: stanford.edu/~hastie/local.ftp/Springer/ESLII_print5.pdf การดำเนินการของการถดถอยของสันจะทำใน R โดยผู้เขียนบางคน (Google เป็นเพื่อนของคุณ!)

— Néstor

คุณสามารถใช้lm.ridgeรูทีนในแพ็คเกจ MASS หากคุณผ่านช่วงของค่าสำหรับเช่นการโทรคุณจะได้รับสถิติการตรวจสอบความถูกต้องไขว้ทั่วไปและสามารถพล็อตค่ากับ : เพื่อเลือกค่าต่ำสุด

λ

$\lambda$ foo <- lm.ridge(y~x1+x2,lambda=seq(0,10,by=0.1))foo

λ

$\lambda$ plot(foo$GCV~foo$lambda)

— jbowman

มีวิธีการเฉพาะกิจหนึ่งอย่างที่ฉันเคยใช้มาก่อน ฉันไม่แน่ใจว่าขั้นตอนนี้มีชื่อ แต่มันสมเหตุสมผลหรือไม่

สมมติว่าเป้าหมายของคุณคือให้พอดีกับโมเดล

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_i + \beta_2 Z_i + \varepsilon_i$

โดยที่ตัวทำนายสองตัว - - มีความสัมพันธ์สูง ในขณะที่คุณได้ชี้ให้เห็นการใช้พวกเขาทั้งในรูปแบบเดียวกันสามารถทำสิ่งแปลกที่จะประมาณการค่าสัมประสิทธิ์และ -values อีกทางเลือกหนึ่งคือเพื่อให้พอดีกับรูปแบบ $X_i, Z_i$ $p$

Z_{i} = α_{0} + α_{1} X_{i} + η_{i}

$Z_i = \alpha_0 + \alpha_1 X_i + \eta_i$

แล้วที่เหลือจะ uncorrelated กับและสามารถในความรู้สึกบางอย่างที่จะคิดว่าเป็นส่วนหนึ่งของที่ไม่ได้วิทยสัมพันธ์เชิงเส้นกับx_iจากนั้นคุณสามารถดำเนินการให้พอดีกับโมเดล $\eta_i$ $X_i$ $Z_i$ $X_i$

Y_{i} = θ_{0} + θ_{1} X_{i} + θ_{2} η_{i} + ν_{i}

$Y_i = \theta_0 + \theta_1 X_i + \theta_2 \eta_i + \nu_i$

ซึ่งจะจับเอฟเฟกต์ทั้งหมดของโมเดลแรก (และแน่นอนจะมีเหมือนกันทุกประการกับโมเดลแรก) แต่ตัวทำนายไม่ได้ collinear อีกต่อไป $R^2$

แก้ไข: OP ได้ขอคำอธิบายว่าทำไมส่วนที่เหลือไม่มีคำจำกัดความมีตัวอย่างสหสัมพันธ์ของศูนย์กับตัวทำนายเมื่อคุณละเว้นการดักเหมือนที่ทำเมื่อรวมการสกัดกั้น นี่นานเกินไปที่จะโพสต์ในความคิดเห็นดังนั้นฉันจึงทำการแก้ไขที่นี่ การได้มานี้ไม่ได้ให้ความกระจ่างเป็นพิเศษ (น่าเสียดายที่ฉันไม่สามารถหาข้อโต้แย้งที่สมเหตุสมผลได้) แต่มันแสดงให้เห็นว่า OP ต้องการอะไร :

เมื่อตัดถูกละไว้ในการถดถอยเชิงเส้นอย่างง่าย ,ดังนั้น2} ความสัมพันธ์ตัวอย่างระหว่างและนั้นเป็นสัดส่วนกับโดยที่แสดงถึงค่าเฉลี่ยตัวอย่างของปริมาณภายใต้แถบ ตอนนี้ฉันจะแสดงสิ่งนี้ไม่จำเป็นต้องเท่ากับศูนย์ $\hat \beta = \frac{ \sum x_i y_i}{\sum x_i^2}$ $e_i = y_i - x_i \frac{ \sum x_i y_i}{\sum x_i^2}$ $x_i$ $e_i$

\bar{x e} - \bar{x} \bar{e}

$\overline{xe} - \overline{x}\overline{e}$

\bar{\cdot}

$\overline{\cdot}$

ก่อนอื่นเรามี

\bar{x e} = \frac{1}{n} (\sum x_{i} y_{i} - x_{i}^{2} \cdot \frac{\sum x_{i} y_{i}}{\sum x_{i}^{2}}) = \bar{x y} (1 - \frac{\sum x_{i}^{2}}{\sum x_{i}^{2}}) = 0

$\overline{xe} = \frac{1}{n} \left( \sum x_i y_i - x_{i}^2 \cdot \frac{ \sum x_i y_i}{\sum x_i^2} \right) = \overline{xy} \left( 1 - \frac{ \sum x_{i}^2}{ \sum x_{i}^2 } \right) = 0$

แต่

\bar{x} \bar{e} = \bar{x} (\bar{y} - \frac{\bar{x} \cdot \bar{x y}}{\bar{x^{2}}}) = \bar{x} \bar{y} - \frac{{\bar{x}}^{2} \cdot \bar{x y}}{\bar{x^{2}}}

$\overline{x} \overline{e} = \overline{x} \left( \overline{y} - \frac{\overline{x} \cdot \overline{xy}}{\overline{x^2}} \right) = \overline{x}\overline{y} - \frac{\overline{x}^2 \cdot \overline{xy}}{\overline{x^2}}$

ดังนั้นเพื่อให้และที่จะมีความสัมพันธ์ที่ตัวอย่างของว่า 0 เราต้องจะเป็น0นั่นคือเราต้องการ $e_i$ $x_i$ $\overline{x}\overline{e}$ $0$

\bar{y} = \frac{\bar{x} \cdot \bar{x y}}{\bar{x^{2}}}

$\overline{y} = \frac{ \overline{x} \cdot \overline{xy}}{\overline{x^2}}$

ซึ่งไม่ได้ถือโดยทั่วไปสำหรับสองชุดโดยพลการของข้อมูล y $x, y$

— มาโคร
แหล่งที่มา

สิ่งนี้ทำให้ฉันนึกถึงแผนการถดถอยบางส่วน

— Andy W

ฟังดูคล้ายกับการแทนที่ด้วยองค์ประกอบหลัก

(X, Z)

$(X, Z)$

— whuber

สิ่งหนึ่งที่ฉันมีอยู่ในใจก็คือ PCA จะทำให้ง่ายกว่าตัวแปรสองตัว อีกข้อหนึ่งคือปฏิบัติกับและแบบสมมาตรในขณะที่ข้อเสนอของคุณปรากฏขึ้นโดยไม่ตั้งใจเพื่อแยกตัวแปรเหล่านี้ออกหนึ่งตัว อีกแนวคิดหนึ่งคือ PCA มีวิธีการรักษาวินัยเพื่อลดจำนวนของตัวแปร (แม้ว่าเราจะต้องระมัดระวังเกี่ยวกับเรื่องนี้เพราะองค์ประกอบหลักขนาดเล็กอาจมีความสัมพันธ์สูงกับตัวแปรตาม)

X

$X$

Z

$Z$

— whuber

สวัสดีมาโครขอบคุณสำหรับการพิสูจน์ที่ยอดเยี่ยม ใช่ตอนนี้ฉันเข้าใจแล้ว เมื่อเราพูดถึงตัวอย่างความสัมพันธ์ระหว่าง x และส่วนที่เหลือก็ต้องใช้คำว่า intercept term เพื่อให้ความสัมพันธ์ตัวอย่างเป็น 0 ในทางกลับกันเมื่อเราพูดถึง orthogonality ระหว่าง x และส่วนที่เหลือมันไม่จำเป็นต้องใช้คำว่า intercept ที่จะรวมสำหรับ orthogonality ที่จะถือ

— Luna

@ Luna ฉันไม่เห็นด้วยกับการใช้สันเขาถดถอย - นี่เป็นสิ่งที่เกิดขึ้นกับฉันเป็นครั้งแรก (ฉันตอบก่อนที่จะถูกแนะนำ) สิ่งหนึ่งที่ฉันสามารถพูดได้คือการประเมินการถดถอยของสันเขานั้นมีความลำเอียงดังนั้นในบางแง่มุมคุณกำลังประเมินปริมาณ (หด) ที่แตกต่างกันเล็กน้อยเล็กน้อยกว่าที่คุณใช้กับการถดถอยแบบธรรมดาทำให้การตีความสัมประสิทธิ์อาจท้าทาย alludes ถึง) สิ่งที่ฉันได้อธิบายไว้ที่นี่ต้องการเพียงความเข้าใจเกี่ยวกับการถดถอยเชิงเส้นพื้นฐานเท่านั้นและอาจดึงดูดความสนใจได้มากกว่า

— มาโคร

ฉันชอบคำตอบทั้งสองข้อที่ให้ไว้จนถึงตอนนี้ ขอผมเพิ่มบางอย่าง

ตัวเลือกอื่นคือคุณสามารถรวมตัวแปรได้ สิ่งนี้ทำได้โดยการทำให้มาตรฐานทั้งคู่ (เช่นเปลี่ยนเป็นคะแนน z) หาค่าเฉลี่ยจากนั้นปรับโมเดลของคุณด้วยตัวแปรคอมโพสิตเท่านั้น นี่จะเป็นวิธีการที่ดีเมื่อคุณเชื่อว่าพวกเขาเป็นสองมาตรการที่แตกต่างกันของโครงสร้างพื้นฐานเดียวกัน ในกรณีนี้คุณมีการวัดสองแบบที่ปนเปื้อนด้วยความผิดพลาด มูลค่าที่แท้จริงน่าจะเป็นสำหรับตัวแปรที่คุณต้องการจริงๆความสนใจอยู่ระหว่างพวกเขาจึงเฉลี่ยพวกเขาให้ประมาณการที่แม่นยำยิ่งขึ้น คุณกำหนดมาตรฐานให้อยู่ในระดับเดียวกันก่อนเพื่อให้ปัญหาที่ระบุไม่ทำให้เกิดการปนเปื้อนผลลัพธ์ (เช่นคุณไม่ต้องการเฉลี่ยค่าการวัดอุณหภูมิหลายค่าหากบางคนเป็นฟาเรนไฮต์และบางคนเป็นเซลเซียส) แน่นอนหากพวกเขาอยู่ในระดับเดียวกัน (เช่นการสำรวจความคิดเห็นสาธารณะที่มีความสัมพันธ์สูงหลายรายการ) คุณสามารถข้ามขั้นตอนนั้นได้ หากคุณคิดว่าหนึ่งในตัวแปรของคุณอาจมีความแม่นยำมากกว่าตัวแปรอื่นคุณสามารถทำค่าเฉลี่ยถ่วงน้ำหนัก (อาจใช้ส่วนกลับของข้อผิดพลาดในการวัด)

หากตัวแปรของคุณเป็นเพียงการวัดที่แตกต่างกันของโครงสร้างเดียวกันและมีความสัมพันธ์กันมากพอคุณก็สามารถโยนทิ้งได้โดยไม่ต้องสูญเสียข้อมูลมากนัก เป็นตัวอย่างฉันอยู่ในสถานการณ์จริงครั้งหนึ่งที่ฉันต้องการใช้ covariate เพื่อดูดซับความแปรปรวนข้อผิดพลาดและเพิ่มพลัง แต่ที่ฉันไม่สนใจ covariate นั้น - มันไม่ได้เกิดขึ้นอย่างมีนัยสำคัญ ผมมีหลายตัวเลือกที่มีอยู่และทุกคนมีความสัมพันธ์กับแต่ละอื่น ๆR>โดยทั่วไปฉันเลือกหนึ่งตัวโดยการสุ่มและเลื่อนไปมาและมันก็ใช้ได้ดี ฉันสงสัยว่าฉันจะสูญเสียพลังในการเผาผลาญอิสรภาพพิเศษสององศาถ้าฉันรวมคนอื่นด้วยเช่นกันโดยใช้กลยุทธ์อื่น แน่นอนฉันสามารถรวมพวกมันได้ แต่ทำไมต้องกังวล? $r>.98$ อย่างไรก็ตามสิ่งนี้ขึ้นอยู่อย่างยิ่งกับความจริงที่ว่าตัวแปรของคุณมีความสัมพันธ์กันเพราะเป็นสองรุ่นที่ต่างกันในสิ่งเดียวกัน หากมีเหตุผลที่แตกต่างกันซึ่งสัมพันธ์กันนี่อาจไม่เหมาะสมทั้งหมด

ตามที่อธิบายไว้ฉันขอแนะนำให้คุณคิดเกี่ยวกับสิ่งที่อยู่ข้างหลังตัวแปรที่เกี่ยวข้องของคุณ นั่นคือคุณต้องมีทฤษฎีว่าทำไมพวกเขามีความสัมพันธ์สูงมากในการทำงานที่ดีที่สุดในการเลือกกลยุทธ์ที่จะใช้ นอกเหนือจากการวัดที่แตกต่างกันของตัวแปรแฝงเดียวกันความเป็นไปได้อื่น ๆ ก็คือห่วงโซ่เชิงสาเหตุ (เช่น ) และสถานการณ์ที่ซับซ้อนมากขึ้นซึ่งตัวแปรของคุณเป็นผลมาจากแรงหลายสาเหตุซึ่งบางส่วนเป็น เหมือนกันสำหรับทั้งคู่ บางทีกรณีที่รุนแรงที่สุดคือตัวแปรตัวระงับซึ่ง @whuber อธิบายไว้ในความคิดเห็นของเขาด้านล่าง ตัวอย่างเช่นคำแนะนำของ @ Macro สมมติว่าคุณสนใจเป็นหลักและสงสัยเกี่ยวกับการมีส่วนร่วมเพิ่มเติมของ $X_1\rightarrow X_2\rightarrow Y$ $X$ $Z$ หลังจากคิดเป็นผลงานของดังนั้นคิดเกี่ยวกับสาเหตุที่ตัวแปรของคุณมีความสัมพันธ์และสิ่งที่คุณต้องการที่จะรู้ว่าจะช่วยให้คุณตัดสินใจ (เช่นหรือ ) ควรจะถือว่าเป็นและZกุญแจสำคัญคือการใช้ความเข้าใจด้านทฤษฎีเพื่อแจ้งทางเลือกของคุณ $X$ $x_1$ $x_2$ $X$ $Z$

ฉันยอมรับว่าการถดถอยของสันเขานั้นดีกว่าเนื่องจากช่วยให้คุณใช้ตัวแปรที่คุณตั้งใจไว้ในตอนแรกและมีแนวโน้มที่จะให้ผลของเบต้าที่ใกล้เคียงกับค่าที่แท้จริงของพวกเขา (แม้ว่าพวกเขาจะมีอคติ - ดูที่นี่หรือที่นี่สำหรับข้อมูลเพิ่มเติม ) อย่างไรก็ตามฉันคิดว่ายังมีข้อเสียสองประการที่อาจเกิดขึ้น: มันซับซ้อนกว่า (ต้องมีความซับซ้อนทางสถิติมากขึ้น) และแบบจำลองที่เกิดขึ้นนั้นยากต่อการตีความในความคิดของฉัน

ฉันรวบรวมว่าบางทีวิธีการที่ดีที่สุดอาจเป็นแบบจำลองสมการเชิงโครงสร้าง นั่นเป็นเพราะมันจะช่วยให้คุณกำหนดความสัมพันธ์ที่แน่นอนที่คุณเชื่อว่าเป็นการทำงานรวมถึงตัวแปรแฝง อย่างไรก็ตามฉันไม่รู้ว่า SEM ดีพอที่จะพูดอะไรเกี่ยวกับที่นี่นอกเหนือจากพูดถึงความเป็นไปได้ (ฉันยังสงสัยด้วยว่ามันจะเกินกำลังในสถานการณ์ที่คุณอธิบายด้วยเพื่อนร่วมทีมเพียงสองคน)

— gung - Reinstate Monica
แหล่งที่มา

เรื่องจุดแรก: Let เวกเตอร์มีช่วงของค่าและปล่อยให้เวกเตอร์มีค่าขนาดเล็กไม่มีความสมบูรณ์ด้วยเพื่อให้มีความสัมพันธ์อย่างมากกับX_1ชุดอี ในการถดถอยของเทียบกับหรือคุณจะไม่เห็นผลลัพธ์ที่สำคัญหรือสำคัญ ในการถดถอยของกับและคุณจะได้รับมากแบบที่ดีเพราะYดังนั้นหากคุณเลือกหรือ

X_{1}

$X_1$

e

$e$

X_{1}

$X_1$

X_{2} = X_{1} + e

$X_2=X_1+e$

X_{1}

$X_1$

Y = e

$Y=e$

Y

$Y$

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

X_{1}

$X_1$

X_{2}

$X_2$

Y = X_{2} - X_{1}

$Y=X_2-X_1$

X_{1}

$X_1$

X_{2}

$X_2$ คุณจะต้องสูญเสียข้อมูลทั้งหมดเกี่ยวกับหลัก ดังนั้น "ความสัมพันธ์สูง" ไม่ได้หมายความว่า "มีข้อมูลที่เทียบเท่ากับ "

Y

$Y$

Y

$Y$

— whuber

ขอบคุณมาก Gung! ไตรมาสที่ 1 ทำไมวิธีนี้จึงใช้งานได้: "สิ่งนี้ทำโดยการทำให้ทั้งสองมาตรฐาน (เช่นเปลี่ยนเป็นคะแนน z) เฉลี่ยพวกมันแล้วปรับโมเดลของคุณให้มีตัวแปรคอมโพสิตเท่านั้น" ไตรมาสที่ 2 เหตุใดการถดถอยของ Ridge จึงดีกว่า ไตรมาสที่ 3 ทำไม SEM ถึงดีกว่า มีใครช่วยส่องแสงไฟนี้หน่อยได้ไหม? ขอบคุณ!

— Luna

สวัสดีลูน่าดีใจที่ได้ช่วย ฉันจะแก้ไขสิ่งนี้อีกครั้งจริง ๆ ; @whuber ถูกต้องมากกว่าที่ฉันเคยรู้ ฉันจะพยายามเพิ่มเติมเพื่อช่วย w / คำถามเพิ่มเติมของคุณ แต่จะใช้เวลามากดังนั้นอาจใช้เวลาสักครู่ เราจะดูว่ามันไปอย่างไร

— gung - Reinstate Monica