อะไรคือข้อดีของวิธีการที่แตกต่างกันในการตรวจจับ collinearity?

ฉันต้องการตรวจสอบว่า collinearity เป็นปัญหาในการถดถอย OLS ของฉันหรือไม่ ฉันเข้าใจว่าปัจจัยเงินเฟ้อที่แปรปรวนและดัชนีเงื่อนไขเป็นมาตรการที่ใช้กันทั่วไปสองอย่าง แต่ฉันพบว่ามันยากที่จะหาสิ่งที่ชัดเจนเกี่ยวกับข้อดีของแต่ละวิธีหรือคะแนนที่ควรจะเป็น

แหล่งข้อมูลที่โดดเด่นซึ่งระบุว่าวิธีการทำและ / หรือคะแนนใดที่เหมาะสมจะมีประโยชน์มาก

คำถามที่คล้ายกันถูกถามที่"มีเหตุผลที่ต้องการวัดความหลากหลายของหลายระดับ?" แต่ฉันนึกคิดหลังจากการอ้างอิงที่ฉันสามารถอ้างอิง

Belsley, Kuh และ Welsch เป็นข้อความที่จะไปสำหรับชนิดของคำถามนี้ พวกเขารวมถึงการอภิปรายอย่างกว้างขวางของการวินิจฉัยที่มีอายุมากกว่าในส่วนที่ชื่อว่า "Historical Perspective" เกี่ยวกับ VIF ที่พวกเขาเขียน

... ถ้าเราสมมติข้อมูลที่ได้รับการเป็นศูนย์กลางและปรับให้มีความยาวหน่วยความสัมพันธ์เมทริกซ์เป็นเพียงX ...$X$$R$$X^\prime X$

เรากำลังพิจารณา1} องค์ประกอบในแนวทแยงของ ,มักถูกเรียกว่าปัจจัยเงินเฟ้อความแปรปรวนและค่าการวินิจฉัยของพวกเขาจะตามมาจากความสัมพันธ์โดยที่เป็นค่าสัมประสิทธิ์สหสัมพันธ์ของถดถอยกับตัวแปรอธิบายที่เหลืออยู่ เห็นได้ชัดว่า VIF สูงบ่งชี้ว่าใกล้กับเอกภาพและจากนั้นชี้ไปที่ collinearity มาตรการนี้จึงมีประโยชน์สำหรับใช้เป็นเครื่องบ่งชี้ถึงความเป็นคู่โดยรวม จุดอ่อนของมันเช่นเดียวกับ$R^{-1} = (X^\prime X)^{-1}$$R^{-1}$$r^{ii}$$\text{VIF}_i$

$$\text{VIF}_i = \frac{1}{1 - R_i^2}$$ $R_i^2$$X_i$$R_i^2$$R$อยู่ในการไร้ความสามารถที่จะแยกแยะระหว่างการอยู่ร่วมกันใกล้การพึ่งพาและในการขาดขอบเขตที่มีความหมายเพื่อแยกความแตกต่างระหว่างค่าของ VIF ที่สามารถพิจารณาได้สูงและค่าที่สามารถพิจารณาได้ต่ำ

ในสถานที่ของการวิเคราะห์ (หรือ ) BKW เสนอระวังการตรวจสอบควบคุมของมูลค่าเอกพจน์สลายตัวXพวกเขากระตุ้นโดยแสดงให้เห็นว่าอัตราส่วนของค่าที่ใหญ่ที่สุดต่อค่าเอกพจน์ที่น้อยที่สุดคือหมายเลขเงื่อนไขของและแสดงให้เห็นว่าหมายเลขเงื่อนไขมีขอบเขตเท่าไรในการแพร่กระจายของข้อผิดพลาดในการคำนวณการประมาณค่าถดถอย พวกเขาพยายามที่จะสลายตัวโดยประมาณของความแปรปรวนของพารามิเตอร์ประมาณเป็นส่วนประกอบที่เกี่ยวข้องกับค่าเอกพจน์ พลังของการสลายตัวนี้อยู่ในความสามารถ (ในหลาย ๆ กรณี) เพื่อเปิดเผยธรรมชาติ$R$$R^{-1}$$X$$X$$\hat\beta_i$ ของ collinearity แทนที่จะแสดงเพียงการมีอยู่ของมัน

ทุกคนที่สร้างแบบจำลองการถดถอยพร้อมตัวแปรนับร้อยจะพึงพอใจกับฟีเจอร์นี้! เป็นสิ่งหนึ่งที่ซอฟต์แวร์จะพูดว่า "ข้อมูลของคุณคือ collinear ฉันไม่สามารถดำเนินการต่อ" หรือแม้แต่จะพูดว่า "ข้อมูลของคุณเป็น collinear ฉันกำลังขว้างตัวแปรต่อไปนี้ออกไป" มันเป็นสิ่งที่มีประโยชน์มากกว่าสำหรับการพูดว่า "กลุ่มของตัวแปรทำให้เกิดความไม่เสถียรในการคำนวณ: ดูว่าตัวแปรใดที่คุณสามารถทำได้โดยไม่ต้องพิจารณา ทำการวิเคราะห์องค์ประกอบหลักเพื่อลดจำนวน "$X_{i_1}, \ldots, X_{i_k}$

ในที่สุด BKW แนะนำการวินิจฉัย collinearity โดยวิธีการ

... เงื่อนไขสองต่อไปนี้:

1. ค่าเอกพจน์ตัดสินว่ามีดัชนีสภาพสูงและเกี่ยวข้องกับ
2. สัดส่วนสูงแปรปรวนสลายตัวสำหรับสองคนหรือมากกว่าประมาณค่าสัมประสิทธิ์ความแปรปรวน

จำนวนดัชนีสภาพถือว่าใหญ่ (พูดมากกว่า ) ใน (1) ระบุจำนวนการพึ่งพาใกล้กันในคอลัมน์ของเมทริกซ์ข้อมูลและขนาดของดัชนีสภาพสูงเหล่านี้เป็นการวัดความหนาแน่นของสัมพัทธ์ " นอกจากนี้ความมุ่งมั่นใน (2) ของสัดส่วนแปรปรวน - การสลายตัวที่มีขนาดใหญ่ (พูดมากกว่า ) ที่เกี่ยวข้องกับดัชนีสภาพสูงแต่ละระบุตัวแปรที่เกี่ยวข้องในการพึ่งพาใกล้ที่สอดคล้องกันและขนาดของสัดส่วนเหล่านี้ร่วมกับสูง ดัชนีสภาพให้การวัดระดับที่การประมาณการถดถอยที่สอดคล้องกันลดลงเมื่อมี collinearity$30$$X$$0.5$

• ความแปรปรวนของปัจจัยเงินเฟ้อ (VIFs) นั้นง่ายต่อการเข้าใจ ถอยหลังแต่ละคอลัมน์เมทริกซ์การออกแบบของคุณที่อื่น ๆ จดบันทึกของรุ่นนี้คำนวณแล้วไปที่นั่น VIF เท่ากับ 10 หมายความว่าคุณสามารถอธิบายความแปรปรวนของตัวทำนายได้ 90% โดยใช้ตัวถอยหลังอื่นทั้งหมด โดยทั่วไปจะใช้สิ่งนี้เป็นกฎของเกณฑ์หัวแม่มือสำหรับ collinearity$R^2$$1/(1-R^2)$

  อย่างไรก็ตาม VIFs ที่ใช้งานตามปกติไม่สามารถบอกคุณเกี่ยวกับ collinearity กับการสกัดกั้นได้เนื่องจากการสกัดกั้นมักจะถูกรวมไว้ใน "ผู้ช่วย" เหล่านี้อย่างเงียบ ๆ นอกจากนี้หากผู้ลงทะเบียนมี VIF สูงคุณจะไม่ทราบทันทีว่าผู้ลงทะเบียนรายใดที่รับผิดชอบในการจัดลำดับความสำคัญ คุณต้องดูค่าสัมประสิทธิ์มาตรฐานในการถดถอยของผู้ช่วย

• สภาพดัชนีและการสลายตัว collinearity สัดส่วนของ Belsley, Kuh & Welsch (Belsley อัยการ; Kuh, E. & Welsch เรื่องการวินิจฉัยการถดถอย:. ระบุมีอิทธิพลข้อมูลและแหล่งที่มาของคอลัมน์เพิ่มเติม collinearity John Wiley & Sons, 1980) เป็นไกลยากที่จะเข้าใจ ฉันเคยทำงานกับเหล่านี้เมื่อไม่กี่ปีก่อน แต่ฉันจะไม่พยายามอธิบายพวกเขาที่นี่โดยไม่ได้รับการทบทวน ;-)

  การวินิจฉัยเหล่านี้จะอนุญาตให้ตรวจจับ collinearity ด้วยการสกัดกั้น และคุณสามารถตรวจสอบสัดส่วนการสลายตัวของความเป็นเอกภาพเพื่ออนุมานได้ว่าผู้ลงทะเบียนรายอื่นใดมีหน้าที่รับผิดชอบในการรวมตัวกันของผู้ลงทะเบียนรายหนึ่ง

สำหรับการอ้างอิงที่มีการอ้างอิงอย่างกว้างขวางหนังสือ Farawayในหน้า 117 ให้กฎง่ายกว่า 30 สำหรับการตรวจสอบปัญหาตามหมายเลขเงื่อนไขและรู้เบื้องต้นเกี่ยวกับสถิติหน้า 101 บอกว่าค่า VIF สูงกว่า 5 หรือ 10 บ่งบอกถึงปัญหา .

อาจมีความสำคัญมากกว่าวิธีที่คุณใช้ในการระบุ multicollinearity ซึ่งจะเป็นวิธีที่คุณจัดการกับมัน