ความสัมพันธ์แบบใดที่ทำให้เมทริกซ์เอกพจน์และความหมายของเอกพจน์หรือความใกล้เคียงเอกฐานคืออะไร

ฉันกำลังคำนวณบางอย่างกับเมทริกซ์ที่แตกต่างกัน (ส่วนใหญ่ในการถดถอยโลจิสติก) และฉันมักจะได้รับข้อผิดพลาด "เมทริกซ์คือเอกพจน์" ที่ฉันต้องย้อนกลับไปและลบตัวแปรที่เกี่ยวข้อง คำถามของฉันที่นี่คือสิ่งที่คุณจะพิจารณาเมทริกซ์ที่มีความสัมพันธ์ "สูง" มีค่าขีด จำกัด ของความสัมพันธ์เพื่อเป็นตัวแทนของคำนี้หรือไม่? เช่นเดียวกับตัวแปรที่มีความสัมพันธ์ 0.97 กับอีกอันหนึ่งมันสูงพอที่จะทำให้เมทริกซ์เอกพจน์หรือไม่?

ขออภัยหากคำถามนี้เป็นพื้นฐานมากฉันไม่สามารถหาการอ้างอิงใด ๆ ที่พูดถึงปัญหานี้ (คำแนะนำเกี่ยวกับการอ้างอิงใด ๆ จะเป็นประโยชน์อย่างมาก!)

เมทริกซ์เอกฐานคืออะไร

เมทริกซ์จตุรัสเป็นเอกพจน์นั่นคือดีเทอร์มีแนนต์ของมันคือศูนย์ถ้ามันมีแถวหรือคอลัมน์ที่สัมพันธ์กันแบบเป็นสัดส่วน กล่าวอีกนัยหนึ่งแถว (คอลัมน์) ของมันอย่างชัดเจนว่าเป็นการรวมกันเชิงเส้นของแถว (คอลัมน์) ทั้งหมดหรือบางส่วนอื่น ๆ การรวมกันอยู่โดยไม่มีคำคงที่

$3 \times 3$$A$$\text {col}_3 = 2.15 \cdot \text {col}_1$$A$$\text{row}_2 = 1.6 \cdot \text{row}_1 - 4 \cdot \text{row}_3$$A$เมทริกซ์นั้นเป็นเอกพจน์ด้วยเช่นกันเพราะคอลัมน์ใด ๆ ก็จะเป็นการรวมกันเชิงเส้นของคอลัมน์อื่น ๆ โดยทั่วไปแล้วหากแถว (คอลัมน์) ของเมทริกซ์จตุรัสใด ๆ เป็นผลรวมถ่วงน้ำหนักของแถวอื่น ๆ (คอลัมน์) แสดงว่าแถวหลังใด ๆ ก็เป็นผลรวมถ่วงน้ำหนักของแถวอื่น ๆ (คอลัมน์)

เมทริกซ์เอกพจน์หรือเมทริกซ์ใกล้เอกพจน์มักถูกอ้างถึงว่าเป็นเมทริกซ์ "ที่มีสภาพไม่ดี" เพราะมันจะส่งมอบปัญหาในการวิเคราะห์ข้อมูลทางสถิติจำนวนมาก

ข้อมูลใดที่สร้างเมทริกซ์สหสัมพันธ์ของตัวแปร?

ข้อมูลหลายตัวแปรใดที่ต้องมีลักษณะเป็นลำดับเมทริกซ์สหสัมพันธ์หรือความแปรปรวนร่วมนั้นเป็นเมทริกซ์เอกพจน์ที่อธิบายไว้ข้างต้น มันคือเมื่อมีการพึ่งพาซึ่งกันและกันเชิงเส้นระหว่างตัวแปร หากตัวแปรบางตัวเป็นชุดค่าผสมเชิงเส้นที่แน่นอนของตัวแปรอื่น ๆ ที่มีเงื่อนไขคงที่ที่อนุญาตความสัมพันธ์และความแปรปรวนร่วมของตัวแปรจะเป็นเอกพจน์ พึ่งพาสังเกตในเมทริกซ์เช่นระหว่างคอลัมน์ที่เป็นจริงที่เดียวกันพึ่งพาเป็นการพึ่งพาระหว่างตัวแปรในข้อมูลที่สังเกตได้หลังจากตัวแปรที่ได้รับการเป็นศูนย์กลางที่ (หมายของพวกเขานำไป 0) หรือมาตรฐาน (ถ้าเราหมายถึงความสัมพันธ์มากกว่าแปรปรวนเมทริกซ์)

บางส่วนที่พบบ่อยโดยเฉพาะอย่างยิ่งสถานการณ์เมื่อความสัมพันธ์เมทริกซ์ / ความแปรปรวนของตัวแปรเป็นเอกพจน์: (1) จำนวนของตัวแปรที่มีค่าเท่ากับหรือมากกว่าจำนวนผู้ป่วย; (2) ตัวแปรสองตัวหรือมากกว่ารวมกันเป็นค่าคงที่ (3) ตัวแปรสองตัวนั้นเหมือนกันหรือแตกต่างกันเพียงในระดับเฉลี่ย (ระดับ) หรือความแปรปรวน (ระดับ)

นอกจากนี้การสังเกตซ้ำในชุดข้อมูลจะนำเมทริกซ์ไปสู่ภาวะเอกฐาน ยิ่งคุณโคลนนิ่งกรณีที่ใกล้ชิดมากขึ้นเท่าไรก็ยิ่งเป็นเอกเทศ ดังนั้นเมื่อทำการจัดเรียงของค่าที่หายไปบางอย่างมันจะเป็นประโยชน์เสมอ (จากทั้งมุมมองทางสถิติและทางคณิตศาสตร์) เพื่อเพิ่มสัญญาณรบกวนให้กับข้อมูลที่ถูกใส่เข้าไป

ภาวะเอกฐานเป็นเรขาคณิต collinearity

ในมุมมองทางเรขาคณิตเอกพจน์คือ(หลาย) collinearity (หรือ "complanarity"): ตัวแปรที่แสดงเป็นเวกเตอร์ (ลูกศร) ในอวกาศอยู่ในพื้นที่ของมิติน้อยกว่าจำนวนตัวแปร - ในพื้นที่ลดลง (มิตินั้นเรียกว่าอันดับของเมทริกซ์มันเท่ากับจำนวนค่าลักษณะเฉพาะที่ไม่ใช่ศูนย์ของเมทริกซ์)

ในมุมมองทางเรขาคณิตที่ไกลโพ้นหรือ "ยอดเยี่ยม" ความเป็นเอกเทศหรือความไม่แน่นอน (ศูนย์ของค่าลักษณะเฉพาะศูนย์) คือจุดดัดระหว่างความชัดเจนเชิงบวกและความไม่แน่นอนเชิงบวกของเมทริกซ์ เมื่อบางส่วนของเวกเตอร์ตัวแปร (ซึ่งเป็นเมทริกซ์ความสัมพันธ์ / ความแปรปรวน) "ไปไกลกว่า" โกหกแม้จะอยู่ในพื้นที่ Euclidean ลดลง - เพื่อให้พวกเขาไม่สามารถ "มาบรรจบกันใน" หรือ "ได้อย่างสมบูรณ์แบบครอบคลุม" euclideanพื้นที่อีกต่อไปเด็ดขาดไม่ใช่ในเชิงบวกจะปรากฏขึ้น นั่นคือค่าลักษณะเฉพาะบางส่วนของเมทริกซ์สหสัมพันธ์กลายเป็นค่าลบ (ดูข้อมูลเพิ่มเติมเกี่ยวกับเมทริกซ์ที่ไม่เป็นบวกหรือที่เรียกว่า non-gramian ได้ที่นี่ ) เมทริกซ์แน่นอนที่ไม่เป็นบวกนั้นก็เป็น "เงื่อนไขที่ไม่ดี" สำหรับการวิเคราะห์ทางสถิติบางประเภท

สมการความสัมพันธ์ในการถดถอย: คำอธิบายเชิงเรขาคณิตและนัยยะ

$X_1$$X_2$$Y$$Y'$$e$$Y$$Y'$$b_1$$b_2$

$X_1$$X_2$$Y'$$e$ของการถดถอยนั้น (ตัวทำนายเดียว) วาดบนรูปภาพ มีวิธีการอื่น ๆ เช่นกันนอกจากการลดตัวแปรเพื่อกำจัด collinearity

$X_1$$X_2$

$X_1$$X_2$$X_1$$X_1$$X_2$มีความสัมพันธ์มากเราคาดว่าระนาบ X ที่แตกต่างกันมากในกลุ่มตัวอย่างที่แตกต่างกันจากประชากรเดียวกัน ในขณะที่ระนาบ X นั้นแตกต่างกันการทำนาย R-square ส่วนที่เหลือค่าสัมประสิทธิ์ - ทุกอย่างก็แตกต่างกันเช่นกัน มันเห็นได้อย่างชัดเจนในภาพโดยที่ระนาบ X หมุนที่ใดที่หนึ่ง 40 องศา ในสถานการณ์เช่นนั้นการประมาณค่า (สัมประสิทธิ์, R-square ฯลฯ ) นั้นไม่น่าเชื่อถือมากซึ่งความจริงนั้นแสดงโดยข้อผิดพลาดมาตรฐานขนาดใหญ่ และในทางตรงกันข้ามกับการคาดการณ์ที่ห่างไกลจาก collinear การประมาณการมีความน่าเชื่อถือเพราะพื้นที่ที่ถูกทอดโดยผู้ทำนายนั้นแข็งแกร่งต่อความผันผวนของการสุ่มตัวอย่างของข้อมูลเหล่านั้น

Collinearity เป็นฟังก์ชันของเมทริกซ์ทั้งหมด

แม้แต่ความสัมพันธ์สูงระหว่างตัวแปรสองตัวหากต่ำกว่า 1 ก็ไม่จำเป็นต้องทำให้เมทริกซ์สหสัมพันธ์ทั้งหมดเอกพจน์; มันขึ้นอยู่กับสหสัมพันธ์ที่เหลือเช่นกัน ตัวอย่างเช่นเมทริกซ์สหสัมพันธ์นี้:

1.000     .990     .200
 .990    1.000     .100
 .200     .100    1.000

มีดีเทอร์มิแนนต์.00950ซึ่งแตกต่างจาก 0 มากพอที่จะพิจารณาว่ามีคุณสมบัติเหมาะสมในการวิเคราะห์ทางสถิติจำนวนมาก แต่เมทริกซ์นี้:

1.000     .990     .239
 .990    1.000     .100
 .239     .100    1.000

มีดีเทอร์มีแนน.00010ต์เท่ากับ 0

การวินิจฉัย Collinearity: อ่านเพิ่มเติม

การวิเคราะห์ข้อมูลทางสถิติเช่นการถดถอยรวมดัชนีพิเศษและเครื่องมือในการตรวจสอบ collinearity แข็งแกร่งพอที่จะพิจารณาวางตัวแปรหรือกรณีบางส่วนจากการวิเคราะห์หรือดำเนินการรักษาอื่น ๆ โปรดค้นหา (รวมถึงไซต์นี้) สำหรับ "การวินิจฉัยความกลมกลืนกัน", "ความหลากหลายทางเชื้อชาติ", "ความอดทนต่อเอกภาวะ / เอกภาพ", "ดัชนีสภาพ", "สัดส่วนสภาพการสลายตัวแปรปรวน", "ปัจจัยเงินเฟ้อความแปรปรวน (VIF)"