จำนวนการสังเกตขั้นต่ำสำหรับการถดถอยเชิงเส้นหลายครั้ง

ฉันกำลังถดถอยเชิงเส้นหลายเส้น ฉันมีการสังเกตการณ์ 21 ครั้งและตัวแปร 5 ตัว เป้าหมายของฉันคือการค้นหาความสัมพันธ์ระหว่างตัวแปร

1. มีข้อมูลของฉันเพียงพอหรือไม่ที่จะทำการถดถอยหลายครั้ง?

2. ผลการทดสอบทีเผยว่าตัวแปร 3 ตัวของฉันไม่มีนัยสำคัญ ฉันจำเป็นต้องทำการถดถอยอีกครั้งด้วยตัวแปรที่สำคัญ (หรือการถดถอยครั้งแรกของฉันเพียงพอที่จะได้ข้อสรุป) เมทริกซ์ความสัมพันธ์ของฉันมีดังนี้

          var 1   var 2    var 3   var 4   var 5     Y
   var 1   1.0     0.0       0.0   -0.1    -0.3    -0.2
   var 2   0.0     1.0       0.4    0.3    -0.4    -0.4
   var 3   0.0     0.4       1.0    0.7    -0.7    -0.6
   var 4  -0.1     0.3       0.7    1.0    -0.7    -0.9
   var 5  -0.3    -0.4      -0.7   -0.7    1.0      0.8
   Y      -0.2    -0.4      -0.6   -0.9    0.8      1.0
   

var 1 และ var 2 เป็นตัวแปรต่อเนื่องและตัวแปรที่จัดหมวดหมู่ 3 ถึง 5 เป็นตัวแปรต่อเนื่องและ y เป็นตัวแปรตามของฉัน

มันควรจะกล่าวถึงตัวแปรสำคัญที่ได้รับการพิจารณาในวรรณคดีว่าปัจจัยที่มีอิทธิพลมากที่สุดในตัวแปรตามของฉันไม่ได้อยู่ในหมู่ตัวแปรถดถอยของฉันเนื่องจากข้อ จำกัด ของข้อมูลของฉัน ยังคงเหมาะสมที่จะทำการถดถอยโดยไม่มีตัวแปรสำคัญนี้หรือไม่?

นี่คือช่วงความมั่นใจของฉัน

    Varibales   Regression Coefficient  Lower 95% C.L.  Upper 95% C.L.
    Intercept   53.61                       38.46        68.76
    var 1       -0.39                      -0.97         0.19
    var 2       -0.01                      -0.03         0.01
    var 3        5.28                      -2.28         12.84
    var 4       -27.65                     -37.04       -18.26
    **var 5      11.52                      0.90         22.15**

กฎทั่วไปของหัวแม่มือ (ขึ้นอยู่กับเนื้อหาในหนังสือของ Frank Harrell กลยุทธ์การสร้างแบบจำลองการถดถอย ) คือถ้าคุณคาดว่าจะสามารถตรวจจับเอฟเฟกต์ขนาดที่สมเหตุสมผลด้วยพลังที่สมเหตุสมผลคุณต้องมีการสังเกตประมาณ 10-20 ต่อพารามิเตอร์ Harrell กล่าวถึงตัวเลือกมากมายสำหรับ "การลดมิติ" (ทำให้จำนวนโควาเรียต์ของคุณลดลงถึงขนาดที่สมเหตุสมผล) เช่น PCA แต่สิ่งที่สำคัญที่สุดคือเพื่อให้มีความมั่นใจในการลดขนาดของผลลัพธ์โดยไม่ได้มองที่ตัวแปรตอบสนอง การถดถอยอีกครั้งด้วยตัวแปรที่สำคัญอย่างที่คุณแนะนำข้างต้นเป็นความคิดที่ไม่ดีเกือบทุกกรณี

อย่างไรก็ตามเนื่องจากคุณติดอยู่กับชุดข้อมูลและชุดของโควาเรียตที่คุณสนใจฉันไม่คิดว่าการใช้การถดถอยหลายครั้งด้วยวิธีนี้จะผิดโดยกำเนิด ฉันคิดว่าสิ่งที่ดีที่สุดคือการยอมรับผลลัพธ์ที่ได้จากแบบจำลองเต็มรูปแบบ (อย่าลืมดูที่การประเมินจุดและช่วงความมั่นใจเพื่อดูว่าผลกระทบที่สำคัญคาดว่าจะ "ใหญ่" ในบางจริงหรือไม่ ความรู้สึกของโลกและไม่ว่าผลกระทบที่ไม่มีนัยสำคัญมีการประเมินจริงจะมีขนาดเล็กกว่าผลกระทบที่สำคัญหรือไม่)

เกี่ยวกับการวิเคราะห์โดยไม่ต้องคาดเดาว่าเขตข้อมูลของคุณมีความสำคัญหรือไม่: ฉันไม่รู้ มันขึ้นอยู่กับการอนุมานแบบที่คุณต้องการสร้างตามโมเดล ในความหมายที่แคบรูปแบบการถดถอยยังคงถูกกำหนดไว้อย่างดี ("อะไรคือผลกระทบเล็กน้อยของตัวทำนายเหล่านี้ในการตอบสนองนี้?") แต่บางคนในสาขาของคุณอาจพูดถูกต้องว่าการวิเคราะห์นั้นไม่สมเหตุสมผล มันจะช่วยสักหน่อยถ้าคุณรู้ว่าตัวทำนายที่คุณไม่ได้เกี่ยวข้องจากตัวทำนายที่รู้จักกันดี (ไม่ว่ามันจะเป็นอะไร) หรือตัวทำนายที่รู้จักกันดีนั้นคงที่หรือเกือบคงที่สำหรับข้อมูลของคุณ: อย่างน้อยคุณก็สามารถพูดได้ว่า สิ่งอื่นที่ไม่ใช่ตัวทำนายที่รู้จักกันดีนั้นมีผลต่อการตอบสนอง

คำตอบสำหรับคำถามทั่วไปก็คือมันขึ้นอยู่กับปัจจัยหลายอย่างโดยมีปัจจัยหลักคือ (1) จำนวนโควาเรียต (2) ความแปรปรวนของค่าประมาณและค่าตกค้าง ด้วยตัวอย่างเล็ก ๆ คุณไม่มีอำนาจมากพอที่จะตรวจจับความแตกต่างจาก 0 ดังนั้นฉันจะดูความแปรปรวนโดยประมาณของพารามิเตอร์การถดถอย จากประสบการณ์ของฉันกับการสังเกต 21 ถดถอยด้วย 5 ตัวแปรไม่เพียงพอที่จะแยกแยะตัวแปร ดังนั้นฉันจะไม่เร็วเกินไปที่จะละทิ้งตัวแปรหรือไม่หลงรักสิ่งที่ปรากฏอย่างมีนัยสำคัญ คำตอบที่ดีที่สุดคือรอจนกว่าคุณจะมีข้อมูลมากขึ้น บางครั้งก็พูดง่าย แต่ทำยาก ฉันจะดูการถดถอยแบบขั้นตอนไปข้างหน้าและถอยหลังถอยหลังเพียงเพื่อดูว่าตัวแปรใดถูกเลือก หากค่าความแปรปรวนร่วมมีความสัมพันธ์กันสูงแสดงว่าอาจมีการเลือกชุดตัวแปรที่แตกต่างกันมาก Bootstrap โพรซีเดอร์การเลือกโมเดลตามที่จะเปิดเผยถึงความไวของการเลือกตัวแปรเพื่อการเปลี่ยนแปลงข้อมูล คุณควรคำนวณเมทริกซ์สหสัมพันธ์สำหรับ covariates บางทีแฟรงก์แฮร์เรลล์จะพูดถึงเรื่องนี้ เขาเป็นผู้เชี่ยวชาญอย่างแท้จริงในการเลือกตัวแปร ฉันคิดว่าอย่างน้อยเขาก็เห็นด้วยกับฉันว่าคุณไม่ควรเลือกแบบจำลองขั้นสุดท้ายโดยยึดตามจุดข้อมูล 21 จุดเท่านั้น