นี่คือตัวอย่างง่ายๆ ฉันไม่รู้ว่าคุณคุ้นเคยกับ R หรือไม่ แต่หวังว่ารหัสนั้นจะอธิบายได้อย่างเพียงพอ
set.seed(9) # this makes the example reproducible
N = 36
# the following generates 3 variables:
x1 = rep(seq(from=11, to=13), each=12)
x2 = rep(rep(seq(from=90, to=150, by=20), each=3 ), times=3)
x3 = rep(seq(from=6, to=18, by=6 ), times=12)
cbind(x1, x2, x3)[1:7,] # 1st 7 cases, just to see the pattern
x1 x2 x3
[1,] 11 90 6
[2,] 11 90 12
[3,] 11 90 18
[4,] 11 110 6
[5,] 11 110 12
[6,] 11 110 18
[7,] 11 130 6
# the following is the true data generating process, note that y is a function of
# x1 & x2, but not x3, note also that x1 is designed above w/ a restricted range,
# & that x2 tends to have less influence on the response variable than x1:
y = 15 + 2*x1 + .2*x2 + rnorm(N, mean=0, sd=10)
reg.Model = lm(y~x1+x2+x3) # fits a regression model to these data
ทีนี้มาดูกันว่ามันจะเป็นอย่างไร:
. . .
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -1.76232 27.18170 -0.065 0.94871
x1 3.11683 2.09795 1.486 0.14716
x2 0.21214 0.07661 2.769 0.00927 **
x3 0.17748 0.34966 0.508 0.61524
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
. . .
F-statistic: 3.378 on 3 and 32 DF, p-value: 0.03016
เราสามารถมุ่งเน้นไปที่ส่วน "ค่าสัมประสิทธิ์" ของผลลัพธ์ แต่ละพารามิเตอร์ที่ประเมินโดยตัวแบบจะได้รับแถวของตัวเอง การประมาณการจริงจะแสดงในคอลัมน์แรก คอลัมน์ที่สองแสดงรายการข้อผิดพลาดมาตรฐานของการประมาณการนั่นคือการประมาณว่าการประมาณจะเด้งจากตัวอย่างหนึ่งไปยังอีกตัวอย่างหนึ่งถ้าเราต้องทำซ้ำขั้นตอนนี้ซ้ำแล้วซ้ำอีก โดยเฉพาะอย่างยิ่งมันเป็นการประมาณค่าเบี่ยงเบนมาตรฐานของการกระจายตัวตัวอย่างของการประมาณ หากเราแบ่งการประมาณแต่ละพารามิเตอร์ด้วย SE เราจะได้คะแนน t-ซึ่งแสดงอยู่ในคอลัมน์ที่สาม สิ่งนี้ใช้สำหรับการทดสอบสมมติฐานโดยเฉพาะเพื่อทดสอบว่าการประมาณพารามิเตอร์นั้นแตกต่างอย่างมีนัยสำคัญจาก 0 หรือไม่คอลัมน์สุดท้ายคือp-value ที่เกี่ยวข้องกับ t-score มันเป็นความน่าจะเป็นในการหาค่าประมาณที่ไกลหรือไกลจาก 0 หากสมมติฐานว่างเป็นจริง โปรดทราบว่าหากสมมติฐานว่างเปล่าไม่เป็นความจริงมันไม่ชัดเจนว่าค่านี้บอกเราว่ามีความหมายอะไรเลย
หากเรามองกลับไปมาระหว่างตารางค่าสัมประสิทธิ์และกระบวนการสร้างข้อมูลจริงข้างต้นเราสามารถเห็นสิ่งที่น่าสนใจบางอย่าง การสกัดกั้นนั้นประมาณ -1.8 และ SE ของมันคือ 27 ในขณะที่ค่าจริงคือ 15 เนื่องจากค่า p-value ที่เกี่ยวข้องคือ. 95 จึงไม่ถือว่า 'แตกต่างอย่างมีนัยสำคัญ' จาก 0 ( ข้อผิดพลาด type II ) แต่ มันยังคงอยู่ภายในหนึ่ง SE ของมูลค่าที่แท้จริง ดังนั้นจึงไม่มีอะไรมากสุดขีดเกี่ยวกับการประเมินนี้จากมุมมองของมูลค่าที่แท้จริงและจำนวนเงินที่ควรจะผันผวน เราเพียง แต่มีพลังไม่เพียงพอที่จะแยกความแตกต่างจาก 0 เรื่องราวเดียวกันถือครองไม่มากก็น้อยสำหรับx1. โดยทั่วไปนักวิเคราะห์ข้อมูลจะบอกว่ามันไม่ได้มีนัยสำคัญเพียงเล็กน้อยเนื่องจากค่า p ของมันคือ> .10 อย่างไรก็ตามนี่เป็นข้อผิดพลาดประเภทที่สองอีกประการหนึ่ง ค่าประมาณx2นั้นค่อนข้างแม่นยำ..21214≈.2x3x1ทำนายตัวแปรตอบสนองได้ดีกว่าโอกาสเพียงอย่างเดียว อีกวิธีหนึ่งในการพูดแบบนี้คือการประมาณว่าทั้งหมดควรได้รับการพิจารณาว่าไม่สามารถแยกความแตกต่างจาก 0 ได้ผลลัพธ์ของการทดสอบนี้แสดงให้เห็นว่าอย่างน้อยที่สุดการประมาณค่าพารามิเตอร์บางอย่างไม่เท่ากับ 0 เนื่องจากมีการทดสอบ 4 รายการข้างต้นเราจึงไม่มีการป้องกันจากปัญหาการเปรียบเทียบหลายรายการหากไม่มีสิ่งนี้ (โปรดจำไว้ว่าเนื่องจากค่า p เป็นตัวแปรสุ่ม - ไม่ว่าจะมีบางอย่างที่สำคัญจะแตกต่างจากการทดสอบไปสู่การทดสอบหรือไม่ถ้าการทดลองนั้นถูกเรียกใช้ซ้ำ - มันเป็นไปได้ที่สิ่งเหล่านี้จะไม่สอดคล้องกัน CV ที่นี่: ความสำคัญของสัมประสิทธิ์ในการถดถอยหลายครั้ง: t-test อย่างมีนัยสำคัญเทียบกับสถิติ F ที่ไม่มีนัยสำคัญและสถานการณ์ตรงข้ามที่นี่: การถดถอยมีความสำคัญอย่างไร แต่ตัวทำนายทั้งหมดไม่สำคัญ , & ที่นี่: สถิติ F และ t ในการถดถอย ) บางทีอาจจะสงสัยว่าไม่มีข้อผิดพลาดประเภทที่ 1ในตัวอย่างนี้ ในอัตราใด ๆทั้ง 5 ของการทดสอบที่กล่าวถึงในย่อหน้านี้มีการทดสอบสมมติฐาน
จากความคิดเห็นของคุณฉันรวบรวมคุณอาจสงสัยว่าจะอธิบายได้อย่างไรว่าตัวแปรอธิบายหนึ่งสำคัญกว่าอีกหรือไม่ นี่เป็นคำถามที่พบบ่อยมาก แต่ค่อนข้างยุ่งยาก ลองนึกภาพว่าต้องการทำนายศักยภาพของความสำเร็จในการเล่นกีฬาโดยพิจารณาจากความสูงและน้ำหนักของนักกีฬาและสงสัยว่าสิ่งใดสำคัญกว่ากัน กลยุทธ์ทั่วไปคือการดูเพื่อดูว่าสัมประสิทธิ์ประมาณใดมีขนาดใหญ่กว่า อย่างไรก็ตามการประมาณเหล่านี้มีความเฉพาะกับหน่วยที่ใช้: ตัวอย่างเช่นสัมประสิทธิ์ของน้ำหนักจะเปลี่ยนไปขึ้นอยู่กับว่าใช้ปอนด์หรือกิโลกรัม นอกจากนี้ยังไม่มีความชัดเจนในระยะไกลเกี่ยวกับวิธีการเปรียบเทียบ / เปรียบเทียบปอนด์และนิ้วหรือกิโลกรัมและเซนติเมตร กลยุทธ์หนึ่งที่ผู้คนใช้คือสร้างมาตรฐานR2r = r2--√