บทสรุปของ GAM พอดี


12

หากเราเหมาะกับ GAM เช่น:

gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + 
    s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College)

ที่เราใช้ในชุดข้อมูลที่สามารถพบได้ในแพคเกจCollege ตอนนี้ถ้าเราพบบทสรุปของแบบนี้แล้วเราจะเห็นว่า:ISLR

> summary(gam.fit)

Call: gam(formula = Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, 
    df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, 
    df = 2), data = College)
Deviance Residuals:
     Min       1Q   Median       3Q      Max 
-7522.66 -1140.99    55.18  1287.51  7918.22 

(Dispersion Parameter for gaussian family taken to be 3475698)

    Null Deviance: 12559297426 on 776 degrees of freedom
Residual Deviance: 2648482333 on 762.0001 degrees of freedom
AIC: 13924.52 

Number of Local Scoring Iterations: 2 

Anova for Parametric Effects
                        Df     Sum Sq    Mean Sq F value    Pr(>F)    
Private                  1 3377801998 3377801998 971.834 < 2.2e-16 ***
s(Room.Board, df = 2)    1 2484460409 2484460409 714.809 < 2.2e-16 ***
s(PhD, df = 2)           1  839368837  839368837 241.496 < 2.2e-16 ***
s(perc.alumni, df = 2)   1  509679160  509679160 146.641 < 2.2e-16 ***
s(Expend, df = 5)        1 1019968912 1019968912 293.457 < 2.2e-16 ***
s(Grad.Rate, df = 2)     1  148052210  148052210  42.596 1.227e-10 ***
Residuals              762 2648482333    3475698                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Anova for Nonparametric Effects
                       Npar Df Npar F   Pr(F)    
(Intercept)                                      
Private                                          
s(Room.Board, df = 2)        1  3.480 0.06252 .  
s(PhD, df = 2)               1  1.916 0.16668    
s(perc.alumni, df = 2)       1  1.471 0.22552    
s(Expend, df = 5)            4 34.350 < 2e-16 ***
s(Grad.Rate, df = 2)         1  1.981 0.15971    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

ที่นี่ฉันไม่เข้าใจความหมายของส่วน "Anova สำหรับผลพารามิเตอร์" เช่นเดียวกับ "Anova สำหรับผลกระทบที่ไม่ใช่พารามิเตอร์" แม้ว่าฉันจะรู้การทำงานของการทดสอบ ANOVA แต่ฉันไม่สามารถเข้าใจส่วนของ "ผลพารามิเตอร์" และ "ผลพารามิเตอร์ที่ไม่ใช่พารามิเตอร์" ของสรุปดังนั้นพวกเขาหมายความว่าอย่างไร ความสำคัญของพวกเขาคืออะไร?


คำถามนี้เกิดขึ้นเนื่องจากการที่ (ง) เป็นส่วนหนึ่งของเรื่องนี้คำตอบสำหรับคำถามที่ 10 บทที่ 7 ของความรู้เบื้องต้นของการเรียนรู้ทางสถิติ

คำตอบ:


22

วิธีการที่เอาท์พุทของวิธีการนี้เพื่อปรับโครงสร้างเกมให้เหมาะสมคือการจัดกลุ่มชิ้นส่วนเชิงเส้นของสมูทเทอร์เข้ากับเงื่อนไขพารามิเตอร์อื่น ๆ การประกาศPrivateมีรายการในตารางแรก แต่รายการนั้นว่างเปล่าในวินาที นี่เป็นเพราะPrivateเป็นคำที่เคร่งครัดพารามิเตอร์ Privateมันเป็นตัวแปรปัจจัยและด้วยเหตุนี้มีความเกี่ยวข้องกับพารามิเตอร์ประมาณซึ่งหมายถึงผลกระทบของ เหตุผลที่ทำให้คำศัพท์ที่ราบรื่นถูกแยกออกเป็นเอฟเฟกต์สองประเภทคือผลลัพธ์นี้ช่วยให้คุณตัดสินใจได้ว่าคำศัพท์ที่ราบรื่นนั้นมี

  1. เอฟเฟกต์แบบไม่เชิงเส้น : ดูตารางที่ไม่ใช่พารามิเตอร์และประเมินความสำคัญ หากมีความสำคัญปล่อยให้เป็นผลไม่เชิงเส้นเรียบ หากไม่มีนัยสำคัญให้พิจารณาผลเชิงเส้น (2. ด้านล่าง)
  2. ผลเชิงเส้น : ดูที่ตารางพารามิเตอร์และประเมินความสำคัญของผลเชิงเส้น หากสำคัญคุณสามารถเปลี่ยนคำให้เป็นแบบเรียบs(x)-> xในสูตรที่อธิบายโมเดล หากไม่มีนัยสำคัญคุณอาจพิจารณาตัดคำจากแบบจำลองทั้งหมด (แต่ต้องระวังด้วยสิ่งนี้ --- นั่นคือจำนวนที่แสดงถึงคำแถลงที่แข็งแกร่งว่าผลที่แท้จริงคือ == 0)

ตารางพารามิเตอร์

รายการที่นี่เป็นเหมือนสิ่งที่คุณจะได้รับหากคุณติดตั้งโมเดลเชิงเส้นและคำนวณตาราง ANOVA ยกเว้นจะไม่มีการประเมินค่าสัมประสิทธิ์ของโมเดลที่เกี่ยวข้องใด ๆ แทนที่จะเป็นค่าสัมประสิทธิ์โดยประมาณและข้อผิดพลาดมาตรฐานและการทดสอบtหรือ Wald ที่เกี่ยวข้องปริมาณของความแปรปรวนที่อธิบาย (ในแง่ของผลรวมของกำลังสอง) จะแสดงควบคู่ไปกับการทดสอบ F เช่นเดียวกับแบบจำลองการถดถอยอื่น ๆ ที่มี covariates หลายตัว (หรือฟังก์ชันของ covariates) รายการในตารางมีเงื่อนไขตามข้อกำหนด / ฟังก์ชันอื่น ๆ ในแบบจำลอง

ตารางที่ไม่ใช่พารามิเตอร์

อิงผลกระทบที่เกี่ยวข้องกับชิ้นส่วนที่ไม่เป็นเชิงเส้นของ smoothers พอดี Expendองค์กรไม่แสวงหาผลกระทบไม่เชิงเส้นเหล่านี้เป็นสิ่งที่สำคัญยกเว้นสำหรับผลของการไม่เชิงเส้น Room.Boardมีหลักฐานของผลในเชิงบาง แต่ละสิ่งนี้เกี่ยวข้องกับจำนวนขององศาอิสระที่ไม่ใช่พารามิเตอร์ ( Npar Df) และพวกเขาอธิบายจำนวนของความแปรปรวนในการตอบสนองจำนวนที่ประเมินผ่านการทดสอบ F (โดยค่าเริ่มต้นดูอาร์กิวเมนต์test)

การทดสอบเหล่านี้ในอิงพารามิเตอร์ส่วนสามารถตีความได้ว่าการทดสอบของสมมติฐานของความสัมพันธ์เชิงเส้นแทนของความสัมพันธ์ที่ไม่เป็นเชิงเส้น

วิธีที่คุณสามารถตีความสิ่งนี้คือการExpendรับประกันว่าจะได้รับการปฏิบัติอย่างราบรื่นไม่เชิงเส้น สมูทอื่น ๆ สามารถเปลี่ยนเป็นเงื่อนไขเชิงเส้นเชิงเส้นได้ คุณอาจต้องการตรวจสอบว่าความRoom.Boardต่อเนื่องของการราบรื่นนั้นมีผลที่ไม่เกี่ยวกับพารามิเตอร์ที่ไม่สำคัญเมื่อคุณแปลงสมูตอื่น ๆ เป็นเชิงเส้นและเชิงพารามิเตอร์ มันอาจเป็นไปได้ว่าผลกระทบของการไม่Room.Boardเป็นเชิงเส้นเล็กน้อย แต่สิ่งนี้จะได้รับผลกระทบจากการมีอยู่ของคำศัพท์ที่เรียบอื่น ๆ ในรูปแบบ

อย่างไรก็ตามสิ่งต่าง ๆ มากมายนี้อาจขึ้นอยู่กับข้อเท็จจริงที่ว่าสมูทจำนวนมากได้รับอนุญาตให้ใช้อิสระเพียง 2 องศาเท่านั้น ทำไม 2

การเลือกความเรียบอัตโนมัติ

แนวทางที่ใหม่กว่าในการปรับเกมให้เหมาะกับคุณจะเลือกระดับความราบรื่นสำหรับคุณผ่านวิธีการเลือกความราบรื่นอัตโนมัติเช่นวิธี spline ที่ถูกลงโทษของ Simon Wood ดังที่ติดตั้งในแพ็คเกจที่แนะนำmgcv :

data(College, package = 'ISLR')
library('mgcv')

set.seed(1)
nr <- nrow(College)
train <- with(College, sample(nr, ceiling(nr/2)))
College.train <- College[train, ]
m <- mgcv::gam(Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
               s(Expend) + s(Grad.Rate), data = College.train,
               method = 'REML')

แบบจำลองสรุปกระชับและพิจารณาโดยตรงว่าฟังก์ชั่นที่ราบรื่นโดยรวมมากกว่าเป็นเชิงเส้น (พารามิเตอร์) และไม่เชิงเส้น (ไม่ใช่พารามิเตอร์):

> summary(m)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8544.1      217.2  39.330   <2e-16 ***
PrivateYes    2499.2      274.2   9.115   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.190  2.776 20.233 3.91e-11 ***
s(PhD)         2.433  3.116  3.037 0.029249 *  
s(perc.alumni) 1.656  2.072 15.888 1.84e-07 ***
s(Expend)      4.528  5.592 19.614  < 2e-16 ***
s(Grad.Rate)   2.125  2.710  6.553 0.000452 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.2%
-REML = 3436.4  Scale est. = 3.3143e+06  n = 389

ตอนนี้เอาท์พุทรวบรวมข้อตกลงที่ราบรื่นและข้อตกลงพารามิเตอร์ลงในตารางที่แยกต่างหากกับหลังได้รับผลลัพธ์ที่คุ้นเคยมากขึ้นคล้ายกับที่ของรูปแบบเชิงเส้น เอฟเฟกต์ข้อความทั้งหมดจะแสดงในตารางด้านล่าง สิ่งเหล่านี้ไม่ใช่การทดสอบเดียวกับgam::gamแบบจำลองที่คุณแสดง พวกเขากำลังทดสอบกับสมมติฐานว่างเปล่าว่าเอฟเฟ็กต์ราบรื่นคือเส้นแบนแนวนอนเอฟเฟกต์ว่างหรือแสดงผลเป็นศูนย์ ทางเลือกคือเอฟเฟกต์แบบไม่เชิงเส้นที่แท้จริงนั้นแตกต่างจากศูนย์

ขอให้สังเกตว่า EDF นั้นมีขนาดใหญ่กว่า 2 ทั้งหมดยกเว้นการs(perc.alumni)แนะนำว่าgam::gamแบบจำลองอาจมีข้อ จำกัด เล็กน้อย

การติดตั้งที่ราบรื่นสำหรับการเปรียบเทียบนั้นมอบให้โดย

plot(m, pages = 1, scheme = 1, all.terms = TRUE, seWithMean = TRUE)

ซึ่งผลิต

ป้อนคำอธิบายรูปภาพที่นี่

การเลือกความเรียบอัตโนมัติยังสามารถเลือกใช้ร่วมกับคำศัพท์ที่ย่อมาจากรุ่นได้ทั้งหมด:

เมื่อทำอย่างนั้นเราจะเห็นว่าแบบจำลองนั้นไม่เปลี่ยนแปลง

> summary(m2)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8539.4      214.8  39.755   <2e-16 ***
PrivateYes    2505.7      270.4   9.266   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.260      9  6.338 3.95e-14 ***
s(PhD)         1.809      9  0.913  0.00611 ** 
s(perc.alumni) 1.544      9  3.542 8.21e-09 ***
s(Expend)      4.234      9 13.517  < 2e-16 ***
s(Grad.Rate)   2.114      9  2.209 1.01e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.1%
-REML = 3475.3  Scale est. = 3.3145e+06  n = 389

ความนุ่มนวลทั้งหมดดูเหมือนว่าจะแนะนำผลกระทบที่ไม่เชิงเส้นเล็กน้อยแม้หลังจากที่เราหดส่วนเชิงเส้นและไม่เชิงเส้นของเส้นโค้ง

โดยส่วนตัวแล้วฉันพบว่าเอาต์พุตจากmgcvง่ายต่อการตีความและเนื่องจากมันแสดงให้เห็นว่าวิธีการเลือกความเรียบอัตโนมัติจะมีแนวโน้มที่จะให้ผลเชิงเส้นตรงหากข้อมูลได้รับการสนับสนุน


4
+1 คำอธิบายที่ดี (ฉันอยากรู้ว่าคุณหมายถึงอะไรโดยการทดสอบ "nonparametric F" ว่า: มันจะแตกต่างจากการทดสอบ F มาตรฐานได้อย่างไร?)
whuber

4
@whuber นั่นเป็นเพียงถ้อยคำที่ไม่ดี; มันคือการทดสอบมาตรฐาน F แต่เนื่องจากการสลายตัวของความนุ่มนวลเป็นส่วนเชิงเส้นและไม่เชิงเส้นนั่นคือการทดสอบสิ่งที่เอาท์พุทเรียกบิต "nonparametric" ฉันจะแก้ไขมัน
Reinstate Monica - G. Simpson

3
ค่า p ไม่ทำงานอย่างนั้น สำหรับการทดสอบที่จะได้มีการดำเนินการที่เราได้สันนิษฐานว่าสมมติฐานเป็นความจริง การทดสอบที่ทำคืออะไรสมมติว่าสมมติว่าความสัมพันธ์เป็นแบบเส้นตรงขัดแย้งกับสมมติฐานมากว่าเป็นหลักฐานที่นำมาจากข้อมูลหรือไม่ หากหลักฐานที่นำมาจากข้อมูลสอดคล้องกับสิ่งที่เราคาดหวังว่าเป็นโมฆะจริง หากหลักฐานไม่สอดคล้องกับสมมติฐานว่างเราก็คงไม่น่าจะสังเกตเห็นข้อมูลที่เราทำถ้าว่างนั้นเป็นจริง ค่า p เป็นตัวชี้วัดของหลักฐานต่อโมฆะ
Reinstate Monica - G. Simpson

1
คุณพูดถึงตารางพารามิเตอร์: "รายการที่นี่คือสิ่งที่คุณจะได้รับหากคุณติดตั้งสิ่งนี้เป็นแบบจำลองเชิงเส้นและคำนวณตาราง ANOVA" ฉันถือว่าสิ่งนี้ไม่เป็นความจริง (นั่นคือส่วนที่ไม่ใช่เชิงเส้นของโมเดลไม่ส่งผลกระทบต่อการประมาณค่านัยสำคัญสำหรับส่วนเชิงเส้นเลย) แน่นอนว่าการประมาณค่าของชิ้นส่วนเชิงเส้นและไม่เชิงเส้นเกิดขึ้นพร้อมกันและส่วนที่ไม่ใช่เชิงเส้นจะมีผลต่อสัมประสิทธิ์สำหรับส่วนเชิงเส้นรวมถึงความสำคัญใช่ไหม?
Jacob Socolar

1
@JacobSocolar เท่าที่ฉันเข้าใจเส้นโค้งนั้นจะถูกแยกออกเป็นองค์ประกอบเชิงเส้นและส่วนประกอบที่ไม่ใช่เชิงเส้น (จำนวนที่ขึ้นอยู่กับองศาอิสระที่อนุญาตสำหรับเส้นโค้ง) สิ่งที่ฉันหมายถึงคือนี่คือผลลัพธ์ที่คุณจะได้รับจากตัวแบบเชิงเส้นตามด้วย ANOVA (เช่นการทดสอบ F สำหรับค่าเฉลี่ยกำลังสอง) สวัสดีใช่นี่เป็นผลกระทบบางส่วนในแง่ที่ความแปรปรวนที่อธิบายโดยส่วนหนึ่งของแบบจำลองขึ้นอยู่กับเงื่อนไขอื่น ๆ (& ฟังก์ชั่นพื้นฐาน) ในแบบจำลอง และใช่ฉันไม่ได้หมายถึงคำพูดนั้นอย่างแท้จริง ฉันจะ reword เพื่อ "ชอบสิ่งที่คุณจะ ... "
Reinstate Monica - G. Simpson
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.