(เพราะเหตุใด) โมเดลที่ติดตั้งมากเกินไปมักจะมีค่าสัมประสิทธิ์จำนวนมากหรือไม่

ฉันจินตนาการว่าสัมประสิทธิ์ของตัวแปรที่ใหญ่กว่าคือยิ่งความสามารถในการรุ่นนั้นต้อง "แกว่ง" ในมิตินั้นให้โอกาสเพิ่มขึ้นเพื่อให้พอดีกับเสียง แม้ว่าฉันคิดว่าฉันมีความรู้สึกที่สมเหตุสมผลของความสัมพันธ์ระหว่างความแปรปรวนในแบบจำลองและค่าสัมประสิทธิ์ขนาดใหญ่ แต่ฉันไม่มีความรู้สึกที่ดีเท่ากับว่าทำไมพวกเขาถึงเกิดขึ้นในแบบจำลองที่พอดี มันไม่ถูกต้องหรือไม่ที่จะบอกว่าพวกเขาเป็นอาการของการบรรจุเกินและการหดตัวของสัมประสิทธิ์เป็นเทคนิคที่ใช้ในการลดความแปรปรวนในแบบจำลองหรือไม่? การทำให้เป็นมาตรฐานผ่านการหดตัวของสัมประสิทธิ์ดูเหมือนว่าจะทำงานบนหลักการที่ว่าค่าสัมประสิทธิ์ขนาดใหญ่เป็นผลมาจากตัวแบบที่มีการ overfitted แต่บางทีฉันอาจตีความแรงจูงใจที่อยู่เบื้องหลังเทคนิค

สัญชาตญาณของฉันที่ค่าสัมประสิทธิ์ขนาดใหญ่มักจะมีอาการของการสะสมมากเกินไปมาจากตัวอย่างต่อไปนี้:

สมมติว่าเราต้องการให้พอดีกับจุดที่ทุกคนนั่งอยู่บนแกน x เราสามารถสร้างพหุนามที่มีการแก้ปัญหาเป็นจุดเหล่านี้:(x-x_n) สมมติว่าจุดที่เราอยู่ที่xเทคนิคนี้ให้ค่าสัมประสิทธิ์ทั้งหมด> = 10 (ยกเว้นหนึ่งค่าสัมประสิทธิ์) เมื่อเราเพิ่มคะแนนมากขึ้น (และเพิ่มระดับพหุนาม) ขนาดของสัมประสิทธิ์เหล่านี้จะเพิ่มขึ้นอย่างรวดเร็วF ( x ) = ( x - x 1 ) ( x - x 2 ) . . . ( x - x n - 1 ) ( x - x n ) x = 1 , 2 , 3 , $n$$f(x) = (x-x_1)(x-x_2)....(x-x_{n-1})(x-x_n)$$x=1,2,3,4$

ตัวอย่างนี้เป็นวิธีที่ฉันกำลังเชื่อมต่อขนาดของค่าสัมประสิทธิ์ของแบบจำลองกับ "ความซับซ้อน" ของแบบจำลองที่สร้างขึ้น แต่ฉันกังวลว่ากรณีนี้คือการทำให้ปราศจากเชื้อเพื่อบ่งบอกพฤติกรรมที่แท้จริงของโลก ฉันจงใจสร้างแบบจำลองที่มีการติดตั้งมากเกินไป (พหุนาม OLS ระดับ 10 พอดีกับข้อมูลที่สร้างจากแบบจำลองการสุ่มกำลังสอง) และรู้สึกประหลาดใจที่เห็นสัมประสิทธิ์ขนาดเล็กส่วนใหญ่ในแบบจำลองของฉัน:

set.seed(123)
xv = seq(-5,15,length.out=1e4)
x=sample(xv,20)
gen=function(v){v^2 + 7*rnorm(length(v))}
y=gen(x)
df = data.frame(x,y)

model = lm(y~poly(x,10,raw=T), data=df)
summary(abs(model$coefficients))
#     Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
# 0.000001 0.003666 0.172400 1.469000 1.776000 5.957000


data.frame(sort(abs(model$coefficients)))
#                                   model.coefficients
# poly(x, 10, raw = T)10                  7.118668e-07
# poly(x, 10, raw = T)9                   3.816941e-05
# poly(x, 10, raw = T)8                   7.675023e-04
# poly(x, 10, raw = T)7                   6.565424e-03
# poly(x, 10, raw = T)6                   1.070573e-02
# poly(x, 10, raw = T)5                   1.723969e-01
# poly(x, 10, raw = T)3                   6.341401e-01
# poly(x, 10, raw = T)4                   8.007111e-01
# poly(x, 10, raw = T)1                   2.751109e+00
# poly(x, 10, raw = T)2                   5.830923e+00
# (Intercept)                             5.956870e+00

บางทีสิ่งที่นำออกไปจากตัวอย่างนี้คือสองในสามของสัมประสิทธิ์น้อยกว่า 1 และสัมพันธ์กับสัมประสิทธิ์อื่น ๆมีสัมประสิทธิ์สามตัวที่มีขนาดใหญ่ผิดปกติ (และตัวแปรที่เกี่ยวข้องกับสัมประสิทธิ์เหล่านี้ก็ใกล้เคียงที่สุด เกี่ยวข้องกับรูปแบบการสุ่มตัวอย่างที่แท้จริง)

การทำให้เป็นมาตรฐาน (L2) เป็นเพียงกลไกในการลดความแปรปรวนในแบบจำลองและทำให้ "เส้นโค้ง" เรียบเนียนขึ้นเพื่อให้เหมาะสมกับข้อมูลในอนาคตมากขึ้นหรือเป็นการใช้ประโยชน์จากฮิวริสติกที่ได้มาจากการสังเกตว่า มันเป็นแถลงการณ์ที่ถูกต้องหรือไม่ว่าโมเดลที่ติดตั้งมากเกินไปมักจะมีค่าสัมประสิทธิ์สูง ถ้าเป็นเช่นนั้นทุกคนสามารถอธิบายกลไกเบื้องหลังปรากฏการณ์เล็กน้อยและ / หรือชี้นำฉันไปยังวรรณกรรมบางเล่มได้หรือไม่?

ในบริบทการทำให้เป็นมาตรฐานสัมประสิทธิ์ "ใหญ่" หมายความว่าขนาดของการประเมินนั้นใหญ่กว่าที่ควรจะเป็นหากมีการใช้แบบจำลองที่แน่นอน มันเป็นผลกระทบของการได้รับไม่ใช่แค่ข้อมูลประมาณการ แต่ยังรวมถึงข้อมูลจำเพาะของโมเดลด้วยจากข้อมูล

พิจารณาว่าขั้นตอนเช่นการถดถอยแบบขั้นตอนจะทำอะไรกับตัวแปรที่กำหนด หากการประมาณค่าสัมประสิทธิ์มีค่าน้อยเมื่อเทียบกับข้อผิดพลาดมาตรฐานมันจะลดลงจากตัวแบบ อาจเป็นเพราะค่าจริงมีขนาดเล็กหรือเพียงเพราะข้อผิดพลาดแบบสุ่ม (หรือการรวมกันของทั้งสอง) ถ้ามันตกเราจะไม่สนใจอีกต่อไป ในทางกลับกันหากการประมาณการมีขนาดใหญ่เมื่อเทียบกับข้อผิดพลาดมาตรฐานการประมาณการจะถูกเก็บไว้ สังเกตความไม่สมดุล: ตัวแบบสุดท้ายของเราจะปฏิเสธตัวแปรเมื่อค่าประมาณสัมประสิทธิ์มีขนาดเล็ก แต่เราจะเก็บไว้เมื่อค่าประมาณมีขนาดใหญ่ ดังนั้นเราน่าจะประเมินค่าสูงไป

อีกวิธีหนึ่งคือความหมายที่เกินกำลังของคุณคือการพูดเกินจริงถึงผลกระทบของชุดพยากรณ์ที่ให้มากับการตอบสนอง แต่วิธีเดียวที่คุณสามารถพูดเกินจริงถึงผลกระทบคือถ้าค่าสัมประสิทธิ์โดยประมาณใหญ่เกินไป (และในทางกลับกันค่าประมาณสำหรับตัวทำนายที่ยกเว้นของคุณนั้นเล็กเกินไป)

step$\beta_3$$\beta_{10}$

นี่คือตัวอย่างของสิ่งที่ฉันพูดถึง

repeat.exp <- function(M)
{
    x <- seq(-2, 2, len=25)
    px <- poly(x, 10)
    colnames(px) <- paste0("x", 1:10)
    out <- setNames(rep(NA, 11), c("(Intercept)", colnames(px)))
    sapply(1:M, function(...) {
        y <- x^2 + rnorm(N, s=2)
        d <- data.frame(px, y)
        b <- coef(step(lm(y ~ x1, data=d), y ~ x1 + x2 + x3 + x4 + x5 + x6 + x7 + x8 + x9 + x10, trace=0))
        out[names(b)] <- b
        out
    })
}

set.seed(53520)
z <- repeat.exp(M=1000)

# some time later...
rowMeans(abs(z), na.rm=TRUE)

(Intercept)          x1          x2          x3          x4          x5          x6          x7          x8          x9         x10 
   1.453553    3.162100    6.533642    3.108974    3.204341    3.131208    3.118276    3.217231    3.293691    3.149520    3.073062 

$\beta_3$$\beta_{10}$

repeat.exp.base <- function(M)
{
    x <- seq(-2, 2, len=25)
    px <- poly(x, 10)
    colnames(px) <- paste0("x", 1:10)
    out <- setNames(rep(NA, 11), c("(Intercept)", colnames(px)))
    sapply(1:M, function(...) {
        y <- x^2 + rnorm(N, s=2)
        d <- data.frame(px, y)
        b <- coef(lm(y ~ ., data=d))
        out[names(b)] <- b
        out
    })
}

set.seed(53520)
z2 <- repeat.exp.base(M=1000)

rowMeans(abs(z2))
(Intercept)          x1          x2          x3          x4          x5          x6          x7          x8          x9         x10 
   1.453553    1.676066    6.400629    1.589061    1.648441    1.584861    1.611819    1.607720    1.656267    1.583362    1.556168 

$\beta_1$$\beta_2$

หนึ่งคำตอบที่ง่ายมากโดยไม่ดูรายละเอียดของคุณ: เมื่อคุณ overfitting ตัวประมาณค่าพารามิเตอร์มักจะมีความแปรปรวนจำนวนมากและค่าความแปรปรวนขนาดใหญ่นั้นเป็นสิ่งที่คุณควรคาดหวัง!

เดวิด ฉันคิดว่าปัญหากับตัวอย่างของคุณคือคุณยังไม่ได้ทำให้ข้อมูลของคุณเป็นปกติ (เช่น X ^ 10 >> X

ดังนั้นเดวิดถูกต้องว่ามันลดค่าสัมประสิทธิ์ที่ใหญ่กว่าให้มากขึ้น (เพื่อให้คุณสามารถจบลงด้วยค่าสัมประสิทธิ์ขนาดเล็กจำนวนมากในขณะที่การทำให้เป็นมาตรฐาน L1 อาจทำให้คุณมีขนาดใหญ่และเหลือศูนย์หนึ่ง)

ดังนั้นโดยพื้นฐานแล้วมันคือการห่อหุ้มที่การเปลี่ยนแปลงเล็กน้อยควรมีผลขนาดเล็ก (และแน่นอนว่าเรากลับไปที่เรื่องของขนาดเล็ก - ทำให้ข้อมูลของคุณเป็นปกติและอื่น ๆ ) แต่สิ่งสำคัญคือในมิติที่สูงขึ้นซึ่งความสัมพันธ์เข้ามาเล่น: จินตนาการว่าคุณมีสองตัวแปร x, y ที่มีความสัมพันธ์สูง (ทั้งปกติถึงความแปรปรวน 1) จากนั้นความแตกต่างของพวกเขาจะเล็ก = "เสียง" - การลงโทษน้ำหนักขนาดใหญ่ ป้องกันไม่ให้คุณเหมาะสมกับเสียงรบกวนนี้ (และมีค่ามากเกือบจะยกเลิกค่าสัมประสิทธิ์สำหรับ y และ x)

ตัวอย่างยังคงมีอยู่สำหรับความสัมพันธ์เชิงเส้นใด ๆ (y = mx)

เงยหน้าขึ้นมองสันเขาถดถอย

ภาพนี้มาจากบันทึกของหลักสูตร DL ของ Andrew Ng โปรดแจ้งให้เราทราบหากคุณมีคำถาม