การลดจำนวนตัวแปรในการถดถอยหลายครั้ง

ฉันมีชุดข้อมูลขนาดใหญ่ซึ่งประกอบด้วยค่าของตัวแปรทางการเงินหลายร้อยตัวที่สามารถใช้ในการถดถอยหลายครั้งเพื่อทำนายพฤติกรรมของกองทุนดัชนีในช่วงเวลาหนึ่ง ฉันต้องการลดจำนวนของตัวแปรให้เหลือเพียงสิบหรือมากกว่านั้นในขณะที่ยังคงรักษาพลังการทำนายได้มากที่สุด เพิ่มเติม: ชุดของตัวแปรที่ลดลงจะต้องเป็นชุดย่อยของชุดตัวแปรดั้งเดิมเพื่อที่จะรักษาความหมายทางเศรษฐกิจของตัวแปรดั้งเดิมไว้ ตัวอย่างเช่นฉันไม่ควรลงท้ายด้วยชุดค่าผสมเชิงเส้นหรือมวลรวมของตัวแปรดั้งเดิม

ความคิด (อาจไร้เดียงสา) บางอย่างเกี่ยวกับวิธีการทำเช่นนี้:

1. ดำเนินการถดถอยเชิงเส้นที่เรียบง่ายกับตัวแปรแต่ละตัวและเลือกสิบมีขนาดใหญ่ที่สุดค่า แน่นอนไม่มีการรับประกันว่าตัวแปรที่ดีที่สุดสิบตัวที่รวมกันจะเป็นกลุ่มที่ดีที่สุดของสิบคน$R^2$
2. ทำการวิเคราะห์ส่วนประกอบหลักและลองค้นหาตัวแปรสิบตัวแรกที่มีความสัมพันธ์มากที่สุดกับแกนหลักสองสามตัวแรก

ฉันไม่คิดว่าฉันสามารถทำการถดถอยแบบลำดับชั้นได้เนื่องจากตัวแปรนั้นไม่ซ้อนกันจริงๆ การลองชุดค่าผสมที่เป็นไปได้ทั้งหมดของตัวแปรสิบตัวนั้นเป็นไปไม่ได้เนื่องจากไม่มีชุดค่าผสมมากเกินไป

มีวิธีการมาตรฐานในการจัดการกับปัญหานี้ในการลดจำนวนตัวแปรในการถดถอยหลายครั้งหรือไม่?

ดูเหมือนว่านี่จะเป็นปัญหาที่พบได้บ่อยพอที่จะมีวิธีการมาตรฐาน

คำตอบที่เป็นประโยชน์มากคือคำตอบที่ไม่เพียง แต่กล่าวถึงวิธีมาตรฐาน แต่ยังให้ภาพรวมของวิธีการและสาเหตุ อีกวิธีหนึ่งถ้าไม่มีวิธีการแบบมาตรฐาน แต่มีหลายวิธีที่มีจุดแข็งและจุดอ่อนที่แตกต่างกันคำตอบที่มีประโยชน์มากก็คือคำตอบที่เป็นประโยชน์

ความคิดเห็นของ whuber ด้านล่างแสดงว่าคำขอในย่อหน้าสุดท้ายนั้นกว้างเกินไป แต่ฉันจะยอมรับว่าเป็นคำตอบที่ดีสำหรับรายการของวิธีการที่สำคัญบางทีอาจมีคำอธิบายสั้น ๆ ของแต่ละวิธี เมื่อฉันมีเงื่อนไขฉันสามารถขุดรายละเอียดในแต่ละตัวเอง

ปัญหานี้มักจะเรียกว่าการเลือกย่อยและมีวิธีการที่แตกต่างกันค่อนข้างน้อย ดู Google Scholar สำหรับภาพรวมมากกว่าบทความที่เกี่ยวข้อง

วิธีที่ 1 ไม่ทำงาน วิธีที่ 2 มีความหวังขึ้นอยู่กับว่าคุณทำมันอย่างไร เป็นการดีกว่าที่จะป้อนส่วนประกอบหลักตามลำดับความแปรปรวนจากมากไปน้อย วิธีที่ตีความได้มากกว่าคือการทำกลุ่มตัวแปรจากนั้นลดแต่ละคลัสเตอร์ให้เป็นคะแนนเดียว (ไม่ใช้ Y) จากนั้นปรับโมเดลให้เหมาะสมกับคะแนนคลัสเตอร์

ในบทที่ 5 ของ Data Mining with R ผู้เขียนได้แสดงวิธีเลือกตัวทำนายที่มีประโยชน์มากที่สุด (ในบริบทของชีวสารสนเทศศาสตร์ซึ่งตัวอย่างแต่ละแถวมี 12,000+ คอลัมน์!)

เขาใช้ตัวกรองบางตัวโดยยึดตามการแจกแจงเชิงสถิติ ตัวอย่างเช่นหากคุณมีผู้ทำนายครึ่งโหลทั้งหมดที่มีค่าเฉลี่ยที่คล้ายกันและ sd คุณสามารถหนีไปได้ด้วยการรักษาเพียงหนึ่งในนั้น

จากนั้นเขาจะแสดงวิธีใช้ฟอเรสต์แบบสุ่มเพื่อค้นหาสิ่งที่เป็นตัวทำนายที่มีประโยชน์ที่สุด นี่คือตัวอย่างนามธรรมที่มีอยู่ในตัวเอง คุณจะเห็นว่าฉันมีตัวทำนายที่ดี 5 คนและคนเลว 5 คน รหัสแสดงวิธีการรักษา 3 อย่างดีที่สุด

set.seed(99)

d=data.frame(
  y=c(1:20),
  x1=log(c(1:20)),
  x2=sample(1:100,20),
  x3=c(1:20)*c(11:30),
  x4=runif(20),
  x5=-c(1:20),
  x6=rnorm(20),
  x7=c(1:20),
  x8=rnorm(20,mean=100,sd=20),
  x9=jitter(c(1:20)),
  x10=jitter(rep(3.14,20))
  )

library(randomForest)
rf=randomForest(y~.,d,importance=T)
print(importance(rf))
#         %IncMSE IncNodePurity
# x1  12.19922383    130.094641
# x2  -1.90923082      6.455262
# ...

i=importance(rf)
best3=rownames(i)[order(i[,"%IncMSE"],decreasing=T)[1:3]]
print(best3)
#[1] "x1" "x5" "x9"

reduced_dataset=d[,c(best3,'y')]

วิธีการสุดท้ายของผู้เขียนใช้อัลกอริธึมการจัดกลุ่มแบบลำดับชั้นเพื่อจัดกลุ่มตัวทำนายที่คล้ายกันเป็น 30 กลุ่ม หากคุณต้องการผู้ทำนายที่หลากหลาย 30 คนจากนั้นเลือกหนึ่งกลุ่มจาก 30 กลุ่มดังกล่าวโดยการสุ่ม

นี่คือโค้ดบางส่วนที่ใช้ข้อมูลตัวอย่างเดียวกันกับข้างบนเพื่อเลือก 3 จาก 10 คอลัมน์:

library(Hmisc)
d_without_answer=d[,names(d)!='y']
vc=varclus(as.matrix(d_without_answer))
print(cutree(vc$hclust,3))
# x1  x2  x3  x4  x5  x6  x7  x8  x9 x10 
#  1   2   1   3   1   1   1   2   1   3 

ข้อมูลตัวอย่างของฉันไม่เหมาะกับวิธีการนี้เลยเพราะฉันมีตัวทำนายที่ดี 5 คนและ 5 คนที่เป็นเพียงเสียงรบกวน หากทุก 10 พยากรณ์มีความสัมพันธ์เล็กน้อยกับy, และมีโอกาสที่ดีของการเป็นดียิ่งขึ้นเมื่อใช้ร่วมกัน (ซึ่งค่อนข้างเป็นไปได้ในโดเมนการเงิน) แล้วนี้อาจจะเป็นวิธีการที่ดี

คุณอาจพิจารณาใช้วิธีการเช่น LASSO ที่ทำให้กำลังสองน้อยที่สุดเป็นประจำโดยการเลือกวิธีการที่ลดหนึ่งบรรทัดฐานของเวกเตอร์ของพารามิเตอร์ ปรากฎว่าสิ่งนี้มีผลในทางปฏิบัติในการลดจำนวนรายการที่ไม่ใช่ศูนย์ในเวกเตอร์พารามิเตอร์ ถึงแม้ว่า LASSO จะได้รับความนิยมในแวดวงสถิติบางแห่ง แต่วิธีการที่เกี่ยวข้องอื่น ๆ ยังได้รับการพิจารณาในโลกแห่งการรับรู้แรงกด