B-Splines VS พหุนามลำดับสูงในการถดถอย

ฉันไม่มีตัวอย่างหรืองานเฉพาะในใจ ฉันเพิ่งใหม่ในการใช้ b-splines และฉันต้องการทำความเข้าใจกับฟังก์ชันนี้ในบริบทการถดถอย

สมมติว่าเราต้องการที่จะประเมินความสัมพันธ์ระหว่างตัวแปรตอบสนองและพยากรณ์บางx 1 , x 2 , . . , xพี ตัวทำนายประกอบด้วยตัวแปรตัวเลขบางตัวและตัวแปรบางตัว$y$$x_1, x_2,...,x_p$

สมมติว่าหลังจากปรับโมเดลการถดถอยแล้วหนึ่งในตัวแปรตัวเลขเช่นนั้นมีความสำคัญ ตรรกะขั้นตอนหลังจากนั้นคือการประเมินว่าคำสั่งชื่อพหุนามที่สูงขึ้นเช่น: x 2 1และx 3 1จะต้องอธิบายความสัมพันธ์อย่างเพียงพอโดยไม่ต้อง overfitting$x_1$$x_1^2$$x_1^3$

คำถามของฉันคือ:

1. คุณเลือกจุดไหนระหว่าง b-splines หรือพหุนามคำสั่งที่สูงขึ้นอย่างง่าย เช่นใน R:

   y ~ poly(x1,3) + x2 + x3
   

   VS

    y ~ bs(x1,3) + x2 + x3
   

2. คุณจะใช้พล็อตเพื่อแจ้งการเลือกระหว่างสองสิ่งนี้กับสิ่งที่เกิดขึ้นได้อย่างไรหากไม่ชัดเจนจากพล็อต (เช่น: เนื่องจากจุดข้อมูลจำนวนมาก)

3. คุณจะประเมินเงื่อนไขการโต้ตอบแบบสองทางระหว่างและสมมุติว่าx $x_2$$x_3$

4. การเปลี่ยนแปลงด้านบนสำหรับรุ่นที่แตกต่างกันอย่างไร

5. คุณจะพิจารณาที่จะไม่ใช้ชื่อพหุนามที่มีลำดับสูงและปรับ b-splines และลงโทษความยืดหยุ่นสูงเสมอหรือไม่

ฉันมักจะพิจารณา Splines มากกว่าพหุนาม พหุนามไม่สามารถสร้างแบบจำลองเกณฑ์และมักจะเป็นโลกที่ไม่พึงปรารถนาเช่นการสังเกตในช่วงหนึ่งของการทำนายมีอิทธิพลอย่างมากต่อสิ่งที่แบบจำลองนั้นทำในช่วงที่แตกต่างกัน ( Magee, 1998, สถิติอเมริกันและกลยุทธ์การถดถอยแบบจำลองของ Frank Harrell ) และแน่นอนว่าเส้นโค้งที่ จำกัด ซึ่งเป็นเส้นตรงนอกนอตสุดขั้วนั้นดีกว่าสำหรับการคาดการณ์หรือแม้แต่การคาดการณ์ที่ค่าที่สุดของตัวทำนาย

กรณีหนึ่งที่คุณอาจต้องการพิจารณาชื่อพหุนามคือเมื่อมีความสำคัญที่จะต้องอธิบายแบบจำลองของคุณต่อผู้ชมที่ไม่ใช้เทคนิค ผู้คนเข้าใจชื่อพหุนามดีกว่าเส้นโค้ง (แก้ไข: แมทธิวดรูรี่ชี้ให้เห็นว่าผู้คนอาจคิดว่าพวกเขาเข้าใจชื่อพหุนามดีกว่าเส้นโค้งฉันจะไม่เข้าข้างคำถามนี้)

พล็อตมักไม่ค่อยมีประโยชน์ในการตัดสินใจระหว่างวิธีต่างๆในการจัดการกับความไม่เชิงเส้น ดีกว่าที่จะทำการตรวจสอบข้าม สิ่งนี้จะช่วยให้คุณประเมินการโต้ตอบหรือหาบทลงโทษที่ดี

ในที่สุดคำตอบของฉันจะไม่เปลี่ยนแปลงตามประเภทของโมเดลเนื่องจากคะแนนด้านบนใช้ได้กับสถิติหรือ ML รุ่นใด ๆ

ในหัวข้อ 7.4.5 ของ "องค์ประกอบของการเรียนรู้ทางสถิติ" กล่าวว่าเส้นโค้งมักให้ผลลัพธ์ที่เหนือกว่าการถดถอยแบบพหุนามเพราะ:

• มันให้ความยืดหยุ่นที่พอดี
• สร้างการประมาณการที่มีเสถียรภาพมากขึ้น
• พหุนามสามารถสร้างผลลัพธ์ที่ไม่พึงปรารถนาที่ขอบเขต