ฟอเรสต์แบบสุ่มมีมากเกินไป

ฉันกำลังพยายามใช้ Random Forest Regression ใน Scikits-Learn ปัญหาคือฉันได้รับข้อผิดพลาดการทดสอบที่สูงมาก:

train MSE, 4.64, test MSE: 252.25.

นี่คือลักษณะที่ข้อมูลของฉัน: (สีน้ำเงิน: ข้อมูลจริง, สีเขียว: คาดการณ์):

ฉันใช้ 90% สำหรับการฝึกอบรมและ 10% สำหรับการทดสอบ นี่คือรหัสที่ฉันใช้หลังจากลองชุดพารามิเตอร์หลายชุด:

rf = rf = RandomForestRegressor(n_estimators=10, max_features=2, max_depth=1000, min_samples_leaf=1, min_samples_split=2, n_jobs=-1) 
test_mse = mean_squared_error(y_test, rf.predict(X_test))
train_mse = mean_squared_error(y_train, rf.predict(X_train))

print("train MSE, %.4f, test MSE: %.4f" % (train_mse, test_mse))
plot(rf.predict(X))
plot(y)

กลยุทธ์ที่เป็นไปได้ในการปรับปรุงข้อต่อของฉันคืออะไร? มีอย่างอื่นที่ฉันสามารถทำได้เพื่อแยกแบบจำลองพื้นฐานหรือไม่ ฉันไม่น่าเชื่อเลยว่าหลังจากการทำซ้ำในรูปแบบเดียวกันจำนวนมากโมเดลนั้นจะทำงานได้ไม่ดีกับข้อมูลใหม่ ฉันมีความหวังหรือไม่ที่พยายามปรับข้อมูลนี้ให้เหมาะสม

ฉันคิดว่าคุณกำลังใช้เครื่องมือที่ผิด ถ้า X ทั้งหมดของคุณเทียบเท่ากับดัชนีคุณจะมีฟังก์ชั่นตัวอย่างและพยายามคาดการณ์มัน การเรียนรู้ของเครื่องเป็นสิ่งที่เกี่ยวกับการแก้ไขประวัติศาสตร์ดังนั้นจึงไม่น่าแปลกใจที่มันล้มเหลวอย่างน่าทึ่งในกรณีนี้$f:\mathbb{R}\rightarrow\mathbb{R}$

สิ่งที่คุณต้องการคือการวิเคราะห์อนุกรมเวลา (เช่นการแยกแนวโน้มการวิเคราะห์สเปกตรัมและการตอบรับอัตโนมัติหรือ HMM ส่วนที่เหลือ) หรือฟิสิกส์ (เช่นการคิดว่ามี ODE ที่อาจสร้างผลลัพธ์ดังกล่าวและพยายามให้พอดีกับพารามิเตอร์ผ่านปริมาณที่สงวนไว้)

ปัญหาที่ใหญ่ที่สุดคือต้นไม้ถดถอย (และอัลกอริธึมที่ยึดตามพวกมันเช่นป่าสุ่ม) ทำนายหน้าที่คงที่ทีละชิ้น ๆ ให้ค่าคงที่สำหรับข้อมูลที่ตกอยู่ภายใต้ใบไม้แต่ละใบ ซึ่งหมายความว่าเมื่อคาดการณ์นอกโดเมนการฝึกอบรมพวกเขาเพียงแค่คาดการณ์ค่าเดียวกับที่พวกเขาทำสำหรับจุดที่ใกล้ที่สุดที่พวกเขามีข้อมูลการฝึกอบรม @mbq ถูกต้องว่ามีเครื่องมือพิเศษสำหรับการเรียนรู้อนุกรมเวลาที่อาจจะดีกว่าเทคนิคการเรียนรู้ของเครื่องทั่วไป อย่างไรก็ตามป่าสุ่มนั้นไม่ดีเป็นพิเศษสำหรับตัวอย่างนี้และมีเทคนิค ML ทั่วไปอื่น ๆ ที่อาจทำงานได้ดีกว่าสิ่งที่คุณเห็น SVM ที่มีเมล็ดไม่เชิงเส้นเป็นตัวเลือกหนึ่งที่อยู่ในใจ เนื่องจากฟังก์ชั่นของคุณมีโครงสร้างเป็นระยะสิ่งนี้จึงแนะนำให้ทำงานโดเมนความถี่ด้วย

นี่เป็นตัวอย่างหนังสือสำหรับข้อมูลที่มีความเหมาะสมมากตัวแบบนี้ทำงานได้ดีกับข้อมูลที่ผ่านการฝึกอบรมมาอย่างดี แต่จะยุบในข้อมูลการทดสอบใหม่ใด ๆ นี่เป็นหนึ่งในกลยุทธ์ในการแก้ไขปัญหานี้: ทำการตรวจสอบความถูกต้องของข้อมูลการฝึกอบรมเพื่อให้ได้พารามิเตอร์ที่เหมาะสม

ขั้นตอนที่ 1 สร้างฟังก์ชันการย่อขนาด MSE โดยใช้การปรับให้เหมาะสมที่สุดของ NM ตัวอย่างสามารถดูได้ที่นี่: http://glowingpython.blogspot.de/2011/05/curve-fitting-using-fmin.html

ขั้นตอนที่ 2 ภายในฟังก์ชันย่อขนาดเล็กสุดนี้มีวัตถุประสงค์เพื่อลด MSE ในการดำเนินการนี้ให้สร้างข้อมูลแยกเป็นสิบเท่าซึ่งเรียนรู้รูปแบบใหม่ใน 9 เท่าและทดสอบในครึ่งที่ 10 กระบวนการนี้ทำซ้ำสิบครั้งเพื่อให้ได้ MSE ในแต่ละครั้ง MSE ที่รวมจะถูกส่งคืนอันเป็นผลมาจากวัตถุประสงค์

ขั้นตอนที่ 3 fmin ใน python จะทำการวนซ้ำสำหรับคุณ ตรวจสอบว่าพารามิเตอร์ไฮเปอร์ใดที่จำเป็นต้องปรับแต่งอย่างละเอียด (n_estimators, max_features ฯลฯ ) และส่งต่อไปยัง fmin

ผลลัพธ์จะเป็นพารามิเตอร์ไฮเปอร์ที่ดีที่สุดซึ่งจะช่วยลดความเป็นไปได้ของการปรับตัวที่มากเกินไป

ข้อเสนอแนะบางส่วน:

1. ปรับแต่งพารามิเตอร์ของคุณโดยใช้วิธีเลื่อนหน้าต่าง (โมเดลของคุณจะต้องปรับให้เหมาะสมเพื่อคาดการณ์ค่าต่อไปในอนุกรมเวลาไม่ใช่เพื่อทำนายค่าระหว่างค่าที่ให้มา)
2. ลองรุ่นอื่น ๆ (แม้แต่รุ่นที่ง่ายกว่าด้วยการเลือกคุณสมบัติที่เหมาะสมและกลยุทธ์ด้านวิศวกรรมคุณสมบัติอาจพิสูจน์ได้ว่าเหมาะกับปัญหาของคุณมากขึ้น)
3. พยายามที่จะเรียนรู้การแปลงที่เหมาะสมที่สุดของตัวแปรเป้าหมาย (ปรับแต่งสิ่งนี้ด้วย, มีแนวโน้มเป็นเส้นตรง / เลขชี้กำลังเป็นลบ, คุณอาจประเมินได้)
4. บางทีการวิเคราะห์สเปกตรัม
5. maxima / minima นั้นมีระยะห่างเท่ากัน เรียนรู้ว่าพวกเขาได้รับคุณลักษณะของคุณจากที่ใด (ไม่มีตัวดำเนินการป้อนข้อมูลสร้างอัลกอริทึมค้นพบเพื่อลบอคติ) และเพิ่มคุณลักษณะนี้เป็นคุณลักษณะ สร้างคุณสมบัติให้nearest maximumด้วย Dunno มันอาจใช้งานได้หรืออาจจะไม่ใช่คุณสามารถรู้ได้ก็ต่อเมื่อคุณทดสอบ :)

$x^2$$x_2$

หลังจากอ่านโพสต์ด้านบนฉันต้องการให้คำตอบที่แตกต่างกัน

สำหรับโมเดลที่มีโครงสร้างเป็นต้นไม้เช่นฟอเรสต์แบบสุ่มพวกเขาไม่สามารถคาดการณ์มูลค่าเกินกว่าชุดฝึกอบรม ดังนั้นฉันไม่คิดว่ามันเป็นปัญหาที่เหมาะสม แต่เป็นกลยุทธ์การสร้างแบบจำลองที่ไม่ถูกต้อง

ดังนั้นเราสามารถทำอะไรได้บ้างสำหรับการทำนายอนุกรมเวลาด้วยตัวแบบต้นไม้?

วิธีที่เป็นไปได้คือการรวมเข้ากับการถดถอยเชิงเส้น: ก่อนอื่นให้ทำลายอนุกรมเวลา (หรือการสร้างแบบจำลองแนวโน้มด้วยการถดถอยเชิงเส้น) จากนั้นสร้างแบบจำลองส่วนที่เหลือกับต้นไม้

นอกจากนี้ยังมีรูปแบบต้นไม้รวมกับการถดถอยเชิงเส้นสามารถคาดการณ์ที่เรียกว่า cubist มันจะถดถอยเชิงเส้นบนใบ

หากคุณเพียงแค่ต้องการคาดการณ์ภายในขอบเขตของกราฟจากนั้นก็ทำการสุ่มการสังเกตก่อนที่จะแยกชุดข้อมูลควรแก้ปัญหา จากนั้นจะกลายเป็นปัญหาการแก้ไขจากการประมาณหนึ่งดังที่แสดง