การถดถอยพหุนามใช้ scikit เรียนรู้

ฉันพยายามใช้ scikit เรียนรู้สำหรับการถดถอยพหุนาม จากสิ่งที่ฉันอ่านการถดถอยพหุนามเป็นกรณีพิเศษของการถดถอยเชิงเส้น ฉันกำลังกระโดดนั่นอาจเป็นหนึ่งในโมเดลเชิงเส้นทั่วไปของ scikit สามารถกำหนดพารามิเตอร์เพื่อให้พอดีกับชื่อพหุนามคำสั่งที่สูงขึ้น แต่ฉันไม่เห็นตัวเลือกสำหรับการทำเช่นนั้น

ฉันจัดการเพื่อใช้ Support Vector Regressor กับ poly kernel ซึ่งทำงานได้ดีกับชุดย่อยของข้อมูลของฉัน แต่ใช้เวลานานมากในการพอดีกับชุดข้อมูลที่มีขนาดใหญ่กว่าดังนั้นฉันยังต้องการค้นหาบางสิ่งได้เร็วขึ้น (แม้ว่าการซื้อขายจะมีความแม่นยำ)

ฉันขาดอะไรบางอย่างชัดเจนที่นี่?

ข้อมูลที่กำหนด , เวกเตอร์คอลัมน์และเวกเตอร์เป้าหมายที่คุณสามารถดำเนินการถดถอยพหุนามโดยท้ายของพหุนาม{x} ตัวอย่างเช่นพิจารณาว่า$\mathbf{x}$$\mathbf{y}$$\mathbf{x}$

$$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$$

การใช้เวกเตอร์นี้ในการถดถอยเชิงเส้นบอกถึงโมเดล:

$$y = \alpha_1 x$$

เราสามารถเพิ่มคอลัมน์ที่เป็นพลังของเวกเตอร์ด้านบนซึ่งเป็นตัวแทนของการเพิ่มชื่อพหุนามในการถดถอย ด้านล่างนี้เราแสดงสิ่งนี้สำหรับพหุนามถึงกำลัง 3:

$$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$$

นี่คือเมทริกซ์ข้อมูลใหม่ของเราที่เราใช้ในการถดถอยเชิงเส้นของ sklearn และแสดงถึงตัวแบบ:

$$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$$

---

โปรดทราบว่าฉันไม่ได้เพิ่มเวกเตอร์คงที่เป็นจำนวนเนื่องจาก sklearn จะรวมสิ่งนี้โดยอัตโนมัติ$1$

ทฤษฎี

การถดถอยพหุนามเป็นกรณีพิเศษของการถดถอยเชิงเส้น ด้วยแนวคิดหลักว่าคุณจะเลือกคุณสมบัติของคุณอย่างไร มองไปที่การถดถอยหลายตัวแปร 2 ตัวแปรและx1 x2การถดถอยเชิงเส้นจะมีลักษณะเช่นนี้:y = a1 * x1 + a2 * x2.

ตอนนี้คุณอยากได้พหุนามถดถอย (ลองทำพหุนาม 2 องศา) เราจะสร้างคุณลักษณะเพิ่มเติมไม่กี่: x1*x2, และx1^2 x2^2ดังนั้นเราจะได้รับ 'การถดถอยเชิงเส้น' ของคุณ:

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

สิ่งนี้แสดงให้เห็นถึงแนวคิดที่สำคัญของคำสาปแช่งของมิติเพราะจำนวนของคุณสมบัติใหม่ที่เติบโตเร็วกว่าเชิงเส้นมากขึ้นกับการเติบโตของระดับพหุนาม คุณสามารถจะดูเกี่ยวกับแนวคิดนี้ได้ที่นี่

ฝึกฝนกับ scikit เรียนรู้

คุณไม่จำเป็นต้องทำทั้งหมดใน scikit การถดถอยพหุนามมีอยู่แล้ว (ในรุ่น0.15ตรวจสอบวิธีอัปเดตได้ที่นี่ )

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

$x_1$$x_2$$y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$$a_5x_1x_2$) เป็นสิ่งที่ฉันกำลังพูดถึง