ขั้นตอนวิธีใดที่จำเป็นต้องมีการปรับขนาดคุณลักษณะนอกเหนือจาก SVM

ฉันทำงานกับอัลกอริทึมมากมาย: RandomForest, DecisionTrees, NaiveBayes, SVM (เคอร์เนล = เชิงเส้นและ rbf), KNN, LDA และ XGBoost ทุกคนนั้นค่อนข้างเร็วยกเว้น SVM นั่นคือเมื่อฉันได้รู้ว่ามันต้องมีคุณสมบัติการปรับขนาดเพื่อให้ทำงานได้เร็วขึ้น จากนั้นฉันเริ่มสงสัยว่าฉันควรทำแบบเดียวกันกับอัลกอริทึมอื่นหรือไม่

โดยทั่วไปอัลกอริทึมที่ใช้ประโยชน์จากระยะทางหรือความคล้ายคลึงกัน (เช่นในรูปแบบของผลิตภัณฑ์สเกลาร์) ระหว่างตัวอย่างข้อมูลเช่น k-NN และ SVM มีความอ่อนไหวต่อการเปลี่ยนแปลงคุณสมบัติ

ตัวจําแนกแบบกราฟิกแบบฟิชเชอร์เช่น Fisher LDA หรือ Naive Bayes รวมถึง Decision tree และ Tree-based ensemble method (RF, XGB) นั้นไม่แปรเปลี่ยนไปจากการปรับขนาด แต่ก็อาจเป็นความคิดที่ดีที่จะลดขนาด / กำหนดมาตรฐานข้อมูลของคุณ .

นี่คือรายการที่ฉันพบในhttp://www.dataschool.io/comparing-supervised-learning-algorithms/ เพื่อระบุตัวแยกประเภทที่ต้องการปรับขนาดคุณสมบัติ :

ตารางเต็ม:

ในk หมายถึงการจัดกลุ่มคุณยังต้องป้อนข้อมูลของคุณปกติ

นอกเหนือจากการพิจารณาว่าตัวแยกประเภทใช้ประโยชน์จากระยะทางหรือความคล้ายคลึงกันตามที่ Yell Bond ระบุไว้แล้วStochastic Gradient Descent ยังมีความอ่อนไหวต่อการปรับขนาด (เนื่องจากอัตราการเรียนรู้ในสมการการอัปเดตของ Stochastic Gradient Descent นั้นเหมือนกันสำหรับทุกพารามิเตอร์ {1}):

---

อ้างอิง:

• {1} Elkan, Charles "โมเดลบันทึกเชิงเส้นและฟิลด์สุ่มแบบมีเงื่อนไข" บันทึกการสอนที่ CIKM 8 (2008) https://scholar.google.com/scholar?cluster=5802800304608191219&hl=en&as_sdt=0,22 ; https://pdfs.semanticscholar.org/b971/0868004ec688c4ca87aa1fec7ffb7a2d01d8.pdf

$$Y_i = \beta_0 + \beta_1 x_i + \beta_2 z_i + \epsilon_i$$ $i=1, \dots, n$ $$x_i^* = (x_i - \bar{x})/\text{sd}(x) \\ z_i^* = (z_i - \bar{z})/\text{sd}(z)$$ and instead fit the model (using ordinary least squares) $$Y_i = \beta_0^* + \beta_1^* x_i^* + \beta_2^* z_i^* + \epsilon_i$$ Then the fitted parameters (betas) will change, but they change in a way that you can calculate by simple algebra from the transformation applied. So if we call the estimated betas from the model using transformed predictors for $\beta_{1,2}^*$ and the denote the betas from the untransformed model with $\hat{\beta}_{1,2}$, we can calculate one set of betas from the other one, knowing the means and standard deviations of the predictors. The realtionship between the transformed and untransformed parameters is the same as between their estimates, when based on OLS. Some algebra will give the relationship as $$\beta_0=\beta_0^* - \frac{\beta_1^* \bar{x}}{\text{sd(x)}} -\frac{\beta_2^*\bar{z}}{\text{sd(z)}},\quad \beta_1 =\frac{\beta_1^*}{\text{sd(x)}},\quad \beta_2=\frac{\beta_2^*}{\text{sd(z)}}$$ So standardization is not a necessary part of modelling. (It might still be done for other reasons, which we do not cover here). This answer depends also upon us using ordinary least squares. For some other fitting methods, such as ridge or lasso, standardization is important, because we loose this invariance we have with least squares. This is easy to see: both lasso and ridge do regularization based on the size of the betas, so any transformation which change the relative sizes of the betas will change the result!

And this discussion for the case of linear regression tells you what you should look after in other cases: Is there invariance, or is it not? Generally, methods which depends on distance measures among the predictors will not show invariance, so standardization is important. Another example will be clustering.