การเพิ่มประสิทธิภาพและการเรียนรู้ของเครื่อง

13

ฉันต้องการที่จะรู้ว่าการเรียนรู้ของเครื่องต้องมีการเพิ่มประสิทธิภาพ จากสิ่งที่ฉันได้ยินสถิติเป็นหัวข้อทางคณิตศาสตร์ที่สำคัญสำหรับผู้ที่ทำงานกับการเรียนรู้ของเครื่อง ในทำนองเดียวกันความสำคัญสำหรับคนที่ทำงานกับการเรียนรู้ด้วยเครื่องเพื่อเรียนรู้เกี่ยวกับการเพิ่มประสิทธิภาพแบบนูนหรือแบบไม่นูนคืออะไร?

machine-learning optimization

— Ronald Grayson
แหล่งที่มา

2

"การทำงานกับการเรียนรู้ของเครื่อง" เป็นแนวคิดที่คลุมเครือ - การทำงานเพื่อพัฒนาวิธีการ ML ที่ดีกว่าจะหมายถึงคำตอบเดียวการพัฒนาระบบ ML ที่ใช้วิธีการที่รู้จักนั้นเป็นสิ่งที่แตกต่างอย่างสิ้นเชิง

— Peteris

28

วิธีที่ฉันดูคือการเรียนรู้สถิติ / เครื่องบอกคุณว่าคุณควรจะปรับให้เหมาะสมและการเพิ่มประสิทธิภาพเป็นวิธีที่คุณทำเช่นนั้นจริง ๆ

ตัวอย่างเช่นพิจารณาการถดถอยเชิงเส้นที่มีที่และฉันสถิติบอกเราว่านี่คือ (มัก) เป็นแบบอย่างที่ดี แต่เราพบว่าประมาณการของเราที่เกิดขึ้นจริงโดยการแก้ปัญหาการเพิ่มประสิทธิภาพ $Y = X\beta + \varepsilon$ $E(\varepsilon) = 0$ $Var(\varepsilon) = \sigma^2I$ $\hat \beta$

\hat{β} = {argmin}_{b \in R^{p}} | | Y - X b | |^{2} .

$\hat \beta = \textrm{argmin}_{b \in \mathbb R^p} ||Y - Xb||^2.$

คุณสมบัติของเป็นที่รู้จักกันกับเราผ่านทางสถิติเพื่อให้เรารู้ว่านี่เป็นปัญหาที่การเพิ่มประสิทธิภาพที่ดีในการแก้ปัญหา ในกรณีนี้เป็นการเพิ่มประสิทธิภาพที่ง่าย แต่ก็ยังแสดงหลักการทั่วไป $\hat \beta$

มากกว่าปกติมากของการเรียนรู้ของเครื่องสามารถมองได้ว่าการแก้ ที่ฉันเขียนสิ่งนี้โดยไม่มีการทำให้เป็นปกติ แต่สามารถเพิ่มได้อย่างง่ายดาย

\hat{f} = {argmin}_{f \in F} \frac{1}{n} \sum_{i = 1}^{n} L (y_{i}, f (x_{i}))

$\hat f = \textrm{argmin}_{f \in \mathscr F} \frac 1n \sum_{i=1}^n L(y_i, f(x_i))$

$\mathscr F$ $\hat f$

เพื่อตอบคำถามที่แน่นอนของคุณการรู้ว่าการเพิ่มประสิทธิภาพบางอย่างนั้นมีประโยชน์อย่างแน่นอน แต่โดยทั่วไปแล้วไม่มีใครเป็นผู้เชี่ยวชาญในทุกด้านเหล่านี้ดังนั้นคุณจึงเรียนรู้ให้ได้มากที่สุด แต่บางแง่มุมจะเป็นกล่องดำให้คุณเสมอ บางทีคุณอาจไม่ได้ศึกษาผลลัพธ์ SLT อย่างถูกต้องหลังอัลกอริธึม ML ที่คุณโปรดปรานหรือบางทีคุณอาจไม่รู้ถึงการทำงานภายในของเครื่องมือเพิ่มประสิทธิภาพที่คุณใช้อยู่ มันเป็นการเดินทางตลอดชีวิต

— JLD
แหล่งที่มา

3

เป็นมูลค่าการกล่าวขวัญen.wikipedia.org/wiki/Empirical_risk_minimization

— Emre

13

ในทางปฏิบัติแพ็คเกจจำนวนมากดูแลการปรับให้เหมาะสมและรายละเอียดทางคณิตศาสตร์ส่วนใหญ่สำหรับคุณ ตัวอย่างเช่น TensorFlow สามารถทำ backprop + stochastic gradient descent สำหรับการฝึกอบรมโครงข่ายประสาทสำหรับคุณโดยอัตโนมัติ (คุณเพียงแค่ต้องระบุอัตราการเรียนรู้) โดยทั่วไปแล้วเครื่องมือ ML ของ scikit-learn จะไม่ต้องการให้คุณรู้ว่าจริง ๆ แล้วเรื่องการปรับให้เหมาะสมเกิดขึ้นจริง ๆ แต่อาจแค่ตั้งค่าพารามิเตอร์การปรับแต่งและดูแลส่วนที่เหลือ (เช่นจำนวนการทำซ้ำที่เครื่องมือเพิ่มประสิทธิภาพทำงาน) ตัวอย่างเช่นคุณสามารถฝึกอบรม SVM ได้โดยไม่ต้องเรียนรู้คณิตศาสตร์ใด ๆ ใน scikit-Learn - เพียงแค่ป้อนข้อมูลประเภทเคอร์เนลและดำเนินการต่อ

ที่ถูกกล่าวว่ารู้การเพิ่มประสิทธิภาพขั้นพื้นฐาน (เช่นในระดับของการเขียนโปรแกรมแบบไม่เชิงเส้นของ Convex Optimization / Bertsekas 'ของ Boyd และ Vandenberghe) จะมีประโยชน์ในอัลกอริทึม / การออกแบบปัญหาและการวิเคราะห์โดยเฉพาะอย่างยิ่งถ้าคุณทำงานกับทฤษฎี หรือใช้อัลกอริทึมการเพิ่มประสิทธิภาพด้วยตัวคุณเอง

โปรดทราบว่าวิธีการปรับให้เหมาะสมกับตำราเรียนมักจะต้องมีการปรับแต่งเพื่อใช้งานจริงในการตั้งค่าที่ทันสมัย ตัวอย่างเช่นคุณอาจไม่ได้ใช้การไล่ระดับสีแบบลาดลงแบบดั้งเดิมของ Robbins-Munroe แต่เป็นตัวแปรที่เร่งเร็วขึ้น อย่างไรก็ตามคุณสามารถรับข้อมูลเชิงลึกจากการทำงานกับปัญหาการปรับให้เหมาะสม

— นายทหาร
แหล่งที่มา