การแก้หาพารามิเตอร์การถดถอยในรูปแบบปิดเทียบกับการไล่ระดับสี

ในหลักสูตรการเรียนรู้ของเครื่องแอนดรูว์เขาแนะนำการถดถอยเชิงเส้นและการถดถอยโลจิสติกส์และแสดงวิธีการปรับพารามิเตอร์โมเดลโดยใช้การไล่ระดับสีแบบลาดและวิธีของนิวตัน

ฉันรู้ว่าการไล่ระดับสีจะมีประโยชน์ในบางแอปพลิเคชันของการเรียนรู้ของเครื่อง (เช่น backpropogation) แต่ในกรณีทั่วไปมากขึ้นมีเหตุผลใด ๆ ที่คุณจะไม่แก้สำหรับพารามิเตอร์ในรูปแบบปิด - เช่นโดยการหาอนุพันธ์ของ ฟังก์ชั่นค่าใช้จ่ายและการแก้ไขผ่านทางแคลคูลัส?

อะไรคือข้อดีของการใช้อัลกอริทึมแบบวนซ้ำเช่นการไล่ระดับสีแบบลาดชันเหนือโซลูชันแบบปิดโดยทั่วไปเมื่อมีให้ใช้งาน?

หากวิธีการแก้ปัญหาแบบปิดมีราคาแพงมากในการคำนวณโดยทั่วไปเป็นวิธีที่จะไปเมื่อมี อย่างไรก็ตาม

1. สำหรับปัญหาการถดถอยแบบไม่เชิงเส้นส่วนใหญ่จะไม่มีวิธีแก้ปัญหาแบบปิด

2. แม้ในการถดถอยเชิงเส้น (หนึ่งในไม่กี่กรณีที่มีโซลูชันแบบปิดมีให้บริการ) อาจไม่สามารถใช้สูตรได้ ตัวอย่างต่อไปนี้แสดงวิธีหนึ่งที่สิ่งนี้สามารถเกิดขึ้นได้

$y=X\beta$$X$

$\hat{\beta} = \arg \min \| X \beta -y \|_{2}$

ได้รับจาก

$\hat{\beta}=(X^{T}X)^{-1}X^{T}y$

ทีนี้ลองจินตนาการว่าเป็นเมทริกซ์ขนาดใหญ่ แต่กระจัดกระจาย เช่นอาจมี 100,000 คอลัมน์และ 1,000,000 แถว แต่เพียง 0.001% ของรายการในเป็นศูนย์ มีโครงสร้างข้อมูลพิเศษสำหรับเก็บเฉพาะรายการที่ไม่ใช่ศูนย์ของเมทริกซ์กระจัดกระจาย $X$$X$$X$

นอกจากนี้ลองจินตนาการว่าเราโชคไม่ดีและเป็นเมทริกซ์ที่มีความหนาแน่นค่อนข้างสูงและมีจำนวนที่ไม่เป็นศูนย์สูงกว่ามาก การจัดเก็บองค์ประกอบหนาแน่น 100,000 คูณ 100,000 องค์ประกอบเมทริกซ์จะต้องใช้ตัวเลขจุดลอยตัว (ที่ 8 ไบต์ต่อหมายเลขนี้มาถึง 80 กิกะไบต์) สิ่งนี้จะไม่สามารถจัดเก็บได้ในทุกสิ่ง แต่เป็นซุปเปอร์คอมพิวเตอร์ นอกจากนี้การผกผันของเมทริกซ์นี้ (หรือมากกว่าปกติคือปัจจัย Cholesky) ก็มีแนวโน้มที่จะมีรายการส่วนใหญ่ที่ไม่ใช่ศูนย์ $X^{T}X$$X^{T}X$$1 \times 10^{10}$

อย่างไรก็ตามมีวิธีการวนซ้ำสำหรับการแก้ปัญหากำลังสองน้อยที่สุดซึ่งไม่ต้องการพื้นที่เก็บข้อมูลมากกว่า , , และและไม่เคยก่อให้เกิดเมทริกซ์ผลิตภัณฑ์อย่างชัดเจน $X$$y$$\hat{\beta}$$X^{T}X$

ในสถานการณ์เช่นนี้การใช้วิธีการวนซ้ำนั้นมีประสิทธิภาพในการคำนวณมากกว่าการใช้วิธีแก้ปัญหาแบบปิดเพื่อปัญหากำลังสองน้อยที่สุด

ตัวอย่างนี้อาจดูใหญ่โตอย่างไร้เหตุผล อย่างไรก็ตามปัญหาสแควร์สแควร์สแควร์สขนาดใหญ่ที่น้อยที่สุดนี้ได้รับการแก้ไขเป็นประจำโดยวิธีการวนซ้ำบนคอมพิวเตอร์เดสก์ท็อปในการวิจัยการตรวจเอกซเรย์แผ่นดินไหว

มีการโพสต์หลายรายการเกี่ยวกับการเรียนรู้ของเครื่อง (ML) และการถดถอย ML ไม่จำเป็นสำหรับการแก้ปัญหากำลังสองน้อยที่สุดธรรมดา (OLS) เนื่องจากมันเกี่ยวข้องกับการดำเนินการแบบหนึ่งขั้นตอนในการแก้ระบบสมการเชิงเส้น - นั่นคือ{y} ความจริงที่ว่าทุกอย่างเป็นแบบเส้นตรงหมายความว่าจำเป็นต้องใช้การดำเนินการขั้นตอนเดียวเท่านั้นในการแก้ปัญหาสำหรับค่าสัมประสิทธิ์ การถดถอยโลจิสติกขึ้นอยู่กับการเพิ่มฟังก์ชั่นความน่าจะเป็นซึ่งสามารถแก้ไขได้โดยใช้ Newton-Raphson หรือวิธีการไล่ระดับสีอื่น ๆ ของ ML gradient, metaheuristic (การปีนเขา, อัลกอริธึมฝูง . $\boldsymbol{\beta}=(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$$L=\prod_i{p_i}$

เกี่ยวกับ parsimony การใช้ ML สำหรับ OLS จะสิ้นเปลืองเพราะการเรียนรู้ซ้ำ ๆ นั้นไม่มีประสิทธิภาพในการแก้ OLS

ตอนนี้กลับไปที่คำถามที่แท้จริงของคุณเกี่ยวกับตราสารอนุพันธ์เทียบกับวิธี ML เพื่อแก้ปัญหาการไล่ระดับสี โดยเฉพาะอย่างยิ่งสำหรับการถดถอยโลจิสติกนิยมใช้วิธีการไล่ระดับสีของนิวตัน - ราฟสัน นิวตัน - ราฟสันต้องการให้คุณรู้ว่าฟังก์ชั่นวัตถุประสงค์และอนุพันธ์บางส่วนของมันนั้นแต่ละพารามิเตอร์ (ต่อเนื่องในขีด จำกัด และหาอนุพันธ์ได้) ML ส่วนใหญ่จะใช้เมื่อฟังก์ชันวัตถุประสงค์ซับซ้อนเกินไป ("narly") และคุณไม่รู้จักอนุพันธ์ ตัวอย่างเช่นเครือข่ายประสาทเทียม (ANN) สามารถใช้เพื่อแก้ปัญหาการประมาณฟังก์ชั่นหรือปัญหาการจำแนกประเภทภายใต้การดูแลเมื่อไม่ทราบฟังก์ชัน ในกรณีนี้ ANN เป็นฟังก์ชั่น

อย่าทำผิดพลาดในการใช้วิธีการ ML เพื่อแก้ปัญหาการถดถอยโลจิสติกส์เพียงเพราะคุณทำได้ สำหรับโลจิสติกนิวตัน - ราฟสันนั้นเร็วมากและเป็นเทคนิคที่เหมาะสมสำหรับการแก้ปัญหา ML มักใช้เมื่อคุณไม่ทราบว่าฟังก์ชันคืออะไร (โดยวิธีการ ANNs มาจากเขตข้อมูลของความฉลาดในการคำนวณและไม่ใช่ ML)