ฉันอ่านในหนังสือการเรียนรู้ของเครื่องว่าสามารถประมาณค่าพารามิเตอร์ของการถดถอยเชิงเส้น (ท่ามกลางวิธีอื่น ๆ ) โดยการไล่ระดับสีแบบลาดชันในขณะที่พารามิเตอร์ของการถดถอยแบบโลจิสติกมักจะประเมินโดยการประมาณโอกาสสูงสุด
เป็นไปได้หรือไม่ที่จะอธิบายให้กับผู้เริ่มต้น (ฉัน) ว่าทำไมเราถึงต้องการวิธีการที่แตกต่างกันสำหรับการถดถอยเชิงเส้น / ลอจิสติก หรือที่รู้จักว่าทำไมไม่ MLE สำหรับการถดถอยเชิงเส้นและทำไมไม่ไล่ระดับความลาดชันสำหรับการถดถอยโลจิสติก?
คำตอบ:
คุณกำลังทำให้แอปเปิ้ลสับสนกับส้ม ไม่เป็นไรเพราะทั้งคู่อร่อยดี
การประมาณค่าความน่าจะเป็นสูงสุดเป็นเรื่องเกี่ยวกับสิ่งที่คุณลดลาดเชื้อสายเป็นเรื่องเกี่ยวกับวิธีการที่คุณลดมัน
ทำไมไม่ MLE สำหรับการถดถอยเชิงเส้น?
ในความเป็นจริงแล้วการถดถอยเชิงเส้นจะถูกแก้ไขด้วยการประมาณค่าความน่าจะเป็นสูงสุด มาตรฐาน "ลดผลรวมของข้อผิดพลาดกำลังสอง" แบบมาตรฐานนั้นมีความหมายทางคณิตศาสตร์เทียบเท่ากับการประมาณความน่าจะเป็นสูงสุดโดยใช้การแจกแจงแบบปกติตามเงื่อนไข
ทำไมไม่ไล่ลงทางลาดสำหรับการถดถอยโลจิสติก?
คุณสามารถแก้ปัญหาการถดถอยโลจิสติกได้โดยลดฟังก์ชั่นความน่าจะเป็นโดยใช้การไล่ระดับสี มันเป็นแบบฝึกหัดที่ยอดเยี่ยมและฉันขอแนะนำให้ทุกคนทำอย่างน้อยหนึ่งครั้ง
เชื้อสายการไล่ระดับสีไม่ใช่วิธีมาตรฐาน รางวัลนั้นไปสู่การลดน้ำหนักอย่างน้อยกำลังสองน้อยที่สุด / วิธีของนิวตันซึ่งเป็นการปรับปรุงการลดลงของการไล่ระดับสีที่คำนึงถึงอนุพันธ์อันดับสองเช่นกัน วิธีนี้เพิ่งจะมีคุณสมบัติที่ดีกว่าการไล่ระดับสีมากกว่า แต่ก็ยากที่จะเข้าใจและนำไปใช้