ความแตกต่างระหว่างการประมาณความน่าจะเป็นสูงสุดและการไล่ระดับสีไล่ระดับคืออะไร

ข้อดีและข้อเสียของทั้งสองวิธีคืออะไร

ฉันไม่ได้มองหาคำจำกัดความของทั้งสองวิธีที่ฉันมีอยู่แล้วจากการค้นหาโดย Google ฉันพยายามที่จะเข้าใจวิธีการที่เป็นที่ต้องการในกรณีนี้ เช่น: สำหรับ Bigdata เราจะทำงานได้ดีกว่าอุปกรณ์อื่น ๆ ฉันไม่สามารถหาวัสดุที่ดีที่พูดถึงแง่มุมที่เป็นประโยชน์ ฯลฯ

— GeorgeOfTheRF

กาเหมือนโต๊ะเขียนหนังสือเป็นยังไง?

— whuber

@ML_Pro GD ไม่เกี่ยวข้องกับการสร้างแบบจำลองทางสถิติ แต่อย่างใดมันเป็นอัลกอริทึม คุณอาจเริ่มด้วยคู่มือสถิติเบื้องต้นเพื่อทำความเข้าใจการอนุมานเชิงสถิติก่อนที่จะเรียนรู้เครื่องมือ (เช่น GD) สำหรับการแก้ปัญหาทางสถิติ

— ทิม

คุณหมายถึงการถามความแตกต่างระหว่างการไล่ระดับสีแบบเกรเดียนต์และความคาดหวังสูงสุด (ซึ่งมักใช้เพื่อแก้ปัญหาการหาค่าเหมาะที่สุดใน MLE)

— Sobi

คำตอบ:

การประมาณค่าความน่าจะเป็นสูงสุดเป็นวิธีการทั่วไปในการประมาณค่าพารามิเตอร์ในแบบจำลองทางสถิติโดยการเพิ่มฟังก์ชั่นความน่าจะเป็นที่กำหนดไว้เป็น

L (θ | X) = f (X | θ)

$L(\theta|X) = f(X|\theta)$

นั่นคือความน่าจะเป็นของการได้รับข้อมูลกำหนดค่าของพารามิเตอร์บาง\การรู้จักฟังก์ชันความน่าจะเป็นสำหรับปัญหาที่กำหนดคุณสามารถมองหาที่เพิ่มความน่าจะเป็นในการได้รับข้อมูลที่คุณมีให้ได้มากที่สุด บางครั้งเรารู้จักตัวประมาณค่าเช่นค่าเฉลี่ยเลขคณิตเป็นตัวประมาณ MLE สำหรับพารามิเตอร์สำหรับการแจกแจงแบบปกติแต่ในกรณีอื่น ๆ คุณสามารถใช้วิธีการต่าง ๆ ที่รวมถึงการใช้อัลกอริธึมการเพิ่มประสิทธิภาพ วิธีการ ML ไม่ได้บอกวิธีการหาค่าที่เหมาะสมที่สุดของ - คุณสามารถเดาได้และใช้โอกาสในการเปรียบเทียบการเดาที่ดีกว่า - เพียงแค่บอกวิธีการเปรียบเทียบ $X$ $\theta$ $\theta$ $\mu$ $\theta$ ถ้าหนึ่งค่าของคือ "มีแนวโน้ม" มากกว่าค่าอื่น $\theta$

การไล่ระดับสีเป็นขั้นตอนวิธีการปรับให้เหมาะสม คุณสามารถใช้อัลกอริทึมนี้เพื่อค้นหาค่าต่ำสุด (หรือค่าสูงสุดจากนั้นจะเรียกว่าการไล่ระดับสีขึ้นลาดชัน ) ของฟังก์ชั่นต่าง ๆ มากมาย อัลกอริทึมไม่สนใจสิ่งที่ฟังก์ชั่นนั้นย่อเล็กสุดมันแค่ทำตามที่ขอ ดังนั้นด้วยการใช้อัลกอริธึมการปรับให้เหมาะสมคุณจะต้องรู้ว่าคุณจะบอกได้อย่างไรว่าค่าหนึ่งของพารามิเตอร์ที่น่าสนใจนั้นดีกว่าค่าอื่น ๆ คุณต้องจัดเตรียมอัลกอริทึมของคุณเพื่อลดฟังก์ชั่นและอัลกอริทึมจะจัดการกับการค้นหาขั้นต่ำ

คุณสามารถได้รับการประมาณการความเป็นไปได้สูงสุดโดยใช้วิธีการที่แตกต่างกันและการใช้อัลกอริทึมการเพิ่มประสิทธิภาพเป็นหนึ่งในนั้น ในอีกทางหนึ่ง, การไล่ระดับสีสามารถใช้เพื่อเพิ่มฟังก์ชั่นอื่น ๆ นอกเหนือจากฟังก์ชั่นความน่าจะเป็น

— ทิม
แหล่งที่มา

@ML_Pro ฉันให้ลิงก์สองที่คุณสามารถค้นหาข้อมูลโดยละเอียดฉันไม่คิดว่าจำเป็นต้องทำซ้ำคำตอบเหล่านี้

— ทิม

@ML_Pro ตามที่ฉันเขียนไว้ในคำตอบของฉันมันเป็นสิ่งที่แตกต่างกันและคุณไม่สามารถเปรียบเทียบได้ ...

— ทิม

ใช่ แต่ MLE เป็นวิธีการทั่วไปและ GD เป็นเพียงอัลกอริทึมที่คุณสามารถใช้เพื่อลดจำนวนฟังก์ชั่นต่าง ๆ ให้เหลือน้อยที่สุด มันก็เหมือนคุณเทียบพีชคณิตคิดเลขพกพา ...

— ทิม

MLE ระบุฟังก์ชั่นวัตถุประสงค์ (ฟังก์ชั่นโอกาส); GD พบทางออกที่ดีที่สุดสำหรับปัญหาเมื่อมีการระบุฟังก์ชันวัตถุประสงค์ คุณสามารถใช้ GD (หรืออัลกอริทึมการเพิ่มประสิทธิภาพอื่น ๆ ) เพื่อแก้ปัญหาโอกาสสูงสุดและผลลัพธ์จะเป็นตัวประมาณโอกาสสูงสุด

— jbowman

@ML_Pro นี่อธิบายไว้ในลิงก์ที่ฉันให้ไว้ในคำตอบ ในระยะสั้น: ใช่มันเป็นผลิตภัณฑ์ของ pdf ผลิตภัณฑ์เพราะเราคิดว่าข้อมูลคือ iid มันถูกนิยามในรูปของ pdf เพราะเรากำลังพูดถึงโมเดลความน่าจะเป็น

— ทิม

-3

โดยปกติเมื่อเราได้ฟังก์ชั่นความน่าจะเป็นแล้วเราก็แก้สมการ

ฉ = ล. (θ)

$f = l(\theta)$

\frac{d ฉ}{d θ} = 0

$\frac{ df }{ d\theta } = 0$

เราสามารถรับค่าที่สามารถให้ค่าสูงสุดหรือต่ำสุดได้!

θ

$\theta$ f

แต่ความน่าจะเป็นของการถดถอยโลจิสติกส์ไม่มีวิธีแก้ปัญหาแบบปิดด้วยวิธีนี้ ดังนั้นเราจึงมีการใช้วิธีการอื่น ๆ gradient descentเช่น

— Belter
แหล่งที่มา

@Tim คุณสามารถเห็นบางสิ่งได้จากที่นี่courses.cs.washington.edu/courses/cse446/13sp/slides/…

— Belter

"ค่าสัมประสิทธิ์การถดถอยนั้นมักจะประมาณโดยใช้การประมาณค่าความน่าจะเป็นสูงสุด" ( en.wikipedia.org/wiki/Logistic_regression )

— ทิม

การประมาณค่าความน่าจะเป็นสูงสุดเป็นวิธีการหนึ่งในการประมาณค่าสัมประสิทธิ์การถดถอย แต่เรามีหลายวิธีในการหาวิธีแก้ปัญหาของ MLE ดังนั้นการใช้likelihood function+ gradient descent(ซึ่งจะได้คำตอบของฟังก์ชันความน่าจะเป็น) จะยังคงเป็นวิธีที่จะทำ MLE

— Belter

คุณยังสามารถเห็นประโยคนี้

Unlike linear regression, we can no longer write down the MLE in closed form. Instead, we need to use an optimization algorithm to compute it. For this, we need to derive the gradient and Hessian.

จากการเรียนรู้ของเครื่อง: มุมมองที่น่าจะเป็น, เควินเมอร์ฟี่

— Belter

... ดังนั้นถ้อยคำจากคำตอบของคุณทำให้สับสนเพราะดูเหมือนว่าคุณกำลังบอกว่าสำหรับการถดถอยโลจิสติกเราไม่ได้ใช้ ML และเราใช้ GD แทน

— ทิม