แคลคูลัสจำเป็นต้องมีความเข้าใจในการประมาณค่าความน่าจะเป็นสูงสุดอย่างไร

11

ฉันพยายามวางแผนแผนการเรียนรู้เพื่อการเรียนรู้ MLE ในการทำเช่นนี้ฉันกำลังพยายามหาแคลคูลัสระดับต่ำสุดที่จำเป็นต้องเข้าใจ MLE

มันเพียงพอที่จะเข้าใจพื้นฐานของแคลคูลัส (เช่นการค้นหาฟังก์ชันขั้นต่ำและสูงสุด) เพื่อที่จะเข้าใจ MLE หรือไม่?

estimation mathematical-statistics maximum-likelihood

— histelheim
แหล่งที่มา

2

และเช่นเคยมันขึ้นอยู่กับ หากคุณเพียงแค่พยายามทำความเข้าใจพื้นฐานการสามารถหาฟังก์ชั่นมากมายทำให้คุณได้รับความเป็นธรรม (แม้ว่าในกรณีที่ใช้งานได้จริงของ MLE หลายตัว L ก็คือ M ซึ่งเป็นตัวเลขซึ่งในกรณีนี้คุณต้องมีทักษะอื่น ๆ ด้วยเช่นกัน บางแคลคูลัสเบื้องต้น)

— Glen_b -Reinstate Monica

ขอบคุณ คุณช่วยอธิบายกรณีที่คุณพูดถึงอย่างละเอียดมากขึ้นได้ไหม มันฟังดูน่าสนใจ

— histelheim

โอเค แต่ตอนนี้ฉันต้องตอบมัน รอก่อน.

— Glen_b -Reinstate Monica

20

เพื่อขยายความคิดเห็นของฉัน - มันขึ้นอยู่กับ หากคุณเพียงแค่พยายามทำความเข้าใจพื้นฐานการสามารถหาฟังก์ชั่นมากมายทำให้คุณได้รับความเป็นธรรม (แม้ว่าในกรณีที่ใช้งานได้จริงของ MLE) โอกาสที่จะได้รับตัวเลขสูงสุดซึ่งในกรณีนี้คุณต้องมีทักษะอื่น ๆ เช่นกัน แคลคูลัสขั้นพื้นฐาน)

ฉันจะทิ้งกรณีง่าย ๆ ที่คุณได้รับการแก้ปัญหาพีชคณิตที่ชัดเจน ถึงกระนั้นแคลคูลัสก็มีประโยชน์มาก

ฉันจะถือว่าเป็นอิสระตลอด ลองใช้กรณีที่ง่ายที่สุดที่เป็นไปได้ของการเพิ่มประสิทธิภาพ 1 พารามิเตอร์ ก่อนอื่นเราจะมาดูกรณีที่เราสามารถหาอนุพันธ์และแยกการทำงานของพารามิเตอร์และสถิติ

พิจารณาความหนาแน่นของ $\rm{Gamma}(\alpha,1)$

f_{X} (x; α) = \frac{1}{Γ (α)} x^{α - 1} \exp (- x); x > 0; α > 0

$f_X(x;\alpha) = \frac{1}{\Gamma(\alpha)} x^{\alpha-1} \exp(-x); \,\,\, x>0;\,\,\alpha>0$

จากนั้นสำหรับตัวอย่างของขนาดความน่าจะเป็นคือ $n$

L (α; x) = \prod_{i = 1}^{n} f_{X} (x_{i}; α)

$\mathcal{L}(\alpha; \mathbf{x}) = \prod_{i=1}^n f_X(x_i;\alpha)$

และความน่าจะเป็นคือบันทึก ที่{x_i} รับอนุพันธ์

l (α; x) = \sum_{i = 1}^{n} \ln f_{X} (x_{i}; α) = \sum_{i = 1}^{n} \ln (\frac{1}{Γ (α)} x_{i}^{α - 1} \exp (- x_{i}))

$\mathcal{l}(\alpha; \mathbf{x}) = \sum_{i=1}^n \ln{f_X(x_i;\alpha)} \\ = \sum_{i=1}^n \ln{\left(\frac{1}{\Gamma(\alpha)} x_i^{\alpha-1} \exp(-x_i)\right)}\\$

= \sum_{i = 1}^{n} - \ln Γ (α) + (α - 1) \ln x_{i} - x_{i}

$= \sum_{i=1}^n -\ln{\Gamma(\alpha)}+(\alpha-1)\ln{x_i} -x_i\\$

= - n \ln Γ (α) + (α - 1) S_{x} - n \bar{x}

$= -n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}$

S_{x} = \sum_{i = 1}^{n} \ln x_{i}

$S_x=\sum_{i=1}^n\ln{x_i}$

\frac{d}{d α} l (α; x) = \frac{d}{d α} (- n \ln Γ (α) + (α - 1) S_{x} - n \bar{x})

$\frac{d}{d\alpha}\mathcal{l}(\alpha; \mathbf{x}) = \frac{d}{d\alpha} \left(-n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}\right)\\$

= - n \frac{Γ^{'} (α)}{Γ (α)} + S_{x}

$= -n\frac{\Gamma'(\alpha)}{{\Gamma(\alpha)}}+S_x\\$

= - n ψ (α) + S_{x}

$= -n\psi(\alpha)+S_x$

ดังนั้นหากเราตั้งค่าเป็นศูนย์และพยายามแก้หาเราจะได้สิ่งนี้: $\hat{\alpha}$

ψ (\hat{α}) = \ln G (x)

$\psi(\hat{\alpha})=\ln{G(\mathbf{x})}\\$

ที่เป็นdigammaฟังก์ชั่นและเป็นค่าเฉลี่ยเรขาคณิต เราต้องไม่ลืมว่าโดยทั่วไปคุณไม่สามารถตั้งค่าอนุพันธ์ให้เป็นศูนย์และมั่นใจได้ว่าคุณจะหาargmax ; คุณยังคงต้องแสดงให้เห็นว่าวิธีการแก้ปัญหามีค่าสูงสุด (ในกรณีนี้คือ) โดยทั่วไปแล้วคุณอาจได้รับคะแนนต่ำสุดหรือแนวนอนของการทำให้งอและแม้ว่าคุณจะมีค่าสูงสุดในท้องถิ่นคุณอาจไม่ได้ค่าสูงสุดทั่วโลก $\psi(\cdot)$ $G(\cdot)$

เพื่อให้งานของเราอยู่ในขณะนี้เพื่อหาค่าของที่ $\hat{\alpha}$

ψ (\hat{α}) = g

$\psi(\hat{\alpha})=g$

ที่{x})} $g=\ln{G(\mathbf{x})}$

นี่ไม่ใช่วิธีแก้ปัญหาในแง่ของฟังก์ชั่นพื้นฐานมันจะต้องคำนวณเป็นตัวเลข อย่างน้อยเราก็สามารถรับฟังก์ชั่นของพารามิเตอร์ในด้านหนึ่งและฟังก์ชั่นของข้อมูลในอีกด้านหนึ่ง มีอัลกอริธึมการค้นหาศูนย์หลายแบบที่อาจใช้ถ้าคุณไม่มีวิธีการที่ชัดเจนในการแก้สมการ

บ่อยครั้งที่มันไม่ค่อยดีเท่าไหร่ พิจารณาความหนาแน่นของโลจิสติกส์ด้วยระดับหน่วย: ทั้ง argmax ของความน่าจะเป็นและฟังก์ชั่นบันทึกความเป็นไปได้นั้นไม่สามารถหาได้ทางพีชคณิต - คุณต้องใช้วิธีการหาค่าเหมาะที่สุดเชิงตัวเลข ในกรณีนี้ฟังก์ชั่นอย่างเป็นธรรมประพฤติดีและวิธี Newton-Raphsonมักจะควรจะพอเพียงเพื่อหาประมาณการ ML ของ\หากอนุพันธ์ไม่พร้อมใช้งานหรือหาก Newton-Raphson ไม่มาบรรจบกันอาจจำเป็นต้องใช้วิธีการเพิ่มประสิทธิภาพแบบตัวเลขอื่น ๆ เช่น Golden-section (นี่ไม่ได้ตั้งใจจะให้เป็นภาพรวมของวิธีการที่ดีที่สุดที่มีอยู่ มีแนวโน้มที่จะพบในระดับพื้นฐาน)

f (x; μ) = \frac{1}{4} {sech}^{2} (\frac{x - μ}{2}) .

$f(x; \mu) =\frac{1}{4} \operatorname{sech}^2\!\left(\frac{x-\mu}{2}\right).$

μ

$\mu$

โดยทั่วไปคุณอาจไม่สามารถทำสิ่งนั้นได้มากนัก พิจารณา Cauchy ที่มีค่ามัธยฐานและมาตราส่วนหน่วย: $\theta$

f_{X} (x; θ) = \frac{1}{π (1 + (x - θ)^{2})} .

$f_X(x;\theta) = \frac{1}{\pi (1 + (x-\theta)^2)}\,.$

โดยทั่วไปแล้วความน่าจะเป็นที่นี่ไม่มีค่าสูงสุดในท้องถิ่นที่ไม่ซ้ำกัน แต่มีค่าสูงสุดในพื้นที่หลายแห่ง หากคุณพบสูงสุดในท้องถิ่นอาจจะมีอีกหนึ่งที่ใหญ่กว่าที่อื่น ๆ (บางครั้งผู้คนมุ่งเน้นไปที่การระบุค่าสูงสุดในท้องถิ่นที่ใกล้เคียงกับค่ามัธยฐานหรือค่าอื่น ๆ )

มันง่ายสำหรับผู้เริ่มต้นที่จะสมมติว่าหากพวกเขาพบจุดเปลี่ยนเว้าที่พวกเขามีฟังก์ชั่น argmax แต่นอกเหนือจากหลายโหมด (กล่าวถึงแล้ว) อาจมี maxima ที่ไม่เกี่ยวข้องกับจุดเปลี่ยนเลย การได้อนุพันธ์และการตั้งค่าให้เป็นศูนย์นั้นไม่เพียงพอ พิจารณาการประมาณค่าพารามิเตอร์สำหรับชุดรูปแบบบนเช่น $(0,\theta)$

ในกรณีอื่นพื้นที่ของพารามิเตอร์อาจไม่ต่อเนื่อง

บางครั้งการหาค่าสูงสุดอาจมีส่วนร่วมค่อนข้างมาก

และนั่นเป็นเพียงการสุ่มตัวอย่างของปัญหาด้วยพารามิเตอร์เดียว เมื่อคุณมีพารามิเตอร์หลายตัวสิ่งต่างๆก็จะเกี่ยวข้องกันอีกครั้ง

— Glen_b -Reinstate Monica
แหล่งที่มา

4

ใช่. แน่นอนว่าเราไม่ได้พูดถึงฟังก์ชั่นหนึ่งมิติ แต่ฟังก์ชั่นจะถูกขยายให้ใหญ่สุด (กล่าวคือความน่าจะเป็น) ดังนั้นนี่จึงเป็นขั้นสูงกว่าหนึ่ง - กรณีมิติ $\mathbb{R}^p \to \mathbb{R}$

สิ่งอำนวยความสะดวกบางอย่างที่มีลอการิทึมจะมีประโยชน์อย่างแน่นอนเนื่องจากการเพิ่มลอการิทึมของโอกาสสูงสุดมักจะง่ายกว่าการเพิ่มโอกาสให้ตัวเองให้มากที่สุด

ค่อนข้างเข้าใจง่ายกว่า MLE (ข้อมูลเมทริกซ์เป็นต้น) ถ้าคุณสามารถจัดการกับอนุพันธ์อันดับสองของฟังก์ชั่นเช่นเมทริกซ์ของ Hessian $\mathbb{R}^p \to \mathbb{R}$

— สเตฟาน Kolassa
แหล่งที่มา