แรงจูงใจเชิงทฤษฎีสำหรับการใช้โอกาสในการเข้าสู่ระบบและความน่าจะเป็น

ฉันพยายามที่จะเข้าใจในระดับที่ลึกกว่าความแพร่หลายของความน่าจะเป็นในการบันทึก (และความน่าจะเป็นโดยทั่วไปของการบันทึก) ในสถิติและทฤษฎีความน่าจะเป็น ความน่าจะเป็นบันทึกปรากฏขึ้นทั่วทุกสถานที่: เรามักจะทำงานร่วมกับบันทึกความน่าจะเป็นสำหรับการวิเคราะห์ (เช่นสำหรับการขยายให้ใหญ่สุด) ข้อมูลฟิชเชอร์ถูกกำหนดในแง่ของอนุพันธ์อันดับสองของบันทึกความน่าจะเป็น , Kullback-Liebler divergence เกี่ยวข้องกับความน่าจะเป็นของล็อก, การคาดหวังของนักทำนายนั้นเป็นโอกาสในการบันทึกที่คาดหวัง, เป็นต้น

ตอนนี้ฉันขอขอบคุณเหตุผลที่เป็นประโยชน์และสะดวกสบายมากมาย ไฟล์ PDF ทั่วไปและมีประโยชน์มากมายนั้นมาจากตระกูลเอ็กซ์โปเนนเชียล ผลรวมจะทำงานได้ง่ายกว่าผลิตภัณฑ์ (โดยเฉพาะสำหรับการแยกแยะ) Log-probs มีข้อได้เปรียบจากการใช้โพรบ การแปลงรูปแบบไฟล์ PDF มักจะแปลงฟังก์ชั่นที่ไม่ใช่เว้าให้เป็นฟังก์ชั่นเว้า แต่เหตุผลทางเหตุผล / เหตุผล / แรงจูงใจสำหรับ log-probs คืออะไร?

เป็นตัวอย่างของความฉงนสนเท่ห์ของฉันพิจารณาข้อมูลของชาวประมง (FI) คำอธิบายตามปกติสำหรับสัญชาตญาณของ FI คืออนุพันธ์อันดับสองของบันทึกความน่าจะเป็นบอกเราว่า "ยอดแหลม" บันทึกความเป็นเหมือนกันคืออะไร: บันทึกความน่าจะเป็นยอดแหลมสูงหมายถึง MLE ระบุไว้อย่างดีและเราค่อนข้างมั่นใจในคุณค่า ในขณะที่ความใกล้ชิดบันทึก (ความโค้งต่ำ) หมายถึงค่าพารามิเตอร์ที่แตกต่างกันหลายอย่างเกือบจะดี (ในแง่ของความน่าจะเป็นบันทึก) เช่นเดียวกับ MLE ดังนั้น MLE ของเราจึงมีความไม่แน่นอนมากขึ้น

ทั้งหมดนี้เป็นสิ่งที่ดีและดี แต่ไม่เป็นธรรมชาติหรือที่จะเพียงแค่ค้นหาความโค้งของฟังก์ชันความน่าจะเป็น (ไม่ใช่บันทึกการเปลี่ยนแปลง) เมื่อพิจารณาในครั้งแรกความสำคัญของการเปลี่ยนแปลงการบันทึกดูเหมือนว่าจะผิดพลาดและไม่ถูกต้อง แน่นอนว่าเราสนใจในความโค้งของฟังก์ชันความน่าจะเป็นจริง อะไรคือแรงจูงใจของฟิชเชอร์ในการทำงานกับฟังก์ชั่นบันทึกคะแนนและ Hessian ของบันทึกความน่าจะเป็นแทน

ในท้ายที่สุดแล้วเราได้ผลลัพธ์ที่ดีจากการบันทึกความน่าจะเป็นแบบไม่แสดงอาการหรือไม่? เช่น Cramer-Rao และความปกติของ MLE / หลัง หรือมีเหตุผลที่ลึกกว่านี้?

มันเป็นแค่ความสะดวกสบายสำหรับ loglikelihood ไม่มีอะไรมาก

ฉันหมายถึงความสะดวกสบายของผลรวมกับผลิตภัณฑ์: ผลรวมนั้นง่ายต่อการจัดการกับหลายประการเช่นความแตกต่างหรือการรวม มันไม่สะดวกสำหรับครอบครัวเอ็กซ์โพเนนเชียลฉันกำลังพยายามพูด$\ln (\prod_i x_i) =\sum_i\ln x_i$

เมื่อคุณจัดการกับกลุ่มตัวอย่างแบบสุ่มโอกาสเกิดเป็นรูปแบบ: จึง loglikelihood จะทำลายสินค้านี้ลงในผลรวมแทนซึ่งจะง่ายต่อการจัดการและวิเคราะห์ มันช่วยให้ทุกสิ่งที่เราใส่ใจคือจุดสูงสุดค่าที่สูงสุดไม่สำคัญเลยเราสามารถใช้การแปลงแบบซ้ำซากจำเจเช่นลอการิทึม$\mathrm{L}=\prod_ip_i$

เมื่อสัญชาตญาณความโค้ง มันคือสิ่งเดียวกันในท้ายที่สุดในฐานะอนุพันธ์อันดับสองของ loglikelihood

UPDATE: นี่คือสิ่งที่ฉันหมายถึงความโค้ง หากคุณมีฟังก์ชั่นว่ามันเป็นความโค้ง ( ดู (14)สำหรับ Wolfram): κ = f ″ ( x $y=f(x)$

อนุพันธ์อันดับสองของความน่าจะเป็นบันทึก:

ณ จุดสูงสุดอนุพันธ์อันดับแรกนั้นมีค่าเป็นศูนย์ดังนั้นเราจะได้รับ: ดังนั้นฉันสำนวนของฉันว่าความโค้งของความเป็นไปได้ และอนุพันธ์อันดับสองของ loglikelihood ก็เหมือนกัน

ในทางตรงกันข้ามถ้าอนุพันธ์แรกของความน่าจะเป็นขนาดเล็กที่ไม่เพียง แต่รอบจุดสูงสุดคือฟังก์ชั่นความน่าจะเป็นที่ราบแล้วเราจะได้รับ: ตอนนี้น่าจะเป็นแบน ไม่ใช่สิ่งที่ดีสำหรับเราเพราะมันทำให้การค้นหาตัวเลขที่ยากที่สุดและความน่าจะเป็นสูงสุดนั้นไม่ดีกว่าจุดอื่น ๆ รอบ ๆ นั่นคือข้อผิดพลาดในการประมาณค่าพารามิเตอร์สูง

และอีกครั้งเรายังคงมีความโค้งและความสัมพันธ์อนุพันธ์อันดับสอง เหตุใดฟิชเชอร์จึงไม่ดูความโค้งของฟังก์ชันความน่าจะเป็น ฉันคิดว่ามันเป็นเพราะเหตุผลเดียวกันกับความสะดวกสบาย มันง่ายกว่าที่จะจัดการ loglikelihood เพราะผลรวมแทนที่จะเป็นผลิตภัณฑ์ ดังนั้นเขาสามารถศึกษาความโค้งของความน่าจะเป็นได้โดยการวิเคราะห์อนุพันธ์อันดับสองของ loglikelihood แม้ว่าสมการจะดูง่ายมากสำหรับความโค้งในความเป็นจริงคุณกำลังหาอนุพันธ์อันดับสองของผลิตภัณฑ์ซึ่งยุ่งกว่าผลรวมของอนุพันธ์อันดับสอง$\kappa_{max}=f''(x_{max})$

อัปเดต 2:

นี่คือการสาธิต ฉันวาดฟังก์ชันความน่าจะเป็น (ทำขึ้นอย่างสมบูรณ์), a) ความโค้งและข) อนุพันธ์อันดับสองของบันทึก ทางด้านซ้ายคุณจะเห็นโอกาสที่แคบและทางด้านขวามันกว้าง คุณจะเห็นว่า ณ จุดที่มีโอกาสมากที่สุดก) และข) มาบรรจบกันอย่างที่ควรจะเป็น ที่สำคัญกว่านั้นคือคุณสามารถศึกษาความกว้าง (หรือความเรียบ) ของฟังก์ชันความน่าจะเป็นได้โดยตรวจสอบอนุพันธ์อันดับสองของความน่าจะเป็นของบันทึก อย่างที่ฉันได้เขียนไว้ก่อนหน้านี้เรื่องหลังนั้นง่ายกว่าในทางเทคนิคในการวิเคราะห์

ไม่น่าแปลกใจที่อนุพันธ์อันดับ 2 ของสัญญาณ loglikelihood จะประจบฟังก์ชันความน่าจะเป็นรอบ ๆ ค่าสูงสุดซึ่งไม่ต้องการเพราะมันทำให้เกิดข้อผิดพลาดในการประมาณค่าพารามิเตอร์ที่ใหญ่กว่า

รหัส MATLAB ในกรณีที่คุณต้องการทำซ้ำแปลง:

f=@(x,a)a.^2./(a.^2+x.^2);
c = @(x,a)(-2*a.^2.*(a.^2-3*x.^2)./(a.^2+x.^2).^3/(4*a.^4.*x.^2/(a.^2+x.^2).^4+1).^(3/2));
ll2d = @(x,a)(2*(x.^2-a.^2)./(a.^2+x.^2).^2);

h = 0.1;
x=-10:h:10;

% narrow peak
figure
subplot(1,2,1)
a = 1;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Narrow Likelihood'
ylim([-2 1])

% wide peak
subplot(1,2,2)
a=2;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Wide Likelihood'
legend('likelihood','curvature','2nd derivative LogL','location','best')
ylim([-2 1])

อัปเดต 3:

ในโค้ดข้างต้นฉันเสียบฟังก์ชันรูประฆังโดยพลการลงในสมการความโค้งแล้วคำนวณอนุพันธ์อันดับสองของบันทึก ฉันไม่ได้ปรับขนาดอะไรอีกแล้วค่าตรงจากสมการเพื่อแสดงความเท่าเทียมที่ฉันพูดถึงไปก่อนหน้านี้

นี่เป็นบทความแรกเกี่ยวกับโอกาสที่ฟิชเชอร์ตีพิมพ์ในขณะที่ยังอยู่ในมหาวิทยาลัย "ในเกณฑ์สัมบูรณ์สำหรับเส้นโค้งความถี่ที่เหมาะสม", Messenger of Mathmatics, 41: 155-160 (1912)

ในขณะที่ฉันยืนยันตลอดเขาไม่ได้พูดถึงการเชื่อมโยงความน่าจะเป็นของบันทึกการเข้าสู่เอนโทรปีและเรื่องแฟนซีอื่น ๆ ที่ลึกซึ้งยิ่งขึ้น เขาวางสมการบน p.54 แล้วจึงพูดคุยเกี่ยวกับการเพิ่มความน่าจะเป็นสูงสุด ในความคิดของฉันนี้แสดงให้เห็นว่าเขาใช้ลอการิทึมเช่นเดียวกับวิธีที่สะดวกในการวิเคราะห์ความน่าจะเป็นร่วมกันด้วยตนเอง มันมีประโยชน์อย่างยิ่งในการปรับโค้งอย่างต่อเนื่องซึ่งเขาได้ให้สูตรที่ชัดเจนใน p.55: log P $\log P'=\sum_1^n\log p$

สิ่งหนึ่งที่ควรทราบเมื่ออ่านกระดาษเขาเริ่มต้นด้วยการประเมินความเป็นไปได้สูงสุดเท่านั้นและทำงานได้มากขึ้นใน 10 ปีต่อมาดังนั้นแม้กระทั่งคำว่า MLE ยังไม่ได้ประกาศเกียรติคุณเท่าที่ฉันรู้

จุดเพิ่มเติม การแจกแจงความน่าจะเป็นที่ใช้กันทั่วไปบางส่วน (รวมถึงการแจกแจงแบบปกติ, การแจกแจงแบบเอ็กซ์โพเนนเชียล, การแจกแจงแบบลาปลาซบันทึกเว้า ซึ่งหมายความว่าลอการิทึมของพวกเขาเว้า สิ่งนี้ทำให้การเพิ่มความน่าจะเป็นของบันทึกได้ง่ายกว่าการเพิ่มความน่าจะเป็นแบบดั้งเดิมให้มากที่สุด (ซึ่งมีประโยชน์อย่างยิ่งในความเป็นไปได้สูงสุดหรือวิธี a-posteriori สูงสุด) เพื่อยกตัวอย่างการใช้วิธีการของนิวตันในการเพิ่มการกระจายแบบหลายตัวแปรแบบเกาส์โดยตรงอาจใช้ขั้นตอนจำนวนมากในขณะที่เพิ่มพาราโบลาอยด์ (บันทึกของการกระจายแบบหลายตัวแปรแบบเกาส์) ใช้ขั้นตอนเดียว

ความสำคัญทางทฤษฎีของ Log-likelihood สามารถเห็นได้จาก (อย่างน้อย) สองมุมมอง: ทฤษฎีความน่าจะเป็นแบบอะซิติกติกและทฤษฎีสารสนเทศ

ก่อนหน้าของสิ่งเหล่านี้ (ฉันเชื่อว่า) เป็นทฤษฎีที่เกี่ยวกับความเป็นไปได้ในการบันทึก (asymptotic) ฉันคิดว่าทฤษฎีข้อมูลดำเนินไปด้วยดีหลังจากฟิชเชอร์ตั้งความเป็นไปได้สูงสุดในเส้นทางสู่การปกครองในศตวรรษที่ 20

ในทฤษฎีความน่าจะเป็น, ความน่าจะเป็นของการบันทึกพาราโบลามีศูนย์กลางในการอนุมาน ลูเชียนเลอแคมมีบทบาทสำคัญในการอธิบายความสำคัญของความน่าจะเป็นในการบันทึกเชิงกำลังสองในทฤษฎีเชิงซีมโทติค

เมื่อคุณมีความเป็นไปได้ในการเข้าสู่ระบบกำลังสองไม่เพียง แต่ความโค้งของ MLE จะบอกคุณในเชิงคุณภาพว่าคุณสามารถประมาณค่าพารามิเตอร์ได้อย่างแม่นยำเพียงใด แต่เรายังทราบด้วยว่าข้อผิดพลาดนั้นกระจายไปตามความแปรปรวนเท่ากับส่วนโค้ง เมื่อมีการบันทึกความเป็นไปได้ประมาณกำลังสองเราจะบอกว่าผลลัพธ์เหล่านี้มีประมาณหรือไม่แสดงอาการ

เหตุผลที่สองคือความโดดเด่นของความน่าจะเป็นบันทึก (หรือความน่าจะเป็นบันทึก) ใน ทฤษฎีข้อมูลซึ่งเป็นปริมาณหลักที่ใช้ในการวัดเนื้อหาข้อมูล

$g$$g$$f(\theta)$$f(\hat{\theta})$$\hat{\theta}$เป็นจำนวนสูงสุด การประเมินความเป็นไปได้

$\ln \hat{L}$

ดังนั้นโอกาสในการเข้าสู่ระบบนอกเหนือจากการเปลี่ยนแปลงเชิงตัวเลขที่มีประโยชน์มีความสัมพันธ์อย่างลึกซึ้งกับการอนุมานและทฤษฎีสารสนเทศ

TLDR: มันง่ายกว่าที่จะได้รับผลรวมมากกว่าผลิตภัณฑ์เนื่องจากตัวดำเนินการอนุพันธ์นั้นเป็นแบบเชิงเส้นด้วยการรวม แต่ด้วยผลิตภัณฑ์คุณต้องทำตามกฎผลิตภัณฑ์ มันคือความซับซ้อนเชิงเส้นและความซับซ้อนเชิงพหุนามที่สูงกว่า