หากคุณใช้การประมาณจุดที่เพิ่มให้มากที่สุดนั่นจะพูดถึงปรัชญาของคุณอย่างไร? (เป็นประจำหรือ Bayesian หรืออย่างอื่น?)

ถ้ามีคนพูดว่า

"วิธีการนั้นใช้การประเมินจุดMLEสำหรับพารามิเตอร์ที่เพิ่มสูงสุดดังนั้นจึงเป็นสิ่งที่เกิดขึ้นบ่อยครั้งและยิ่งไม่ใช่ Bayesian"$\mathrm{P}(x|\theta)$

คุณจะเห็นด้วยไหม

• อัปเดตบนพื้นหลัง : เมื่อเร็ว ๆ นี้ฉันอ่านกระดาษที่อ้างว่าใช้บ่อย ฉันไม่เห็นด้วยกับการเรียกร้องของพวกเขาที่ดีที่สุดฉันรู้สึกว่ามันคลุมเครือ กระดาษไม่ได้กล่าวถึง MLE อย่างชัดเจน (หรือMAPสำหรับเรื่องนั้น) พวกเขาใช้การประมาณค่าจุดและพวกเขาก็ดำเนินการราวกับว่าการประเมินจุดนี้เป็นจริง พวกเขาทำไม่ได้ทำการวิเคราะห์การกระจายตัวตัวอย่างของตัวประมาณค่านี้หรืออะไรทำนองนั้น แบบจำลองค่อนข้างซับซ้อนและดังนั้นการวิเคราะห์ดังกล่าวอาจเป็นไปไม่ได้ พวกเขาไม่ใช้คำว่า 'หลัง' ที่จุดใดก็ได้ พวกเขาเพียงแค่ใช้การประเมินจุดนี้ที่มูลค่าหน้าและดำเนินการในหัวข้อหลักที่น่าสนใจ - อนุมานข้อมูลที่ขาดหายไป ฉันไม่คิดว่าจะมีอะไรในแนวทางของพวกเขาที่ชี้ให้เห็นว่าปรัชญาของพวกเขาคืออะไร พวกเขาอาจจะตั้งใจที่จะเป็นประจำ (เพราะพวกเขารู้สึกว่าจำเป็นต้องสวมปรัชญาบนแขนเสื้อของพวกเขา) แต่วิธีการที่แท้จริงของพวกเขาค่อนข้างง่าย / สะดวก / ขี้เกียจ / คลุมเครือ ตอนนี้ฉันอยากบอกว่าการวิจัยไม่มีปรัชญาใด ๆ อยู่เบื้องหลัง แต่ฉันคิดว่าทัศนคติของพวกเขาในทางปฏิบัติหรือสะดวกกว่า:

  "ฉันสังเกตุข้อมูล, , และฉันต้องการประเมินข้อมูลที่ขาดหายไป, . มีพารามิเตอร์ที่ควบคุมความสัมพันธ์ระหว่างและ . ฉันไม่สนใจยกเว้นเรื่องที่จะจบ ถ้าฉันมีค่าประมาณสำหรับมันจะทำให้ง่ายต่อการทำนายจากฉันจะเลือกการประมาณค่าของเพราะสะดวกโดยเฉพาะฉันจะเลือกที่เพิ่ม "Z θ Z x θ θ Z x θ θ P ( x | θ $x$$z$$\theta$$z$$x$$\theta$$\theta$$z$$x$$\theta$$\hat{\theta}$$\mathrm{P}(x|\theta)$

ในวิธีการแบบเบย์บทบาทของข้อมูลและพารามิเตอร์เรียงกลับกัน โดยเฉพาะอย่างยิ่งตอนนี้เรามีเงื่อนไขกับข้อมูลที่สังเกตได้และดำเนินการเพื่อหาข้อสรุปเกี่ยวกับค่าของพารามิเตอร์ สิ่งนี้ต้องมีก่อน

จนถึงตอนนี้ดีมาก แต่MLE (การประมาณความน่าจะเป็นสูงสุด) จะพอดีกับสิ่งนี้ทั้งหมดที่ไหน? ฉันได้รับความประทับใจที่หลายคนรู้สึกว่ามันเป็นผู้นิยม (หรือมากกว่านั้นอย่างแน่นอนว่าไม่ใช่เบย์) แต่ฉันรู้สึกว่ามันเป็นแบบเบย์เพราะมันเกี่ยวข้องกับการรับข้อมูลที่สังเกตแล้วหาพารามิเตอร์ที่ทำให้สูงสุด MLE นั้นจะใช้รูปแบบที่เหมือนกันมาก่อนและการปรับสภาพข้อมูลและการเพิ่มสูงสุด มันยุติธรรมหรือไม่ที่จะบอกว่า MLE ดูทั้งผู้ใช้บ่อยและไบเซียน? หรือเครื่องมือง่าย ๆ ทุกอย่างจะต้องตกอยู่ในหมวดหมู่หนึ่งในสองอย่างนั้นเหรอ?P ( p a r a m e t e r | d a t a $P(data | parameter)$$P(parameter | data)$

MLE นั้นสอดคล้องกันแต่ฉันรู้สึกว่าสามารถนำเสนอความสอดคล้องเป็นแนวคิดของ Bayesian ได้ เมื่อได้รับตัวอย่างขนาดใหญ่โดยพลการค่าประมาณจะมาบรรจบกับคำตอบที่ถูกต้อง คำสั่ง "การประมาณจะเท่ากับค่าที่แท้จริง" ถือเป็นจริงสำหรับค่าทั้งหมดของพารามิเตอร์ สิ่งที่น่าสนใจคือคำแถลงนี้ยังคงเป็นจริงหากคุณกำหนดเงื่อนไขของข้อมูลที่สังเกตได้ทำให้มันเป็นแบบเบย์ สิ่งที่น่าสนใจนอกเหนือจากนี้สำหรับ MLE แต่ไม่ใช่สำหรับผู้ประเมินที่เป็นกลาง

นี่คือเหตุผลที่ฉันรู้สึกว่า MLE เป็น 'Bayesian ที่สุด' ของวิธีการที่อาจถูกอธิบายว่าเป็นผู้ใช้บ่อย

อย่างไรก็ตามคุณสมบัติของผู้ใช้บ่อยที่สุด (เช่นความเป็นกลาง) จะมีผลในทุกกรณีรวมถึงขนาดตัวอย่างที่แน่นอน ความจริงที่ว่าความสอดคล้องมีเพียงในสถานการณ์ที่เป็นไปไม่ได้ (ตัวอย่างที่ไม่มีที่สิ้นสุดภายในการทดสอบหนึ่งครั้ง) แสดงให้เห็นว่าความสอดคล้องนั้นไม่ใช่คุณสมบัติที่มีประโยชน์

เมื่อให้ตัวอย่างที่เป็นจริง (เช่น จำกัด ) มีคุณสมบัติของผู้ใช้บ่อยซึ่งมีคุณสมบัติเป็น MLE จริงหรือไม่? ถ้าไม่ใช่ MLE นั้นไม่ใช่ผู้ให้กำเนิด

หรือเครื่องมือง่าย ๆ ทุกอย่างจะต้องตกอยู่ในหมวดหมู่หนึ่งในสองอย่างนั้นเหรอ?

ไม่ง่าย (และไม่ใช่เครื่องมือง่าย ๆ ) สามารถศึกษาได้จากมุมมองที่แตกต่างกัน ฟังก์ชั่นความน่าจะเป็นด้วยตัวของมันเองคือรากฐานที่สำคัญของสถิติแบบเบย์และสถิติผู้ใช้บ่อยและสามารถศึกษาได้จากมุมมองทั้งสอง! หากคุณต้องการคุณสามารถศึกษา MLE เป็นวิธีการแก้ปัญหาแบบเบย์โดยประมาณหรือคุณสามารถศึกษาคุณสมบัติของมันด้วยทฤษฎีแบบอะซิมโทติคในแบบที่ใช้บ่อย

เมื่อคุณทำการประมาณค่าความน่าจะเป็นสูงสุดคุณจะพิจารณามูลค่าของการประมาณค่าและคุณสมบัติการสุ่มตัวอย่างของตัวประมาณค่าเพื่อสร้างความไม่แน่นอนของค่าประมาณที่แสดงเป็นช่วงความมั่นใจ ฉันคิดว่านี่เป็นเรื่องสำคัญสำหรับคำถามของคุณเพราะโดยทั่วไปช่วงความเชื่อมั่นจะขึ้นอยู่กับจุดตัวอย่างที่ไม่ได้สังเกตซึ่งบางคนดูเหมือนว่าเป็นคุณสมบัติที่ไม่ได้รับการชำระเงินเป็นหลัก

ปล. เรื่องนี้เกี่ยวข้องกับความจริงทั่วไปมากขึ้นว่าการประมาณความน่าจะเป็นสูงสุด (จุด + ช่วงเวลา) ล้มเหลวในการตอบสนองหลักการความน่าจะเป็นในขณะที่การวิเคราะห์แบบเบส์แบบเต็ม (" สไตล์อำมหิต ")

ฟังก์ชันความน่าจะเป็นคือฟังก์ชันที่เกี่ยวข้องกับข้อมูลและพารามิเตอร์ที่ไม่รู้จัก มันสามารถดูได้เป็นความหนาแน่นของความน่าจะเป็นสำหรับข้อมูลที่สังเกตได้รับค่าของพารามิเตอร์ (s) พารามิเตอร์ได้รับการแก้ไข ดังนั้นโดยตัวของมันเอง การเพิ่มโอกาสให้มากที่สุดคือการหาค่าเฉพาะของพารามิเตอร์ที่ทำให้โอกาสนั้นเกิดมูลค่าสูงสุด ดังนั้นการประมาณค่าความน่าจะเป็นสูงสุดคือวิธีการที่ใช้เป็นประจำตามข้อมูลเท่านั้น การประมาณแบบเบย์เข้ามาเฉพาะเมื่อการแจกแจงก่อนหน้าถูกวางไว้บนพารามิเตอร์และสูตรของเบย์ใช้เพื่อให้ได้การแจกแจง aposteriori สำหรับพารามิเตอร์ (s) โดยการรวมค่าก่อนหน้ากับความน่าจะเป็น

สมมติว่าโดย "Bayesian" คุณอ้างถึง Bayes อัตนัย (หรือที่รู้จักกันดีว่า Bayes Epistemic Bayes, De-Finetti Bayes) และไม่ใช่ Bayes เชิงประจักษ์ในปัจจุบัน - มันอยู่ไกลจากเรื่องเล็กน้อย ในอีกด้านหนึ่งคุณอนุมานจากข้อมูลของคุณเพียงอย่างเดียว ไม่มีความเชื่อส่วนตัวในมือ นี่ดูเหมือนบ่อยครั้งมากพอ ... แต่คำติชมที่แสดงออกแม้กระทั่งในฟิชเชอร์เอง (แบบไม่ จำกัด (แบบอัตนัย) เบย์) ก็คือในการเลือกการสุ่มตัวอย่างการกระจายตัวของข้อมูลความคิดส่วนตัวได้คลานเข้ามา ความเชื่อของกระบวนการสร้างข้อมูล

โดยสรุป - ฉันเชื่อว่าโดยทั่วไปแล้ว MLE จะถือเป็นแนวคิดที่ใช้บ่อยแม้ว่ามันจะเป็นเพียงวิธีการที่คุณให้คำจำกัดความ "นักประพันธ์" และ "Bayesian"

(ตอบคำถามของตัวเอง)

ประมาณการเป็นฟังก์ชั่นที่ต้องใช้ข้อมูลบางส่วนและผลิตจำนวน (หรือช่วงของตัวเลข) ตัวประมาณไม่ได้ 'Bayesian' หรือ 'ผู้เล่นบ่อย' จริง ๆ - คุณสามารถคิดว่ามันเป็นกล่องดำที่มีตัวเลขเข้ามาและตัวเลขออกมา คุณสามารถนำเสนอตัวประมาณค่าแบบเดียวกันกับผู้ใช้ประจำและแบบเบย์และพวกเขาจะมีสิ่งต่าง ๆ ที่จะพูดเกี่ยวกับตัวประมาณ

(ฉันไม่พอใจกับความแตกต่างแบบง่าย ๆ ของฉันระหว่างผู้ใช้บ่อยกับ Bayesian - มีประเด็นอื่น ๆ ที่ต้องพิจารณา แต่สำหรับความเรียบง่ายเรามาแกล้งทำเป็นว่าเป็นค่ายปรัชญาที่กำหนดไว้สองแห่ง)

คุณไม่สามารถบอกได้ว่านักวิจัยเป็นประจำของ Bayesian เพียงแค่โดยนักประเมินที่พวกเขาเลือก สิ่งสำคัญคือการฟังสิ่งที่พวกเขาวิเคราะห์ในตัวประมาณและเหตุผลอะไรที่พวกเขาให้เลือกตัวประมาณนั้น

ลองนึกภาพคุณสร้างชิ้นส่วนของซอฟต์แวร์ที่พบว่าค่าของซึ่งจะเพิ่มtheta) คุณนำเสนอซอฟต์แวร์นี้แก่ผู้ใช้ประจำและขอให้พวกเขาทำการนำเสนอเกี่ยวกับมัน พวกเขาอาจจะดำเนินการโดยการวิเคราะห์การกระจายตัวตัวอย่างและการทดสอบว่าตัวประมาณนั้นมีอคติหรือไม่ และบางทีพวกเขาจะตรวจสอบว่ามันสอดคล้องกันหรือไม่ พวกเขาจะอนุมัติหรือไม่อนุมัติผู้ประเมินตามคุณสมบัติเช่นนี้ เหล่านี้เป็นคุณสมบัติประเภทที่ผู้สนใจเข้าร่วมเป็นประจำP ( x | θ $\theta$$\mathrm{P}(\mathbf{x}|\theta)$

เมื่อมีการนำเสนอซอฟต์แวร์แบบเดียวกันกับ Bayesian Bayesian อาจมีความสุขกับการวิเคราะห์ของผู้ใช้บ่อย ใช่สิ่งอื่น ๆ ทั้งหมดเท่ากันอคติไม่ดีและความมั่นคงเป็นสิ่งที่ดี แต่ชาวเบย์จะสนใจสิ่งอื่น ๆ มากกว่า ชาวเบย์จะต้องการดูว่าตัวประมาณใช้รูปร่างของฟังก์ชันการกระจายตัวด้านหลังหรือไม่ และถ้าเป็นเช่นนั้นจะใช้อะไรก่อนหน้านี้ หากตัวประมาณนั้นยึดตามหลังเบย์จะสงสัยว่าอันก่อนนั้นดีหรือไม่ หากพวกเขามีความสุขกับก่อนหน้านี้และหากผู้ประเมินราคากำลังรายงานโหมดของคนหลัง (ตรงข้ามกับบอกว่าค่าเฉลี่ยของคนหลัง) แล้วพวกเขาก็ยินดีที่จะใช้การตีความนี้กับการประเมิน: "การประเมินนี้เป็นประเด็น การประเมินที่มีโอกาสที่ดีที่สุดในการแก้ไข "

ฉันมักจะได้ยินว่ากันบ่อยครั้งและ Bayesian "ตีความ" สิ่งที่แตกต่างกันแม้ว่าตัวเลขที่เกี่ยวข้องจะเหมือนกัน นี่อาจทำให้สับสนเล็กน้อยและฉันไม่คิดว่ามันจะเป็นเรื่องจริง การตีความของพวกเขาไม่ขัดแย้งกัน พวกเขาเพียงสร้างข้อความเกี่ยวกับแง่มุมต่าง ๆ ของระบบ ลองวางจุดประมาณไว้สักครู่แล้วพิจารณาช่วงเวลาแทน โดยเฉพาะอย่างยิ่งมี frequentist ช่วงความเชื่อมั่นและคชกรรมช่วงเวลาที่มีความน่าเชื่อถือ พวกเขามักจะให้คำตอบที่แตกต่างกัน แต่ในบางรุ่นที่มีนักบวชบางคนช่วงเวลาสองประเภทจะให้คำตอบเชิงตัวเลขเหมือนกัน

เมื่อช่วงเวลาเหมือนกันเราจะตีความมันต่างกันอย่างไร ผู้ที่พูดบ่อยจะพูดถึงตัวประมาณช่วงเวลา:

ก่อนที่ฉันจะเห็นข้อมูลหรือช่วงเวลาที่สอดคล้องกันฉันสามารถพูดได้ว่ามีความน่าจะเป็นอย่างน้อย 95% ที่พารามิเตอร์จริงจะอยู่ภายในช่วงเวลานั้น

ในขณะที่ Bayesian จะพูดถึงตัวประมาณช่วงเวลา:

หลังจากที่ฉันเห็นข้อมูลหรือช่วงเวลาที่สอดคล้องกันฉันสามารถพูดได้ว่ามีความน่าจะเป็นอย่างน้อย 95% ที่พารามิเตอร์ที่แท้จริงมีอยู่ภายในช่วงเวลานั้น

สองข้อความนี้เหมือนกันนอกเหนือจากคำว่า 'Before' และ 'After' ชาวเบเซียนจะเข้าใจและเห็นด้วยกับคำแถลงเดิมและจะยอมรับว่าความจริงนั้นเป็นอิสระจากสิ่งใดมาก่อนจึงทำให้ 'แข็งแกร่งขึ้น' แต่การพูดในฐานะเบย์เองฉันจะกังวลว่าคำแถลงก่อนหน้าอาจไม่เป็นประโยชน์มากนัก ผู้ถกเถียงไม่ชอบแถลงการณ์หลัง แต่ฉันไม่เข้าใจดีพอที่จะให้คำอธิบายที่เป็นธรรมเกี่ยวกับการคัดค้านของผู้ใช้บ่อย

หลังจากดูข้อมูลผู้ที่พบบ่อยจะยังคงมองโลกในแง่ดีว่ามูลค่าที่แท้จริงมีอยู่ในช่วงเวลานั้นหรือไม่? อาจจะไม่. นี่เป็นสิ่งที่ขัดกับความรู้สึกเล็กน้อย แต่เป็นสิ่งสำคัญสำหรับการทำความเข้าใจช่วงความเชื่อมั่นและแนวคิดอื่น ๆ อย่างแท้จริงตามการกระจายตัวตัวอย่าง คุณอาจสันนิษฐานว่าผู้ที่พบบ่อยจะยังคงพูดว่า "จากข้อมูลฉันยังคงคิดว่ามีความน่าจะเป็น 95% ที่มูลค่าที่แท้จริงอยู่ในช่วงเวลานี้" นักถี่ๆไม่เพียง แต่ถามว่าคำสั่งนั้นเป็นจริงหรือไม่พวกเขาก็จะถามด้วยว่ามันมีความหมายต่อแอตทริบิวต์ความน่าจะเป็นในลักษณะนี้หรือไม่ หากคุณมีคำถามเพิ่มเติมเกี่ยวกับเรื่องนี้อย่าถามฉันปัญหานี้มากเกินไปสำหรับฉัน!

ชาวเบย์มีความยินดีที่จะประกาศว่า: "การปรับสภาพข้อมูลที่ฉันเพิ่งเห็นความน่าจะเป็น 95% ว่ามูลค่าที่แท้จริงอยู่ในช่วงนี้"

ฉันต้องยอมรับว่าฉันสับสนเล็กน้อยในจุดสุดท้าย ฉันเข้าใจและเห็นด้วยกับข้อความที่จัดทำโดยผู้ใช้บ่อยก่อนที่จะเห็นข้อมูล ฉันเข้าใจและเห็นด้วยกับคำสั่งของ Bayesian หลังจากเห็นข้อมูลแล้ว อย่างไรก็ตามฉันไม่แน่ใจว่าสิ่งที่นักพูดประจำจะพูดหลังจากเห็นข้อมูลนั้น ความเชื่อของพวกเขาเกี่ยวกับโลกจะเปลี่ยนไปไหม? ฉันไม่ได้อยู่ในตำแหน่งที่จะเข้าใจปรัชญาบ่อยครั้งที่นี่

$P(x|\theta)$