การขอร้องนักบวชจากผู้เชี่ยวชาญ


42

ฉันจะล้วงแจกแจงก่อนหน้านี้จากผู้เชี่ยวชาญเมื่อปรับรุ่นแบบเบย์ได้อย่างไร


9
แม้ว่าฉันจะได้รับคำตอบฉันขอแนะนำให้ผู้ที่สนใจควรดูคำตอบทั้งหมด
csgillespie

คำตอบ:


19

John Cook ให้คำแนะนำที่น่าสนใจ โดยทั่วไปรับเปอร์เซ็นไทล์ / ควอไทล์ (ไม่ได้หมายถึงหรือปิดบังพารามิเตอร์ขนาด!) จากผู้เชี่ยวชาญและเหมาะสมกับการแจกแจงที่เหมาะสม

http://www.johndcook.com/blog/2010/01/31/parameters-from-percentiles/


28

ขณะนี้ฉันกำลังค้นคว้าวิธีรูเล็ตทดลองสำหรับวิทยานิพนธ์ปริญญาโทของฉันเป็นเทคนิคการดึงดูด นี่เป็นวิธีการแบบกราฟิกที่ช่วยให้ผู้เชี่ยวชาญสามารถแสดงการกระจายความน่าจะเป็นแบบอัตนัยของเธอสำหรับปริมาณที่ไม่แน่นอน

ผู้เชี่ยวชาญจะได้รับเคาน์เตอร์ (หรือสิ่งที่ใคร ๆ คิดว่าเป็นชิปคาสิโน) ที่มีความหนาแน่นเท่ากันซึ่งผลรวมจะเท่ากับ 1 - ตัวอย่างเช่น 20 ชิปของความน่าจะเป็น = 0.05 ละ จากนั้นพวกเขาจะได้รับคำแนะนำให้จัดเรียงพวกเขาบนกริดที่พิมพ์ไว้ล่วงหน้าโดยมีถังขยะแสดงช่วงเวลาของผลลัพธ์ แต่ละคอลัมน์จะแสดงถึงความเชื่อของพวกเขาเกี่ยวกับความน่าจะเป็นที่จะได้ผลลัพธ์ bin ที่สอดคล้องกัน

ตัวอย่าง: นักเรียนจะถูกขอให้ทำนายเครื่องหมายในการสอบในอนาคต รูปด้านล่างแสดงกริดที่เสร็จสมบูรณ์สำหรับการแบ่งความน่าจะเป็นแบบอัตนัย แกนแนวนอนของกริดจะแสดงถังขยะที่เป็นไปได้ (หรือช่วงเครื่องหมาย) ที่นักเรียนถูกขอให้พิจารณา ตัวเลขในแถวบนสุดจะบันทึกจำนวนชิปต่อถัง ตารางที่สมบูรณ์ (ใช้ชิปทั้งหมด 20 รายการ) แสดงว่านักเรียนเชื่อว่ามีโอกาส 30% ที่เครื่องหมายจะอยู่ระหว่าง 60 ถึง 64.9

เหตุผลบางประการที่สนับสนุนการใช้เทคนิคนี้คือ:

  1. คำถามมากมายเกี่ยวกับรูปร่างของการแจกแจงความน่าจะเป็นอัตวิสัยของผู้เชี่ยวชาญสามารถตอบได้โดยไม่ต้องตั้งคำถามให้ผู้เชี่ยวชาญ - นักสถิติสามารถอ่านค่าความหนาแน่นสูงหรือต่ำกว่าจุดใดจุดหนึ่งหรือระหว่างจุดสองจุดใดก็ได้

  2. ในระหว่างกระบวนการนำออกผู้เชี่ยวชาญสามารถเคลื่อนไปรอบ ๆ ชิปได้หากไม่พอใจกับวิธีการวางชิปครั้งแรก - ดังนั้นพวกเขาจึงมั่นใจได้ว่าจะได้ผลลัพธ์สุดท้าย

  3. มันบังคับให้ผู้เชี่ยวชาญให้สอดคล้องกันในชุดของความน่าจะเป็นที่มีให้ หากใช้ชิปทั้งหมดความน่าจะเป็นจะต้องรวมเป็นหนึ่ง

  4. วิธีการแบบกราฟิกดูเหมือนจะให้ผลลัพธ์ที่แม่นยำยิ่งขึ้นโดยเฉพาะอย่างยิ่งสำหรับผู้เข้าร่วมที่มีระดับความซับซ้อนทางสถิติในระดับปานกลาง


4
เย็น! กรุณาโพสต์ลิงค์ที่นี่เพื่อวิทยานิพนธ์ของคุณเมื่อมันเสร็จสมบูรณ์และ / หรือเผยแพร่!
Harlan

@Harlan ฉันไม่สามารถติดตามวิทยานิพนธ์ของเธอได้ แต่วิธีรูเล็ตทดลองได้อธิบายไว้ในหน้า 18 ของการแจกแจงความน่าจะเป็น Eliciting (อ้างอิงที่ดีชี้โดย @ john-l-taylor)
Abe

16

การให้เกียรตินักบวชเป็นธุรกิจที่ยุ่งยาก

วิธีการทางสถิติสำหรับการแจกแจงความน่าจะเป็นและการแจกแจงความน่าจะเป็นคู่มือแนวทางปฏิบัติที่ดีสำหรับการสอบก่อน กระบวนการในเอกสารทั้งสองมีการอธิบายไว้ดังนี้:

  1. ความเป็นมาและการเตรียมการ
  2. การระบุและการสรรหาผู้เชี่ยวชาญ
  3. แรงจูงใจและฝึกอบรมผู้เชี่ยวชาญ
  4. การจัดโครงสร้างและการสลายตัว (โดยทั่วไปจะตัดสินใจได้อย่างแม่นยำว่าตัวแปรใดควรนำออกมาและวิธีการล้วงเอาการกระจายข้อต่อในกรณีหลายตัวแปร);
  5. ความตื่นเต้น

แน่นอนว่าพวกเขายังตรวจสอบว่าผลลัพธ์ที่น่าตื่นเต้นในข้อมูลที่อาจเหมาะสมหรือกำหนดการแจกแจง (ตัวอย่างเช่นในบริบท Bayesian, การแจกแจงแบบเบต้า ) แต่ที่สำคัญพวกเขายังจัดการกับข้อผิดพลาดทั่วไปในการสร้างแบบจำลองความรู้ผู้เชี่ยวชาญ การแจกแจงแบบแคบและขนาดเล็กเป็นต้น)


8

ผมอยากแนะนำให้ปล่อยให้ผู้เชี่ยวชาญเรื่องระบุค่าเฉลี่ยหรือโหมดของก่อน แต่ฉันรู้สึกฟรีเพื่อปรับสิ่งที่พวกเขาให้เป็นขนาด คนส่วนใหญ่ไม่ค่อยมีความแปรปรวนเชิงปริมาณมากนัก

และฉันจะไม่ปล่อยให้ผู้เชี่ยวชาญกำหนดตระกูลการกระจายโดยเฉพาะความหนาของหาง ตัวอย่างเช่นสมมติว่าคุณต้องการการกระจายแบบสมมาตรสำหรับก่อนหน้า ไม่มีใครสามารถระบุความเชื่อส่วนตัวของพวกเขาได้อย่างชัดเจนเพื่อแยกแยะการแจกแจงแบบปกติจากการแจกแจงแบบนักเรียนกับ 5 องศาอิสระ แต่ในบางบริบท t (5) ก่อนหน้านั้นแข็งแกร่งกว่าปกติมาก ในระยะสั้นฉันคิดว่าการเลือกความหนาของหางเป็นเรื่องทางเทคนิคเชิงสถิติไม่ใช่เรื่องของการประเมินความคิดเห็นของผู้เชี่ยวชาญ


จุดที่ยอดเยี่ยมเกี่ยวกับหางซึ่งฉันคิดว่าเป็นกุญแจสำคัญ อีกตัวอย่างที่แตกต่างก็คือการพิจารณา weibull และแกมมาเป็นทางเลือกในการบันทึกปกติ ในทางปฏิบัติสิ่งเหล่านี้มักจะให้ความเป็นจริงที่เหมาะสมกับตัวแปรเชิงบวกที่เอียงมากขึ้น
Abe

2

คำถามที่น่าสนใจนี้เป็นเรื่องของการวิจัยบางส่วนในACERA นักวิจัยหลักคือ Andrew Speirs-Bridge และงานของเขาเด่นชัดใน google ได้ :)

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.