จะคลุมเครือก่อนหน้าเช่นเดียวกับที่ไม่ให้ข้อมูลก่อน


27

นี่เป็นคำถามเกี่ยวกับคำศัพท์ "คลุมเครือก่อนหน้า" เหมือนกันกับที่ไม่ให้ข้อมูลมาก่อนหรือว่ามีความแตกต่างระหว่างทั้งสองหรือไม่? ความประทับใจของฉันคือพวกเขาเหมือนกัน (จากการค้นหาคลุมเครือและไม่ให้ข้อมูลด้วยกัน) แต่ฉันไม่สามารถมั่นใจได้


1
Vaguely: ใช่ Non-informatively: เลขที่
พระคาร์ดินัล

คำตอบ:


18

Gelman และคณะ (2003) พูดว่า:

มีความปรารถนาที่จะมีการแจกแจงก่อนซึ่งสามารถรับประกันได้ว่าจะมีบทบาทน้อยที่สุดในการกระจายหลัง การกระจายดังกล่าวบางครั้งเรียกว่า 'การอ้างอิงก่อนการแจกแจง' และความหนาแน่นก่อนหน้านี้ถูกอธิบายว่าไม่ชัดเจนแบนหรือไม่เป็นข้อมูล [เน้นจากข้อความต้นฉบับ]

จากการอ่านบทสนทนาของ Jeffreys 'มาก่อนใน Gelman และคณะ (2003, p.62ff, ไม่มีมติเกี่ยวกับการดำรงอยู่ของผู้ที่ไม่ได้ให้ข้อมูลอย่างแท้จริงมาก่อนและนักบวชที่คลุมเครือ / แบน / แพร่กระจายอย่างเพียงพอก็เพียงพอแล้ว

บางจุดที่พวกเขาทำ:

  1. ข้อมูลใด ๆ ก่อนหน้านี้รวมถึงนักบวชที่ระบุว่าไม่ทราบข้อมูล
    • ตัวอย่างเช่นถ้าเรารู้ว่าเราไม่รู้อะไรเกี่ยวกับพารามิเตอร์ที่เป็นปัญหาเราก็รู้อะไรบางอย่างเกี่ยวกับมัน
  2. ในบริบทที่นำมาใช้ส่วนใหญ่ไม่มีข้อได้เปรียบที่ชัดเจนสำหรับผู้ที่ไม่ได้ให้ข้อมูลที่เพียงพอก่อนหน้านี้ซึ่งเพียงพอแล้วและในหลาย ๆ กรณีมีข้อได้เปรียบ - เช่นการหาที่เหมาะสมก่อน - เพื่อใช้การกำหนดพารามิเตอร์ที่คลุมเครือของคอนจูเกตก่อน
  3. หลักการของ Jeffreys นั้นมีประโยชน์ในการสร้างนักบวชที่ลดเนื้อหาข้อมูลของฟิชเชอร์ในรูปแบบ univariate แต่ไม่มีอนาล็อกสำหรับกรณีหลายตัวแปร
  4. เมื่อเปรียบเทียบแบบจำลองก่อนหน้าของ Jeffreys จะแตกต่างกันไปตามการกระจายของโอกาสดังนั้นนักบวชก็ต้องเปลี่ยน
  5. โดยทั่วไปมีการถกเถียงกันมากมายเกี่ยวกับว่าไม่มีข้อมูลมาก่อน (เนื่องจาก 1 แต่ยังเห็นการอภิปรายและการอ้างอิงในหน้า 67 ใน Gelman et al. สำหรับประวัติศาสตร์ของการอภิปรายนี้)

โปรดทราบว่านี่คือวิกิชุมชน - ทฤษฎีพื้นฐานอยู่ที่ขีด จำกัด ของความเข้าใจของฉันและฉันขอขอบคุณที่มีส่วนร่วมในคำตอบนี้

Gelman และคณะ การวิเคราะห์ข้อมูลแบบเบย์ 2003 แชปแมนและฮอล / ซีอาร์ซี


1
Gelman ตัวเองเคลื่อนไหวเกินกว่านักบวช "noninformative" ดูตัวอย่างเช่นstat.columbia.edu/~cook/movabletype/archives/2007/07/ …และเอกสารอ้างอิงในคำตอบของฉันและงานอื่น ๆ ของเขา ทัศนคตินี้ดูเหมือนแพร่หลายมากขึ้นในหมู่นักสถิติประยุกต์
JMS

@JMS Gelman และ อัล 2003 ทำให้ประเด็นนี้และฉันได้พยายามสรุปพวกเขาดูเหมือนจะพิจารณานักบวช noninformative สำหรับวัตถุประสงค์พื้นหลัง / ทฤษฎี / การเรียนรู้
David LeBauer

ใช่ตำราเรียนเกี่ยวกับสถิติแบบเบย์ไม่สามารถเพิกเฉยได้ ฉันแค่ตั้งใจจะเพิ่มเติมว่าแนวโน้มในสถิติประยุกต์ตั้งแต่นั้นมาจะย้ายออกไปจากตัวเลือกแบบดั้งเดิมเหล่านี้แม้ว่างานจะดำเนินต่อไปใน "วัตถุประสงค์ Bayes"
JMS

ฉันคิดว่าผู้คนมักจะใช้ข้อมูลในสองวิธีเมื่ออธิบายถึงนักบวชในแง่ที่ไม่เป็นทางการและในแง่ของทฤษฎีข้อมูล ดังนั้นคุณสามารถจัดทำเอนโทรปีสูงสุดก่อนที่มีข้อมูลน้อยที่สุดเท่าที่จะเป็นไปได้ในแง่ข้อมูลทางทฤษฎี โดยใช้การกระจายนี้คุณ (อาจ) สัญญาณว่า "คุณรู้อะไรเกี่ยวกับพารามิเตอร์" นี้อาจจะค่อนข้างให้ข้อมูลในความหมายทางการมากขึ้น ...
ราสมูส Baath

9

ไม่แน่นอนแม้ว่าพวกเขาจะใช้บ่อยสลับกันได้ คลุมเครือก่อน (ค่อนข้างไม่รู้ไม่ได้จริงๆนิยมบางค่ามากกว่าคนอื่น ๆ ) บนพารามิเตอร์จริงสามารถทำให้เกิดข้อมูลมากก่อนในบางส่วนการเปลี่ยนแปลงอื่น ๆtheta) นี่เป็นส่วนหนึ่งของแรงบันดาลใจของ Jeffreys ก่อนหน้านี้ซึ่งสร้างขึ้นครั้งแรกว่าไม่เป็นข้อมูลเท่าที่จะทำได้θf(θ)

นักปราชญ์ที่คลุมเครือสามารถทำสิ่งที่น่าสังเวชกับโมเดลของคุณได้ ตัวอย่างคลาสสิกในขณะนี้คือการใช้เป็น นักบวชในส่วนประกอบความแปรปรวนในรูปแบบลำดับชั้นผมnโวลต์อีRsอีGaม.ม.a(ε,ε)ε0

การ จำกัด ที่ไม่เหมาะสมก่อนหน้านี้จะให้ภาพหลังที่ไม่เหมาะสมในกรณีนี้ ทางเลือกที่เป็นที่นิยมคือการใช้จะมีขนาดเล็กมากซึ่งส่งผลให้ก่อนว่ามีลักษณะเกือบเครื่องแบบ + แต่มันก็ส่งผลให้หลังที่เกือบจะไม่เหมาะสมและรูปแบบที่เหมาะสมและการอนุมานประสบ ดูการแจกแจงก่อนหน้าของ Gelman สำหรับพารามิเตอร์ความแปรปรวนในแบบจำลองลำดับชั้นเพื่อการแสดงออกที่สมบูรณ์εR+

แก้ไข: @csgillespie (ถูกต้อง!) ชี้ให้เห็นว่าฉันยังไม่ได้ตอบคำถามของคุณอย่างสมบูรณ์ ในความคิดของฉันข้อมูลที่ไม่ใช่ข้อมูลก่อนหน้านั้นเป็นสิ่งที่คลุมเครือในแง่ที่ว่ามันไม่ได้ช่วยสนับสนุนพื้นที่พารามิเตอร์ของพื้นที่หนึ่งไปยังอีกพื้นที่หนึ่ง แต่โดยเฉพาะอย่างยิ่งในการทำเช่นนั้น ดังนั้นการไม่ให้ข้อมูลก่อนหน้านั้นเป็นสิ่งที่คลุมเครือ ตัวอย่างหนึ่งที่สิ่งนี้เกิดขึ้นคือการเลือกตัวแปรแบบเบย์ "คลุมเครือ" ก่อนหน้าเกี่ยวกับความน่าจะเป็นของการรวมตัวแปรสามารถกระตุ้นให้เกิดข้อมูลที่ค่อนข้างสวยก่อนที่จะมีจำนวนตัวแปรทั้งหมด

สำหรับฉันแล้วดูเหมือนว่าการค้นหานักบวชที่ไม่ใช่คนธรรมดานั้นเป็นเรื่องแปลก (แม้ว่าหลายคนจะไม่เห็นด้วย) ดีกว่าที่จะใช้สิ่งที่เรียกว่า "อ่อนแอ" นักบวชที่ให้ข้อมูล (ซึ่งฉันคิดว่าโดยทั่วไปจะคลุมเครือในบางแง่มุม) จริงๆแล้วเราไม่รู้อะไรเกี่ยวกับพารามิเตอร์ที่เป็นปัญหาบ่อยแค่ไหน?


คำตอบของคุณดีมาก แต่คุณไม่ได้ระบุว่า "ไม่มีข้อมูลมาก่อน" และจริง ๆ แล้วมันแตกต่างจาก "
vague

@cgillespie: ถูกต้องแก้ไข :)
JMS

ติดตามจากย่อหน้าสุดท้ายของคุณและสนับสนุนลักษณะที่แปลกประหลาดของการค้นหา: ถ้าเรารู้ว่าเราไม่รู้อะไรเกี่ยวกับพารามิเตอร์ที่เป็นปัญหาเราก็รู้อะไรบางอย่างเกี่ยวกับมัน
David LeBauer

มาก! ประชดที่ยิ่งใหญ่คือคนจำนวนมากที่ใช้พลังงานอย่างแรงกล้าในการเลือกก่อนไม่คิดสองครั้งก่อนที่จะทิ้งโอกาส ความน่าจะเป็นที่พลาดไม่ได้นั้นมักจะทำให้เกิดปัญหามากกว่าปกติ แต่นั่นเป็นคำถามอีกข้อโดยสิ้นเชิง ...
JMS

5

Lambert et al (2005) ตั้งคำถาม"วิธีคลุมเครือเป็นอย่างไรคลุมเครือการศึกษาแบบจำลองของผลกระทบของการใช้การแจกแจงที่คลุมเครือก่อนหน้านี้ใน MCMC โดยใช้ WinBUGS " พวกเขาเขียนว่า: "เราไม่สนับสนุนการใช้คำศัพท์ที่ไม่ให้ข้อมูลก่อนการแจกจ่ายในขณะที่เราพิจารณาว่านักบวชทุกคนจะให้ข้อมูลบางอย่าง" ฉันมักจะเห็นด้วย แต่ฉันก็ไม่มีผู้เชี่ยวชาญในสถิติเบย์


2
เห็นด้วยกับความเชื่อก่อนหน้านี้ของฉันว่าฉันไม่มีความรู้ใด ๆ มาก่อน
onestop

@onestop โปรดพิจารณาร่วมตอบคำถาม CW ของฉัน
David LeBauer

ผมG(ε,ε)ε0

3

ฉันสงสัยว่า "คลุมเครือก่อนหน้า" ใช้เพื่อหมายถึงก่อนหน้านี้ที่รู้กันว่ามีการเข้ารหัสความรู้จำนวนเล็กน้อย แต่ไม่เป็นศูนย์เกี่ยวกับคุณค่าที่แท้จริงของพารามิเตอร์ในขณะที่ "ไม่ใช่ข้อมูลก่อน" จะใช้เพื่อหมายถึงความไม่รู้สมบูรณ์ เกี่ยวกับค่าของพารามิเตอร์นั้น มันอาจจะถูกใช้เพื่อแสดงว่าการวิเคราะห์นั้นไม่ได้มีวัตถุประสงค์อย่างสมบูรณ์

ตัวอย่างเช่น Gaussian ที่กว้างมากอาจจะคลุมเครือมาก่อนสำหรับพารามิเตอร์ที่ไม่ใช่แบบให้ข้อมูลก่อนหน้าจะเหมือนกัน เกาส์เซียนจะเกือบแบนในระดับที่น่าสนใจ แต่อย่างไรก็ตามจะให้ประโยชน์อย่างใดอย่างหนึ่งตามตัวอักษรมากกว่าคนอื่น ๆ (แต่มันอาจทำให้ปัญหาเวทย์มนตร์ทางคณิตศาสตร์มากขึ้น)


สิ่งนี้ทำให้เกิดคำถามว่าเครื่องแบบจะไม่มีข้อมูลอย่างแท้จริงหรือไม่? ค่าสูงสุดและต่ำสุดของเครื่องแบบไม่เป็นข้อมูลคืออะไร? ก่อนหน้านี้จะไม่เป็นประโยชน์หลังจากเปลี่ยนไปใช้อีกระดับหรือไม่
David LeBauer

1
นักบวชในเครื่องแบบไม่จำเป็นต้องไร้ความรู้และในทางกลับกันมันขึ้นอยู่กับลักษณะของปัญหา ฉันคิดว่าความคิดเกี่ยวกับการให้ข้อมูลน้อยที่สุดมักจะเป็นจริงมากขึ้นโดยใช้ MAXENT และกลุ่มการแปลงเพื่อตัดสินใจเกี่ยวกับการกระจายก่อนหน้านี้ที่บ่งบอกถึงจำนวนข้อมูลขั้นต่ำที่สอดคล้องกับข้อ จำกัด ที่ทราบ (เช่นก่อนหน้านี้ สำหรับปัญหามากมายนักบวชที่ไม่เหมาะสมทำงานได้ดีดังนั้นจึงไม่จำเป็นต้องมีขั้นต่ำและสูงสุดที่กำหนดไว้อย่างดี
Dikran Marsupial

2

นักบวชที่ไม่มีข้อมูลมีรูปแบบที่แตกต่างกัน แบบฟอร์มเหล่านี้รวมถึงนักบวชที่คลุมเครือและนักบวชที่ไม่เหมาะสม ดังนั้นความคลุมเครือก่อนหน้าจึงเป็นส่วนหนึ่งของนักบวชที่ไม่ให้ข้อมูล

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.