สถิติแบบเบย์จัดการกับการไม่มีตัวตนอย่างไร

คำถามนี้ได้รับแรงบันดาลใจจากการโต้ตอบสองครั้งล่าสุดที่ฉันมีหนึ่งที่นี่ในประวัติย่อส่วนอีกเรื่องที่economics.se

ที่นั่นผมได้โพสต์คำตอบไปที่รู้จักกันดี "ซองจดหมาย Paradox" (ใจคุณไม่เป็น"คำตอบที่ถูกต้อง" แต่เป็นคำตอบที่ไหลออกมาจากสมมติฐานที่เฉพาะเจาะจงเกี่ยวกับโครงสร้างของสถานการณ์) หลังจากนั้นสักครู่ผู้ใช้โพสต์ความคิดเห็นที่สำคัญและฉันมีส่วนร่วมในการสนทนาพยายามที่จะเข้าใจประเด็นของเขา มันก็เห็นได้ชัดว่าเขาคิดวิธีคชกรรมและเก็บไว้พูดคุยเกี่ยวกับไพรเออร์และอื่นแล้วมัน dawned กับฉันและผมพูดกับตัวเอง: "รอนาทีที่บอกอะไรเกี่ยวกับเรื่องใดก่อน?ในทางที่ผมได้สูตร ปัญหาไม่มีนักบวชอยู่ที่นี่พวกเขาแค่ไม่ป้อนรูปภาพและไม่จำเป็นต้อง "

เมื่อเร็ว ๆ นี้ฉันเห็นคำตอบนี้ในประวัติย่อเกี่ยวกับความหมายของความเป็นอิสระทางสถิติ ฉันให้ความเห็นกับผู้เขียนว่าประโยคของเขา

"... ถ้าเหตุการณ์มีความเป็นอิสระทางสถิติแล้ว (โดยคำจำกัดความ) เราไม่สามารถเรียนรู้เกี่ยวกับสิ่งหนึ่งจากการสังเกตอื่น ๆ "

ผิดอย่างโจ๋งครึ่ม ในการแลกเปลี่ยนความคิดเห็นเขายังคงกลับไปที่ปัญหาของ (คำพูดของเขา)

"การเรียนรู้" จะไม่หมายถึงการเปลี่ยนความเชื่อของเราเกี่ยวกับสิ่งที่อยู่บนพื้นฐานของการสังเกตของผู้อื่นหรือไม่ถ้าเป็นเช่นนั้นไม่เป็นอิสระ (นิยาม) แยกแยะเรื่องนี้?

อีกครั้งเห็นได้ชัดว่าเขาคิดแบบเบย์และเขาคิดว่าตนเองชัดเจนว่าเราเริ่มต้นด้วยความเชื่อบางอย่าง (เช่นก่อนหน้า)แล้วปัญหาคือวิธีที่เราสามารถเปลี่ยน / อัปเดตพวกเขา แต่ความเชื่อครั้งแรกเกิดขึ้นได้อย่างไร?

เนื่องจากวิทยาศาสตร์จะต้องสอดคล้องกับความเป็นจริงฉันทราบว่าสถานการณ์มีอยู่ว่ามนุษย์มีส่วนเกี่ยวข้องไม่มีนักบวช (ฉันมีสิ่งหนึ่งที่เดินเข้าสู่สถานการณ์โดยไม่เคยมีมาก่อน - และโปรดอย่าเถียงว่าฉันมีนักบวช แต่ฉัน เพียงแค่ไม่ได้ตระหนักถึงมันขอให้ตัวเองจิตปลอมที่นี่)

เนื่องจากฉันเคยได้ยินคำว่า "นักบวชที่ไม่รู้เรื่อง" ฉันจึงแบ่งคำถามของฉันออกเป็นสองส่วนและฉันค่อนข้างมั่นใจว่าผู้ใช้ที่นี่ที่เข้าใจในทฤษฎี Bayesian รู้ว่าฉันกำลังจะถามอะไร:

คำถามที่ 1: การไม่มีตัวตนที่เทียบเท่าก่อนหน้านี้ (ในแง่ทฤษฎีที่เข้มงวด) หรือไม่ที่จะไม่มาก่อน

หากคำตอบของคำถามไตรมาสที่ 1 คือ "ใช่" (โปรดอธิบายรายละเอียดเพิ่มเติมด้วย) นั่นก็หมายความว่าวิธีการแบบเบย์นั้นสามารถใช้ได้ในระดับสากลและตั้งแต่เริ่มต้นเนื่องจากในกรณีใดก็ตามที่มนุษย์มีส่วนเกี่ยวข้องประกาศว่า "ฉันไม่มีบาทหลวง" มันเป็นสถานที่ก่อนที่จะไม่เป็นประโยชน์สำหรับกรณีที่อยู่ในมือ

แต่ถ้าคำตอบของ Q1 คือ "ไม่" ดังนั้นQ2มาพร้อม:

Q2: หากคำตอบของไตรมาสที่ 1 คือ "ไม่" นี่หมายความว่าในกรณีที่ไม่มีนักบวชแนวทางเบย์นั้นไม่สามารถใช้ได้ตั้งแต่เริ่มต้นและเราต้องสร้างรูปแบบก่อนโดยวิธีที่ไม่ใช่แบบเบย์บางส่วน เพื่อที่เราจะสามารถนำวิธีการแบบเบย์มาใช้ในภายหลังได้

คำถามที่ 1: การไม่มีตัวตนที่เทียบเท่าก่อนหน้านี้ (ในแง่ทฤษฎีที่เข้มงวด) หรือไม่ที่จะไม่มาก่อน

เลขที่

อย่างแรกไม่มีคำนิยามทางคณิตศาสตร์สำหรับ "uninformative ก่อน" คำนี้ใช้เพื่ออธิบายถึงนักบวชบางคนเท่านั้น

ตัวอย่างเช่นก่อนหน้าของเจฟฟรีย์มักจะเรียกว่า "uninformative" ก่อนหน้านี้ generalizes เครื่องแบบก่อนสำหรับปัญหาการแปลคงที่ ก่อนหน้านี้ของเจฟฟรีย์ปรับให้เข้ากับ (ข้อมูลทฤษฎี) Riemannian เรขาคณิตของรูปแบบและเป็นอิสระจาก parametrization เพียงขึ้นอยู่กับเรขาคณิตของท่อร่วม (ในพื้นที่ของการกระจาย) นั่นคือรูปแบบ มันอาจถูกมองว่าเป็นบัญญัติ แต่เป็นเพียงทางเลือก มันเป็นแค่เครื่องแบบก่อนตามโครงสร้าง Riemannian มันไม่ไร้สาระที่จะนิยาม "uninformative = uniform" เป็นคำถามที่ทำให้เข้าใจง่าย สิ่งนี้ใช้ได้กับหลาย ๆ กรณีและช่วยถามคำถามที่ชัดเจนและเรียบง่าย

การอนุมานแบบเบย์โดยไม่ต้องมีมาก่อนก็เหมือนกับ "ฉันจะเดาได้อย่างไร $E(X)$$X$$X$$[0;1]$ ?" คำถามนี้เห็นได้ชัดว่าไม่มีเหตุผล หากคุณตอบ 0.5 คุณอาจนึกถึงการแจกแจง

วิธีการแบบเบย์และแบบประจำก็ตอบคำถามที่แตกต่างกัน ตัวอย่างเช่นเกี่ยวกับตัวประมาณค่าซึ่งอาจจะง่ายที่สุด:

• $\theta$$x$$\theta$ )" สิ่งนี้นำไปสู่การประมาณค่า minimax

• $\theta$$\theta$

ยังไงก็ตามนักบ่อยครั้งมีจุดมุ่งหมายที่การควบคุมกรณีที่เลวร้ายที่สุดและไม่จำเป็นต้องมีก่อน Bayesian ตั้งเป้าหมายไว้ที่การควบคุมโดยเฉลี่ยและต้องการคำพูดก่อนหน้านี้

Q2: หากคำตอบของไตรมาสที่ 1 คือ "ไม่" นี่หมายความว่าในกรณีที่ไม่มีนักบวชแนวทางเบย์นั้นไม่สามารถใช้ได้ตั้งแต่เริ่มต้นและเราต้องสร้างรูปแบบก่อนโดยวิธีที่ไม่ใช่แบบเบย์บางส่วน เพื่อที่เราจะสามารถนำวิธีการแบบเบย์มาใช้ในภายหลังได้

ใช่.

แต่ระวังการก่อสร้างก่อนหน้านี้ซึ่งเป็นที่ยอมรับ มันอาจฟังดูดึงดูดใจทางคณิตศาสตร์ แต่ไม่สมจริงโดยอัตโนมัติจากมุมมองแบบเบย์ เป็นไปได้ว่าก่อนหน้านี้ที่ดีทางคณิตศาสตร์สอดคล้องกับระบบความเชื่อใบ้ ตัวอย่างเช่นถ้าคุณศึกษา$X\sim N(\mu,1)$$\mu$นั้นเหมือนกันและหากขนาดเฉลี่ยของผู้คนนี่อาจเป็นระบบที่ไม่สมจริงมาก อย่างไรก็ตามด้วยการสังเกตเพียงไม่กี่ปัญหาจะหายไปอย่างรวดเร็ว ตัวเลือกไม่สำคัญมาก

ปัญหาที่แท้จริงกับข้อกำหนดก่อนเกิดขึ้นในปัญหาที่ซับซ้อนมากขึ้นในความคิดของฉัน สิ่งสำคัญที่นี่คือการเข้าใจสิ่งที่ก่อนหน้านี้พูดว่า

ก่อนอื่นวิธีการแบบเบย์มักจะใช้เพราะคุณต้องการรวมความรู้ก่อนหน้าในแบบจำลองของคุณเพื่อเพิ่มคุณค่า หากคุณไม่เคยมีความรู้มาก่อนคุณควรยึดถือข้อมูลที่เรียกว่า "uninformative" หรือนักบวชที่ให้ข้อมูลทุกสัปดาห์ โปรดสังเกตว่าชุดก่อนไม่ใช่ "uninformative" ตามคำนิยามเนื่องจากข้อสันนิษฐานเกี่ยวกับความสม่ำเสมอคือสมมติฐาน นอกจากนี้ไม่มีสิ่งเช่น uninformative อย่างแท้จริงก่อน. มีหลายกรณีที่ "มันอาจจะเป็นอะไรก็ได้" เป็นเหตุผล "uninformative" ก่อนสันนิษฐาน แต่ก็มีบางกรณีที่ระบุว่า "คุณค่าทั้งหมดมีความเป็นไปได้เท่าเทียมกัน" เป็นสมมติฐานที่แข็งแกร่งและไม่มีเหตุผล ตัวอย่างเช่นถ้าคุณสมมติว่าความสูงของฉันสามารถอยู่ระหว่าง 0 เซนติเมตรถึง 3 เมตรโดยค่าทั้งหมดน่าจะเป็นนิรนัยที่เท่ากันนี่จะไม่ใช่ข้อสันนิษฐานที่สมเหตุสมผลและมันจะให้น้ำหนักมากเกินไปกับค่าที่มากเกินไป ดังนั้นมันอาจจะบิดเบือนหลังของคุณ

ในทางตรงกันข้าม Bayesian จะโต้แย้งว่าไม่มีสถานการณ์ใด ๆ ที่คุณไม่มีความรู้หรือความเชื่อมาก่อน คุณสามารถสันนิษฐานได้ว่ามีอะไรบางอย่างและในฐานะมนุษย์คุณกำลังทำอยู่ตลอดเวลา (นักจิตวิทยาและนักเศรษฐศาสตร์พฤติกรรมได้ทำการวิจัยมากมายในหัวข้อนี้) เอะอะเบส์ทั้งหมดที่มีไพรเออร์เป็นเรื่องเกี่ยวกับปริมาณอคติเหล่านั้นและพวกเขาระบุอย่างชัดเจนในรูปแบบของคุณตั้งแต่การอนุมานแบบเบย์เป็นเรื่องเกี่ยวกับการปรับปรุงความเชื่อของคุณ

มันง่ายที่จะเกิดขึ้นกับข้อโต้แย้ง "ไม่มีสมมติฐานก่อน" หรือนักบวชเหมือนกันสำหรับปัญหาที่เป็นนามธรรม แต่สำหรับปัญหาชีวิตจริงที่คุณมีความรู้ก่อนหน้านี้ หากคุณจำเป็นต้องทำการเดิมพันเกี่ยวกับจำนวนเงินในซองจดหมายคุณจะรู้ว่าจำนวนเงินนั้นต้องไม่เป็นลบและ จำกัด คุณสามารถคาดเดาการศึกษาเกี่ยวกับขอบเขตบนของจำนวนเงินที่เป็นไปได้ที่ได้รับความรู้ของคุณเกี่ยวกับกฎของการแข่งขันเงินทุนสำหรับศัตรูของคุณความรู้เกี่ยวกับขนาดร่างกายของซองจดหมายและจำนวนเงินที่เหมาะสมกับร่างกาย ในนั้น ฯลฯ คุณสามารถคาดเดาบางอย่างเกี่ยวกับจำนวนเงินที่ศัตรูของคุณอาจเต็มใจที่จะใส่ในซองจดหมายและอาจหลวม มีหลายสิ่งที่คุณจะรู้ว่าเป็นฐานสำหรับคุณก่อน

คำถามที่ 1 ฉันคิดว่าคำตอบน่าจะไม่ใช่ เหตุผลของฉันคือเราไม่มีคำจำกัดความสำหรับ "uninformative" ยกเว้นการวัดว่าคำตอบสุดท้ายนั้นมาจากรูปแบบ / โอกาสในการให้ข้อมูลโดยพลการหรือไม่ นักบวชที่ไม่รู้เรื่องจำนวนมากได้รับการตรวจสอบกับตัวอย่างที่ "ใช้งานง่าย" ซึ่งเรามี "รูปแบบ / โอกาส" และ "คำตอบ" ในใจอยู่แล้ว จากนั้นเราถามคนที่ไม่รู้ก่อนที่จะให้คำตอบที่เราต้องการ

ปัญหาของฉันคือฉันต้องดิ้นรนกับการเชื่อว่าใครบางคนสามารถมีโมเดลหรือโครงสร้างแบบจำลองที่ดีมีข้อมูลที่ดีสำหรับประชากรของพวกเขาและมี "ไม่มีข้อมูล" เกี่ยวกับค่าพารามิเตอร์ที่น่าจะเป็นไปได้ ตัวอย่างเช่นการใช้การถดถอยโลจิสติกดูที่ "การกระจายความรู้เบื้องต้นที่อ่อนแออย่างผิดปกติสำหรับโลจิสติกและโหมดการถดถอยอื่น ๆ "

ฉันคิดว่าชุดที่ไม่ต่อเนื่องก่อนหน้าเป็นชุดเดียวที่เราสามารถพูดได้ว่าเป็น "ชุดแรก" ก่อน แต่คุณพบปัญหาในการใช้งานโดยคิดว่าคุณมี "ไม่มีข้อมูล" แต่ทันใดนั้นก็มีปฏิกิริยากับคำตอบที่ "ไม่ได้ใช้งาน" (คำใบ้: หากคุณไม่ชอบคำตอบแบบเบย์คุณอาจทิ้งข้อมูลไว้ก่อนหน้าหรือ โอกาส!) ปัญหาที่คุณพบอีกอย่างหนึ่งก็คือการแยกวิเคราะห์ปัญหาของคุณให้ถูกต้อง และแม้แต่การคิดในเรื่องนี้คุณต้องรู้จำนวนของค่าที่ไม่ต่อเนื่องเพื่อที่จะใช้เครื่องแบบไม่ต่อเนื่องมาก่อน

คุณสมบัติอื่นที่ควรพิจารณาสำหรับคุณก่อนหน้านี้คือ "พฤติกรรมแบบหาง" ซึ่งสัมพันธ์กับความเป็นไปได้ที่คุณใช้

ในคำถาม 2

แนวคิดฉันไม่เห็นอะไรผิดปกติกับการระบุการกระจายโดยไม่ต้องใช้ก่อนหรือโอกาส คุณสามารถเริ่มต้นปัญหาได้โดยพูดว่า "pdf ของฉันคือ ... และฉันต้องการคำนวณ ... wrt pdf นี้" จากนั้นคุณกำลังสร้างข้อ จำกัด สำหรับการคาดการณ์ล่วงหน้าและโอกาสก่อนหน้านี้ วิธีการแบบเบย์นั้นใช้สำหรับเมื่อคุณมีโอกาสก่อนหน้าและโอกาสและคุณต้องการที่จะรวมมันเข้ากับการกระจายหลัง

อาจเป็นเรื่องของความชัดเจนในความน่าจะเป็นของคุณ จากนั้นอาร์กิวเมนต์เปลี่ยนเป็น "pdf / pmf นี้แสดงถึงสิ่งที่ฉันพูดถึงมันหรือไม่" - ซึ่งเป็นพื้นที่ที่คุณต้องการให้ฉันคิด จากตัวอย่างของคุณคุณกำลังบอกว่าการกระจายครั้งเดียวสะท้อนให้เห็นถึงข้อมูลที่มีทั้งหมด - ไม่มี "ก่อน" เพราะมีอยู่แล้ว (โดยปริยาย) ในการกระจายที่คุณใช้

คุณยังสามารถใช้เบย์ในสิ่งที่ตรงกันข้าม - "ก่อน", "ความน่าจะเป็น" และ "ข้อมูล" ให้ฉันจริงก่อนที่ฉันจะพิจารณา? นี่เป็นวิธีหนึ่งที่คุณจะเห็นว่า$U (0,1)$ ก่อนสำหรับ $Bin(n,p)$ ความน่าจะเป็น "ดู" ดูเหมือนว่าจะสอดคล้องกับ "หลัง" สำหรับ $Beta (0,0)$ "ก่อนหน้า" ด้วย $2$ ข้อสังเกต - $1$ จากแต่ละหมวดหมู่

ในความคิดเห็นที่ผิดที่เรียกว่าโจ๋งครึ่ม

ตามจริงแล้วฉันสนใจที่จะเห็นว่าการสังเกตการณ์แบบใดที่สามารถนำมาใช้ในการทำนายการสังเกตแบบ "อิสระทางสถิติ" ได้ ตัวอย่างเช่นถ้าฉันบอกคุณฉันจะสร้างตัวแปรปกติมาตรฐาน 100 ตัว ฉันให้ 99 กับคุณและให้คุณทำนายผลที่ดีที่สุดให้ฉันเป็นอันดับที่ 100 ฉันบอกว่าคุณไม่สามารถทำนายได้ดีกว่าในวันที่ 100 กว่า 0 แต่นี่ก็เหมือนกับที่คุณคาดการณ์ไว้สำหรับวันที่ 100 ถ้าฉันไม่ได้ให้ข้อมูลกับคุณ ดังนั้นคุณไม่ได้เรียนรู้อะไรเลยจากจุดข้อมูล 99 จุด

อย่างไรก็ตามถ้าฉันบอกคุณว่ามันเป็น "การแจกแจงแบบปกติ" คุณสามารถใช้จุดข้อมูล 99 จุดเพื่อประมาณค่าพารามิเตอร์ได้ จากนั้นข้อมูลจะไม่ "อิสระทางสถิติ" อีกต่อไปเพราะเราเรียนรู้เพิ่มเติมเกี่ยวกับโครงสร้างทั่วไปเมื่อเราสังเกตข้อมูลเพิ่มเติม การทำนายที่ดีที่สุดของคุณใช้จุดข้อมูลทั้งหมด 99 จุด

นี่เป็นเพียงคำพูดสั้น ๆ เท่านั้นนอกเหนือจากคำตอบที่ยอดเยี่ยมอื่น ๆ บ่อยครั้งหรืออย่างน้อยบางครั้งก็เป็นตามอำเภอใจ (หรือธรรมดา) สิ่งที่เป็นส่วนหนึ่งของข้อมูลที่เข้าสู่การวิเคราะห์ทางสถิติที่เรียกว่าข้อมูลและซึ่งเป็นส่วนหนึ่งที่เรียกว่าก่อนที่ หรืออื่น ๆ โดยทั่วไปเราสามารถพูดได้ว่าข้อมูลในการวิเคราะห์ทางสถิติมาจากสามแหล่งคือรูปแบบที่ข้อมูลและก่อนที่ ในบางกรณีเช่นตัวแบบเชิงเส้นหรือแบบ glm การแยกนั้นค่อนข้างชัดเจน

ฉันจะใช้ตัวอย่างจากการประมาณความน่าจะเป็นสูงสุด (MLE) ในแง่คนธรรมดา เพื่อแสดงจุดของฉัน สมมติว่าผู้ป่วยเข้าสู่สำนักงานแพทย์โดยมีปัญหาทางการแพทย์บางอย่างที่วินิจฉัยได้ยาก แพทย์คนนี้ไม่เคยเห็นอะไรที่คล้ายกันมาก่อน จากนั้นพูดคุยกับผู้ป่วยว่ามันมีข้อมูลใหม่บางอย่าง: ผู้ป่วยรายนี้ไปเยือนแอฟริกาเขตร้อนเมื่อไม่นานมานี้ จากนั้นดูเหมือนว่าแพทย์อาจเป็นมาลาเรียหรือโรคเขตร้อนอื่น ๆ แต่โปรดทราบว่าข้อมูลนี้ชัดเจนสำหรับเราข้อมูลแต่อย่างน้อยในแบบจำลองทางสถิติหลายอย่างที่สามารถใช้ได้มันจะเข้าสู่การวิเคราะห์ในรูปแบบของการแจกแจงก่อนหน้าการกระจายก่อนหน้านี้ให้โอกาสในการเกิดโรคเขตร้อนสูงขึ้น แต่เราสามารถสร้างโมเดลที่สมบูรณ์มากขึ้นซึ่งข้อมูลนี้เข้าเป็นข้อมูล อย่างน้อยก็ในบางส่วนความแตกต่างข้อมูล / ก่อนหน้านั้นเป็นแบบดั้งเดิม

เราคุ้นเคยและยอมรับอนุสัญญานี้เนื่องจากเราให้ความสำคัญกับบางรุ่นของโมเดลทั่วไป แต่ในโครงการขนาดใหญ่ของสิ่งต่าง ๆ นอกโลกของแบบจำลองทางสถิติสุกใสสถานการณ์ไม่ชัดเจน