ทำไมเราควรใช้ข้อผิดพลาด t แทนข้อผิดพลาดปกติ?

ในบล็อกโพสต์นี้โดย Andrew Gelman มีข้อความต่อไปนี้:

แบบจำลองของ Bayesian เมื่อ 50 ปีที่แล้วดูเรียบง่ายอย่างสิ้นหวัง (ยกเว้นแน่นอนสำหรับปัญหาง่าย ๆ ) และฉันคาดหวังว่าแบบจำลองของ Bayesian ในวันนี้จะดูเรียบง่ายอย่างสิ้นหวัง 50 ปี (สำหรับตัวอย่างง่ายๆ: เราควรใช้ t แทนข้อผิดพลาดทั่วไปทุกที่ทุกเวลา แต่เรายังไม่ทำเช่นนี้เพราะความคุ้นเคยนิสัยและความสะดวกสบายทางคณิตศาสตร์สิ่งเหล่านี้อาจเป็นเหตุผลที่ดี ในการเมืองอนุรักษ์นิยมมีข้อโต้แย้งที่ดีหลายประการ - แต่ฉันคิดว่าท้ายที่สุดเมื่อเราคุ้นเคยกับแบบจำลองที่ซับซ้อนกว่านี้เราจะไปในทิศทางนั้น)

ทำไมเราควร "ใช้ t เป็นประจำแทนที่จะเป็นข้อผิดพลาดทั่วไปทุกที่"

เพราะการสมมติว่าข้อผิดพลาดปกตินั้นมีประสิทธิภาพเหมือนกับสมมติว่าข้อผิดพลาดขนาดใหญ่ไม่ได้เกิดขึ้น! การแจกแจงแบบปกติมีหางที่เบาความคลาดเคลื่อนนอกส่วนเบี่ยงเบนมาตรฐานมีโอกาสน้อยมากข้อผิดพลาดนอกส่วนเบี่ยงเบนมาตรฐานนั้นเป็นไปไม่ได้ ในทางปฏิบัติสมมติฐานนั้นไม่ค่อยเป็นจริง เมื่อทำการวิเคราะห์ชุดข้อมูลขนาดเล็กที่เป็นระเบียบจากการทดลองที่ออกแบบมาอย่างดีสิ่งนี้อาจไม่สำคัญหากเราทำการวิเคราะห์สารตกค้างที่ดี ด้วยข้อมูลที่มีคุณภาพน้อยลงมันอาจมีความสำคัญมากกว่านั้น$\pm 3$$\pm 6$

เมื่อใช้วิธีการที่น่าจะเป็นไปตามวิธี (หรือแบบเบย์) ผลของภาวะปกตินี้ (ดังที่ได้กล่าวไว้ข้างต้นอย่างมีประสิทธิภาพนี่คือ "ไม่มีข้อผิดพลาดใหญ่" - ข้อสันนิษฐาน!) คือการอนุมานที่แข็งแกร่งน้อยมาก ผลของการวิเคราะห์นั้นได้รับอิทธิพลอย่างมากจากความผิดพลาดครั้งใหญ่! สิ่งนี้จะต้องเป็นเช่นนั้นเนื่องจากการสันนิษฐานว่า "ไม่มีข้อผิดพลาดขนาดใหญ่" บังคับให้วิธีการของเราในการตีความข้อผิดพลาดขนาดใหญ่เป็นข้อผิดพลาดเล็กน้อยและสามารถเกิดขึ้นได้โดยการย้ายพารามิเตอร์ค่าเฉลี่ยเพื่อทำให้ข้อผิดพลาดทั้งหมดเล็กลง วิธีหนึ่งในการหลีกเลี่ยงสิ่งนั่นคือการใช้สิ่งที่เรียกว่า "วิธีการที่มีประสิทธิภาพ" ดูที่ http://web.archive.org/web/20160611192739/http://www.stats.ox.ac.uk/pub/StatMeth/Robust .pdf

แต่แอนดรูเจลแมนจะไม่ทำสิ่งนี้เนื่องจากวิธีการที่แข็งแกร่งมักจะถูกนำเสนอในลักษณะที่ไม่ใช้เบย์สูง การใช้ข้อผิดพลาดเสื้อกระจายในรูปแบบความน่าจะเป็น / คชกรรมเป็นวิธีที่แตกต่างกันเพื่อให้ได้วิธีการที่มีประสิทธิภาพในขณะที่ -distribution มีหางหนักกว่าปกติดังนั้นเพื่อช่วยให้สัดส่วนขนาดใหญ่ของข้อผิดพลาดที่มีขนาดใหญ่ จำนวนองศาของพารามิเตอร์เสรีภาพที่ควรได้รับการแก้ไขล่วงหน้าไม่ได้ประเมินจากข้อมูลตั้งแต่การประมาณค่าดังกล่าวจะทำลายคุณสมบัติความทนทานของวิธีการ (*) (มันยังเป็นปัญหาที่ยากมากฟังก์ชั่นความน่าจะเป็นสำหรับที่ จำนวนองศาอิสระสามารถถูก จำกัด ได้ซึ่งนำไปสู่เครื่องมือประมาณค่าที่ไม่มีประสิทธิภาพ (ไม่สอดคล้องกัน)$t$$\nu$

ตัวอย่างเช่นหากคุณคิดว่า (กลัว) ที่มากถึง 1 ในสิบข้อสังเกตอาจเป็น "ข้อผิดพลาดใหญ่" (สูงกว่า 3 sd) จากนั้นคุณสามารถใช้ -distribution กับ 2 องศาอิสระเพิ่มจำนวนนั้นถ้า สัดส่วนของความผิดพลาดใหญ่เชื่อว่ามีขนาดเล็กลง$t$

ฉันควรทราบว่าสิ่งที่ฉันได้กล่าวไว้ข้างต้นสำหรับรุ่นที่มีอิสระ -distributed ข้อผิดพลาด นอกจากนี้ยังมีข้อเสนอของหลายตัวแปร -distribution (ซึ่งไม่เป็นอิสระ) เป็นการกระจายข้อผิดพลาด propsal ที่ถูกวิพากษ์วิจารณ์อย่างหนักในกระดาษ "เสื้อผ้าใหม่จักรพรรดิ: วิจารณ์ของหลายตัวแปรแบบการถดถอย" โดย TS Breusch, JC โรเบิร์ตและ AH เวลส์ใน Statistica Neerlandica (1997) ฉบับ 51, nr 3, PP. 269-286 ที่พวกเขาแสดงให้เห็นว่าหลายตัวแปรกระจายความผิดพลาดคือสังเกตุความแตกต่างจากปกติ แต่การวิจารณ์ที่ไม่ได้ส่งผลกระทบต่อความเป็นอิสระรุ่น $t$$t$$t$$t$$t$

(*) ข้อมูลอ้างอิงหนึ่งฉบับระบุว่านี่คือ MASS ของ Venables & Ripley --- สถิติประยุกต์สมัยใหม่พร้อม S (หน้า 110 ในรุ่นที่ 4)

มันไม่ได้เป็นเพียงเรื่องของ "หางที่หนักกว่า" - มีการกระจายมากมายที่มีรูปร่างเป็นระฆังและมีหางที่หนัก

การแจกแจงแบบ T เป็นแบบทำนายล่วงหน้าของโมเดลเกาส์เซียน หากคุณตั้งสมมติฐานเกาส์เซียน แต่มีหลักฐานที่ จำกัด ดังนั้นรูปแบบที่เกิดขึ้นนั้นจำเป็นต้องทำการพยากรณ์แบบกระจายที ในขีด จำกัด เนื่องจากจำนวนหลักฐานที่คุณมีต่ออินฟินิตี้คุณจะจบลงด้วยการทำนายแบบเกาส์เนื่องจากขีด จำกัด ของการแจกแจงแบบ t คือเกาส์เซียน

ทำไมสิ่งนี้ถึงเกิดขึ้น เนื่องจากมีหลักฐานจำนวน จำกัด จึงมีความไม่แน่นอนในพารามิเตอร์ของแบบจำลองของคุณ ในกรณีของแบบจำลองเกาส์เซียนความไม่แน่นอนในค่าเฉลี่ยจะเพิ่มความแปรปรวนเพียงอย่างเดียว (กล่าวคือการทำนายแบบหลังของแบบเกาส์ที่มีความแปรปรวนที่รู้จักกันยังคงเป็นแบบเกาส์) แต่ความไม่แน่นอนเกี่ยวกับความแปรปรวนเป็นสิ่งที่ทำให้เกิดหางที่หนัก หากแบบจำลองได้รับการฝึกอบรมโดยมีหลักฐานไม่ จำกัด จะไม่มีความไม่แน่นอนในความแปรปรวน (หรือค่าเฉลี่ย) อีกต่อไปและคุณสามารถใช้แบบจำลองของคุณเพื่อทำนายแบบเกาส์ได้

อาร์กิวเมนต์นี้ใช้กับโมเดล Gaussian นอกจากนี้ยังใช้กับพารามิเตอร์ที่อนุมานได้ว่ามีความเป็นไปได้ของ Gaussian รับข้อมูล จำกัด ความไม่แน่นอนเกี่ยวกับพารามิเตอร์คือ t- กระจาย เมื่อใดก็ตามที่มีสมมติฐานปกติ (ด้วยค่าเฉลี่ยและความแปรปรวนที่ไม่รู้จัก) และข้อมูล จำกัด จะมีการทำนายหลัง t- กระจาย

มีการแจกแจงการทำนายหลังที่คล้ายกันสำหรับโมเดลเบย์ทั้งหมด Gelman แนะนำว่าเราควรใช้สิ่งเหล่านั้น ความกังวลของเขาจะบรรเทาลงด้วยหลักฐานที่เพียงพอ