ควรหยุดการปรับแต่งโมเดลเมื่อใด

ฉันเรียนสถิติจากหนังสือหลายเล่มในช่วง 3 ปีที่ผ่านมาและขอบคุณเว็บไซต์นี้ที่ฉันได้เรียนรู้มากมาย อย่างไรก็ตามคำถามพื้นฐานหนึ่งข้อยังคงไม่ได้รับคำตอบสำหรับฉัน อาจมีคำตอบที่ง่ายหรือยากมาก แต่ฉันรู้ว่าต้องใช้ความเข้าใจอย่างลึกซึ้งเกี่ยวกับสถิติ

เมื่อปรับแบบจำลองให้สอดคล้องกับข้อมูลไม่ว่าจะเป็นวิธีการแบบประจำหรือแบบเบย์เราขอเสนอแบบจำลองซึ่งอาจประกอบด้วยรูปแบบการทำงานสำหรับความน่าจะเป็นรูปแบบก่อนหน้าหรือเคอร์เนล (ไม่ใช่พารามิเตอร์) เป็นต้นปัญหาคือโมเดลใด ๆ เหมาะกับตัวอย่างที่มีระดับดี เราสามารถค้นหาแบบจำลองที่ดีกว่าหรือแย่กว่าเสมอเมื่อเทียบกับสิ่งที่อยู่ในมือ ในบางจุดที่เราหยุดและเริ่มต้นการสรุปสรุปพารามิเตอร์ของประชากรรายงานช่วงความเชื่อมั่นคำนวณความเสี่ยง ฯลฯ ดังนั้นไม่ว่าข้อสรุปใดที่เราวาดจะมีเงื่อนไขตามแบบจำลองที่เราตัดสินใจเลือกเสมอ แม้ว่าเราจะใช้เครื่องมือในการประมาณระยะทาง KL ที่คาดหวังเช่น AIC, MDL เป็นต้น แต่ก็ไม่ได้พูดอะไรเกี่ยวกับตำแหน่งที่เรายืนอยู่บนพื้นฐานแบบสัมบูรณ์ แต่เพียงปรับปรุงการประมาณค่าแบบสัมพันธ์

ตอนนี้สมมติว่าเราต้องการกำหนดขั้นตอนตามขั้นตอนเพื่อนำไปใช้กับชุดข้อมูลใด ๆ เมื่อสร้างแบบจำลอง เราควรระบุอะไรเป็นกฏการหยุด? อย่างน้อยเราสามารถผูกข้อผิดพลาดของแบบจำลองซึ่งจะทำให้เรามีจุดหยุดตามวัตถุประสงค์ (ซึ่งแตกต่างจากการหยุดการฝึกอบรมโดยใช้ตัวอย่างการตรวจสอบความถูกต้องเนื่องจากมันให้จุดหยุดภายในคลาสโมเดลที่ประเมินมากกว่า wrt DGP จริง)

modeling inference aic

— Cagdas Ozgenc
แหล่งที่มา

ฉันคิดว่าคุณควรเพิ่มแท็กอื่น ๆ ให้กับคำถามแทนที่จะเป็นข้อสรุปเช่นแท็กการสร้างแบบจำลองและการเลือกแบบจำลอง ผมคิดว่าอาจจะเกี่ยวข้องกับเรื่องนี้ก็เป็นสาธารณรัฐโคลัมเบีย นี่คือกระดาษที่กล่าวถึงมัน wrt แบบจำลอง Bayesian

— Gumeo

บางครั้งคุณสร้างแบบจำลองเฉพาะเพราะมันเหมาะอย่างยิ่งสำหรับการประมาณค่าพารามิเตอร์บางอย่างไม่ใช่เพราะคุณคิดว่าการกระจายตัวโดยรวมนั้นถูกต้อง (ดูการประมาณค่า M, การประมาณสมการทั่วไป) และอื่น ๆ ดังนั้นถ้าคุณสนใจตำแหน่งที่เหมาะสมจริงๆ คุณอาจจะดีกว่ารุ่นที่ไม่ถูกต้อง แต่รุ่นที่ไม่ถูกรบกวนด้วยเสียงรบกวน (สำหรับพารามิเตอร์ที่คุณสนใจ) โดยทั่วไปดูการประมาณที่แข็งแกร่ง

คำถามที่น่าสนใจมาก เพียงความคิดเห็นที่อย่างน้อยก็ในการตั้งค่าแบบเบย์อย่างใดอย่างหนึ่งมากกว่ายังทำให้เกิดคำถามของการหาค่าเฉลี่ยของแบบจำลองย่อย ๆ ที่เป็นไปได้มากกว่าที่จะเลือกอย่างใดอย่างหนึ่ง ฉันไม่แน่ใจเกี่ยวกับวิธีการทางทฤษฎีของคำถามของ OP และฉันเดาว่ามันทำได้จริงหรือไม่โดยแบบจำลองที่เลือกมานั้นดีพอสำหรับปัญหาที่เราพยายามแก้ไข บางทีเราจำเป็นต้องเลือกแบบจำลองด้วยวิธี MCMC หรืออะไรทำนองนั้น! ฉันสามารถวาดภาพวิธีการ MCMC ซ้อนกันสำหรับการนี้ ...

— Luca

@Luca สิ่งนี้เสร็จสิ้นแล้ว อย่างไรก็ตามปัญหายังคงเป็นพื้นที่ของแบบจำลองที่กำหนดโดย Bayesian ก่อนอาจหรือไม่อาจมีรูปแบบที่แท้จริง แม้ว่าข้อผิดพลาดของแบบจำลองจะยังอยู่ที่นั่นนั่นเป็นข้อผิดพลาดของแบบจำลองโดยเฉลี่ยที่เกี่ยวกับ DGP จริง

— Cagdas Ozgenc

+1 สำหรับคำถาม ส่วนใหญ่อยู่ในความกังวลที่มีปรัชญาหรือ epistemiological คือไม่เพียง แต่ "ทำในสิ่งที่เรารู้และวิธีการทำเรารู้ว่ามัน" แต่ "สิ่งที่สามารถที่เรารู้และวิธีการที่สามารถที่เรารู้ว่ามันได้หรือไม่" ดังที่นักฟิสิกส์ริชาร์ดไฟน์แมนกล่าวว่า "มันเป็นไปไม่ได้ที่จะหาคำตอบที่สักวันหนึ่งจะไม่ถูกพบว่าผิด" กล่าวอีกนัยหนึ่งและหากคุณไม่นับถือศาสนาก็มีข้อสงสัยอย่างสมเหตุสมผลว่าความจริงบนพื้นดินที่ไม่มีเอกภาพและนิรันดร์มีอยู่ที่จะยึดสิ่งใดไว้ .

— Mike Hunter

คำตอบ:

แต่น่าเสียดายที่คำถามนี้ไม่ได้มีคำตอบที่ดี คุณสามารถเลือกรูปแบบที่ดีที่สุดตามความจริงที่ว่ามันลดข้อผิดพลาดสัมบูรณ์ข้อผิดพลาดยกกำลังสองเพิ่มโอกาสสูงสุดโดยใช้เกณฑ์บางอย่างที่ลงโทษโอกาส (เช่น AIC, BIC) เพื่อพูดถึงตัวเลือกที่พบบ่อยที่สุด ปัญหาคือว่าเกณฑ์เหล่านั้นจะไม่อนุญาตให้คุณเลือกแบบจำลองที่ดีที่สุดอย่างเป็นกลาง แต่จะเป็นการดีที่สุดที่คุณเปรียบเทียบ ปัญหาอีกประการหนึ่งคือในขณะที่การปรับให้เหมาะสมคุณสามารถสิ้นสุดในระดับสูงสุด / ต่ำสุดในท้องถิ่นได้เสมอ แต่ปัญหาก็คือว่าทางเลือกของเกณฑ์สำหรับการเลือกรูปแบบอัตนัย ในหลายกรณีคุณมีสติหรือกึ่งรู้ตัวตัดสินใจเกี่ยวกับสิ่งที่คุณสนใจและเลือกเกณฑ์จากสิ่งนี้ สำหรับตัวอย่างเช่นการใช้ BIC มากกว่า AIC จะนำไปสู่โมเดลที่น่าจดจำมากกว่าโดยมีพารามิเตอร์น้อยกว่า โดยปกติแล้วสำหรับการสร้างแบบจำลองคุณมีความสนใจในแบบจำลองทางจิตใจที่นำไปสู่ข้อสรุปทั่วไปเกี่ยวกับจักรวาลในขณะที่การทำนายมันไม่จำเป็นต้องเป็นเช่นนั้นและบางครั้งแบบจำลองที่ซับซ้อนอาจมีพลังการทำนายที่ดีกว่า มันไม่ใช่). ในกรณีอื่น ๆ บางครั้งแบบจำลองที่ซับซ้อนกว่านั้นเป็นที่ต้องการด้วยเหตุผลเชิงปฏิบัติเช่นในขณะที่การประเมินแบบจำลองแบบเบย์กับ MCMC แบบจำลองที่มีลำดับขั้นไฮเปอร์พาวเวอร์สามารถทำงานได้ดีกว่าแบบจำลองที่ง่ายกว่า ในทางกลับกันโดยทั่วไปเรากลัวการมีน้ำหนักเกินและรุ่นที่เรียบง่ายนั้นมีความเสี่ยงที่จะเกิดการโอเวอร์โหลดต่ำกว่าดังนั้นจึงเป็นทางเลือกที่ปลอดภัยกว่า ตัวอย่างที่ดีสำหรับสิ่งนี้คือการเลือกรูปแบบตามขั้นตอนอัตโนมัติที่ไม่แนะนำเนื่องจากมันนำไปสู่การประมาณค่าที่มากเกินไปและการประเมินแบบเอนเอียง นอกจากนี้ยังมีข้อโต้แย้งทางปรัชญามีดโกนของ Occamว่าแบบจำลองที่ง่ายที่สุดคือสิ่งที่ต้องการ ขอให้สังเกตว่าเรากำลังพูดถึงที่นี่เปรียบเทียบแบบจำลองที่แตกต่างกันในขณะที่ในสถานการณ์จริงมันสามารถใช้เครื่องมือทางสถิติที่แตกต่างกันสามารถนำไปสู่ผลลัพธ์ที่แตกต่างกัน - ดังนั้นจึงมีการเลือกวิธีเพิ่มเติม!

ทั้งหมดนี้นำไปสู่ความเศร้า แต่ความบันเทิงความจริงที่ว่าเราไม่สามารถมั่นใจได้ เราเริ่มต้นด้วยความไม่แน่นอนใช้วิธีการจัดการกับมันและเราจบลงด้วยความไม่แน่นอน สิ่งนี้อาจขัดแย้งกัน แต่จำไว้ว่าเราใช้สถิติเพราะเราเชื่อว่าโลกมีความไม่แน่นอนและน่าจะเป็น (ไม่อย่างนั้นเราจะเลือกอาชีพของผู้เผยพระวจนะ) ดังนั้นเราจะสรุปได้อย่างไร? ไม่มีกฎการหยุดตามวัตถุประสงค์มีหลายรูปแบบที่เป็นไปได้ทั้งหมดของพวกเขาผิด (ขออภัยสำหรับความคิดโบราณ!) เพราะพวกเขาพยายามที่จะลดความซับซ้อนของความเป็นจริงที่ซับซ้อน (เปลี่ยนแปลงตลอดเวลาและน่าจะเป็น) เราพบว่าบางคนมีประโยชน์มากกว่าคนอื่นเพื่อจุดประสงค์ของเราและบางครั้งเราก็ทำ $\theta$ $\mu$

คุณสามารถไปให้ลึกกว่านี้และพบว่าไม่มี "ความน่าจะเป็น" ในความเป็นจริง - มันเป็นเพียงการประมาณความไม่แน่นอนรอบ ๆ ตัวเราและยังมีวิธีอื่นในการประมาณเช่นตรรกะฟัซซี (ดู Kosko, 1993 เพื่อการอภิปราย) แม้แต่เครื่องมือพื้นฐานและทฤษฎีบทที่ว่าวิธีการของเรามีพื้นฐานมาจากการประมาณและไม่ใช่เพียงสิ่งเดียวที่เป็นไปได้ เราไม่สามารถมั่นใจได้ในการตั้งค่าดังกล่าว

กฎการหยุดที่คุณกำลังค้นหามักเป็นปัญหาและเป็นอัตนัยเสมอเช่นอิงตามการตัดสินอย่างมืออาชีพ โดยวิธีการที่มีจำนวนมากตัวอย่างงานวิจัยที่แสดงให้เห็นว่ามืออาชีพมักจะไม่ดีขึ้นและบางครั้งก็ยิ่งเลวร้ายลงในการตัดสินใจของพวกเขามากกว่า laypeople (เช่นฟื้นขึ้นมาในเอกสารและหนังสือโดยแดเนียล Kahneman ) ในขณะที่กำลังมีแนวโน้มที่จะเชื่อมั่น (นี้เป็นจริง การโต้แย้งว่าทำไมเราไม่ควรพยายาม "มั่นใจ" เกี่ยวกับแบบจำลองของเรา)

Kosko, B. (1993) Fuzzy thinking: วิทยาศาสตร์ใหม่ของตรรกศาสตร์คลุมเครือ นิวยอร์ก: ไฮเปอเรียน

— ทิม
แหล่งที่มา

μ

$\mu$

การอ้างสิทธิ์เป็นจริงเมื่อสมมติฐานของมันเป็นจริง (เช่นเราได้รับตัวอย่างที่แน่นอนซึ่งเป็นจริงในทางปฏิบัติ) นำออกมาจากบริบทและมีการละเมิดสมมติฐานก็สามารถทำให้เป็นเท็จ

— Richard Hardy

@CagdasOzgenc เป็นคนที่มีวิธีการในการสร้างแบบจำลองที่สะท้อนถึงความเป็นจริงได้อย่างสมบูรณ์แบบกว่าที่ไม่จำเป็นต้องหยุดกฎหรือวัดความผิดพลาดของแบบจำลอง - โมเดลนั้นสมบูรณ์แบบตามคำนิยาม ถ้าคุณรู้ว่ากฎสำหรับการสร้างแบบจำลองดังกล่าวไม่มีความจำเป็นที่จะวัดความแตกต่างของรูปแบบของคุณจาก DGP จริงตั้งแต่รู้ DGP จริงเพียงแค่ใช้ความรู้ดังกล่าว ในทางกลับกันหากโมเดลของคุณเป็นการทำให้เข้าใจง่ายขึ้นอยู่กับข้อมูลที่คุณมีอยู่แล้วกฎสถิติทั่วไปจะมีผลบังคับใช้

— ทิม

@CagdasOzgenc ยังถ้าคุณรู้ว่า "ความจริง" กว่ากฎการหยุดง่าย ๆ : หยุดเมื่อโมเดลของคุณตรงกับ "ความจริง" หากคุณไม่ทราบว่าอะไรคือความจริงมากกว่า "โมเดลทั้งหมดผิด [เท่ากัน] ... " และคุณต้องใช้สถิติ หากคุณไม่รู้คุณไม่สามารถวัดความแตกต่างได้

— ทิม

@ Luca มันมีความหมายมากแต่มันก็เป็นนามธรรม

— ทิม

มีทั้งเขตข้อมูลที่เรียกว่าสถิติที่ไม่ใช่พารามิเตอร์ที่หลีกเลี่ยงการใช้แบบจำลองที่แข็งแกร่ง อย่างไรก็ตามข้อกังวลของคุณเกี่ยวกับแบบจำลองที่เหมาะสมนั้นถูกต้อง น่าเสียดายที่ไม่มีขั้นตอนเชิงกลสำหรับโมเดลที่เหมาะสมซึ่งจะได้รับการยอมรับในระดับสากลว่า "ดีที่สุด" ตัวอย่างเช่นหากคุณต้องการกำหนดรูปแบบที่เพิ่มความน่าจะเป็นของข้อมูลของคุณให้สูงสุดคุณจะถูกนำไปสู่ฟังก์ชันการแจกแจงเชิงประจักษ์

อย่างไรก็ตามเรามักจะมีข้อสมมติฐานและข้อ จำกัด บางประการเช่นต่อเนื่องกับช่วงเวลาที่หนึ่งและสองที่ จำกัด สำหรับกรณีเช่นนี้วิธีการหนึ่งคือการเลือกมาตรการอย่างเอนโทรปีของแชนนอนและเพิ่มพื้นที่เหนือการแจกแจงแบบต่อเนื่องที่ตรงตามข้อ จำกัด ขอบเขตของคุณ

สิ่งที่ฉันต้องการชี้ให้เห็นคือถ้าคุณไม่เพียงแค่ต้องการเริ่มต้น ECDF คุณจะต้องเพิ่มข้อสมมติฐานนอกเหนือจากข้อมูลเพื่อไปถึงที่นั่นและต้องใช้ความเชี่ยวชาญเฉพาะด้านและใช่ ผู้พิพากษาอาชีพที่หวั่น .....

ดังนั้นจะมีจุดหยุดรับประกันการสร้างแบบจำลอง ... คำตอบคือไม่ มีสถานที่ที่ดีพอที่จะหยุดหรือไม่? โดยทั่วไปแล้วใช่ แต่ประเด็นนั้นจะขึ้นอยู่กับข้อมูลและสถิติเชิงสถิติมากกว่าปกติคุณจะคำนึงถึงความเสี่ยงของข้อผิดพลาดที่แตกต่างกันข้อ จำกัด ทางเทคนิคในการนำโมเดลไปใช้และความทนทานของการประมาณ เป็นต้น

ในฐานะที่เป็น @Luca ชี้ให้เห็นว่าคุณสามารถเฉลี่ยเหนือคลาสของโมเดลได้เสมอ แต่อย่างที่คุณชี้ไปอย่างถูกต้องซึ่งจะส่งคำถามไปยังพารามิเตอร์ระดับถัดไป น่าเสียดายที่เราดูเหมือนจะอยู่ในหัวหอมที่มีเลเยอร์ไม่ จำกัด ... ทั้งสองทิศทาง!