ทำไมการหดตัวจึงใช้งานได้จริงมีอะไรพิเศษเกี่ยวกับ 0

มีการโพสต์ในเว็บไซต์นี้แล้วพูดคุยเกี่ยวกับปัญหาเดียวกัน: ทำไมการหดตัวทำงานอย่างไร

แต่ถึงแม้ว่าคำตอบจะได้รับความนิยม แต่ฉันไม่เชื่อว่าส่วนสำคัญของคำถามจะได้รับการแก้ไข ค่อนข้างชัดเจนว่าการแนะนำอคติบางอย่างในการประมาณค่าช่วยลดความแปรปรวนและอาจปรับปรุงคุณภาพการประมาณค่า อย่างไรก็ตาม:

1) ทำไมความเสียหายที่เกิดขึ้นจากการแนะนำมีอคติน้อยกว่าเมื่อเทียบกับการได้รับความแปรปรวน

2) ทำไมมันใช้งานได้เสมอ? ตัวอย่างเช่นในกรณีของการถดถอยสัน: ทฤษฎีบทการดำรงอยู่

3) อะไรที่น่าสนใจเกี่ยวกับ 0 (ต้นกำเนิด) เห็นได้ชัดว่าเราสามารถหดได้ทุกที่ที่เราชอบ (เช่นตัวประมาณสไตน์ ) แต่มันจะทำงานได้ดีเท่าที่มา?

4) ทำไมรูปแบบการเข้ารหัสสากลที่หลากหลายจึงต้องการบิตที่น้อยลงรอบจุดกำเนิด? มีสมมติฐานเหล่านี้ก็น่าจะเป็นมากขึ้นหรือไม่

คำตอบที่มีการอ้างอิงถึงทฤษฎีบทที่พิสูจน์แล้วหรือผลที่คาดหวัง

1) ทำไมความเสียหายที่เกิดขึ้นจากการแนะนำมีอคติน้อยกว่าเมื่อเทียบกับการได้รับความแปรปรวน

มันไม่จำเป็นต้องมีมันก็มักจะเป็น การแลกเปลี่ยนนั้นมีค่าหรือไม่นั้นขึ้นอยู่กับฟังก์ชันการสูญเสีย แต่สิ่งที่เราใส่ใจในชีวิตจริงมักจะคล้ายกับข้อผิดพลาดกำลังสอง (เช่นเราใส่ใจมากกว่าหนึ่งข้อผิดพลาดใหญ่กว่าข้อผิดพลาดสองขนาดครึ่งหนึ่ง)

ในฐานะที่เป็นตัวอย่าง - ลองจินตนาการว่าสำหรับการรับเข้าเรียนในวิทยาลัยนั้นเราจะลดคะแนน SAT ของผู้คนลงเล็กน้อยต่อค่าเฉลี่ย SAT สำหรับกลุ่มประชากรของพวกเขา หากทำอย่างถูกต้องสิ่งนี้จะลดความแปรปรวนและความคลาดเคลื่อนกำลังสองเฉลี่ยของการประมาณความสามารถ (บางประเภท) ของบุคคลในขณะที่แนะนำอคติ คนส่วนใหญ่จะ IMHO ยืนยันว่าการแลกเปลี่ยนดังกล่าวไม่สามารถยอมรับได้

2) ทำไมมันใช้งานได้เสมอ?

3) อะไรที่น่าสนใจเกี่ยวกับ 0 (ต้นกำเนิด) เห็นได้ชัดว่าเราสามารถหดตัวได้ทุกที่ที่เราชอบ (เช่นตัวประมาณสไตน์) แต่มันจะทำงานได้ดีเหมือนจุดกำเนิดหรือไม่?

ฉันคิดว่าเป็นเพราะเรามักจะลดค่าสัมประสิทธิ์หรือการประมาณผลกระทบ มีเหตุผลที่เชื่อได้ว่าผลกระทบส่วนใหญ่ไม่ใหญ่โต (ดูตัวอย่างการใช้ของ Andrew Gelman ) วิธีหนึ่งที่จะกล่าวได้ก็คือโลกที่ทุกสิ่งมีอิทธิพลต่อทุกสิ่งที่มีผลกระทบรุนแรงคือโลกที่ไม่อาจคาดเดาได้อย่างรุนแรง เนื่องจากโลกของเราคาดการณ์ได้มากพอที่จะให้เรามีชีวิตยืนยาวและสร้างอารยธรรมกึ่งเสถียรจึงเป็นไปตามผลกระทบส่วนใหญ่ที่ไม่ใหญ่

เนื่องจากเอฟเฟกต์ส่วนใหญ่ไม่ใหญ่จึงเป็นประโยชน์ในการลดขนาดของเอฟเฟกต์ที่ไม่ถูกต้องอย่างไม่ถูกต้องในขณะเดียวกัน

ฉันเชื่อว่านี่เป็นเพียงทรัพย์สินของโลกของเราและคุณอาจสร้างโลกที่สอดคล้องกันซึ่งการหดตัวไม่ได้เกิดขึ้นจริง (ส่วนใหญ่เกิดจากข้อผิดพลาดเฉลี่ยกำลังสองเป็นฟังก์ชันการสูญเสียที่ทำไม่ได้) มันไม่ได้เกิดขึ้นเป็นโลกที่เราอาศัยอยู่

ในทางกลับกันเมื่อเราคิดว่าการหดตัวเป็นการกระจายก่อนหน้านี้ในการวิเคราะห์แบบเบย์มีกรณีที่การหดตัวถึง 0 เป็นอันตรายในทางปฏิบัติ

ตัวอย่างหนึ่งคือสเกลความยาวในกระบวนการแบบเกาส์เซียน (ที่ 0 เป็นปัญหา) คำแนะนำในคู่มือของสแตนคือการใช้งานก่อนหน้าซึ่งทำให้น้ำหนักที่ไม่สำคัญใกล้เคียงกับศูนย์เช่นมีประสิทธิภาพ "ลดขนาด" ค่าเล็ก ๆ ห่างจากศูนย์ ในทำนองเดียวกันนักบวชที่แนะนำสำหรับการกระจายตัวในการกระจายทวินามลบได้อย่างมีประสิทธิภาพหดตัวออกจากศูนย์ สุดท้าย แต่ไม่ท้ายสุดเมื่อใดก็ตามที่การแจกแจงแบบปกติถูกกำหนดด้วยความแม่นยำ (เช่นเดียวกับ INLA) จะมีประโยชน์ในการใช้ inverse-gamma หรือการกระจายก่อนหน้าอื่น ๆ ที่หดตัวออกจากศูนย์

4) ทำไมรูปแบบการเข้ารหัสสากลที่หลากหลายจึงต้องการบิตที่น้อยลงรอบจุดกำเนิด? สมมติฐานเหล่านี้น่าจะเป็นไปได้มากกว่าหรือไม่?

ทีนี้นี่เป็นสิ่งที่ลึกลงไป แต่วิกิพีเดียกล่าวว่าในรูปแบบการเข้ารหัสสากลเราคาดหวัง ( ตามคำนิยาม )สำหรับผลบวกทั้งหมดดังนั้นคุณสมบัตินี้ดูเหมือนจะเป็นผลลัพธ์ที่เรียบง่ายของคำจำกัดความ และไม่เกี่ยวข้องกับการหดตัว (หรือฉันขาดอะไรไป?)$P(i) ≥ P(i + 1)$$i$

Ridge, lasso และ elastic net นั้นคล้ายคลึงกับวิธี Bayesian โดยมี Priors อยู่ที่ศูนย์ - ดูตัวอย่างเช่นการเรียนรู้เชิงสถิติด้วย Sparsityโดย Hastie, Tibshirani และ Wainwright, ส่วน2.9 Lq Penalties and Bayes Estimates: "นอกจากนี้ยังมีมุมมอง Bayesian ของตัวประมาณเหล่านี้ ... ซึ่งหมายความว่าการประมาณค่าแบบบ่วงเป็นตัวประมาณค่า Bayesian MAP (ค่าสูงสุดสูงสุด) โดยใช้ Laplacian ก่อน "

วิธีหนึ่งในการตอบคำถามของคุณ ( what's so special about zero?) คือเอฟเฟ็กต์ที่เราประเมินนั้นมีค่าเฉลี่ยเป็นศูนย์และพวกเขาก็มีแนวโน้มที่จะเล็ก (กล่าวคือนักบวชของเราควรอยู่กึ่งกลางรอบศูนย์) การประมาณค่าการหดตัวที่มีต่อศูนย์นั้นเหมาะสมที่สุดในความหมายแบบเบย์และการใช้เชือกแบบก้างปลาและสันเขาและมุ้งยืดหยุ่นผ่านเลนส์นั้น