อะไรรับประกันทางทฤษฎีของการบรรจุถุง


17

ฉันได้ยิน (โดยประมาณ) ว่า:

การห่อเป็นเทคนิคที่ช่วยลดความแปรปรวนของอัลกอริทึมตัวทำนาย / ตัวประมาณ / การเรียนรู้

อย่างไรก็ตามฉันไม่เคยเห็นหลักฐานทางคณิตศาสตร์อย่างเป็นทางการของข้อความนี้ ไม่มีใครรู้ว่าทำไมสิ่งนี้ถึงเป็นจริงในเชิงคณิตศาสตร์? ดูเหมือนว่าจะเป็นความจริงที่เป็นที่ยอมรับ / เป็นที่รู้จักอย่างกว้างขวางซึ่งฉันคาดหวังว่าจะมีการอ้างอิงโดยตรงกับสิ่งนี้ ฉันจะแปลกใจถ้าไม่มี นอกจากนี้ไม่มีใครรู้ว่าสิ่งนี้มีผลกระทบต่อความลำเอียง?

มีการรับรองทางทฤษฎีอื่น ๆ เกี่ยวกับวิธีการบรรจุถุงที่ทุกคนรู้และคิดว่ามีความสำคัญและต้องการแบ่งปันหรือไม่

คำตอบ:


21

กรณีการใช้งานหลักสำหรับการบรรจุถุงคือการลดความแปรปรวนของแบบจำลองลำเอียงต่ำโดยการรวมเข้าด้วยกัน สิ่งนี้ได้ทำการศึกษาเชิงประจักษ์ในกระดาษสถานที่สำคัญ" การเปรียบเทียบเชิงประจักษ์ของอัลกอริทึมการจำแนกประเภทการออกเสียง: การบรรจุ, การส่งเสริมและการแปรผัน" โดย Bauer และ KohaviKohavi มันมักจะทำงานตามที่โฆษณาไว้

แต่ขัดกับความเชื่อที่นิยมใส่ถุงไม่รับประกันว่าจะลดความแปรปรวน คำอธิบายที่ใหม่กว่าและ (ในความเห็นของฉัน) คำอธิบายที่ดีกว่าก็คือการบรรจุถุงจะลดอิทธิพลของคะแนนการใช้ประโยชน์ คะแนนเลเวอเรจคือตำแหน่งที่ส่งผลกระทบต่อโมเดลที่เกิดขึ้นอย่างไม่เป็นสัดส่วนเช่นค่าผิดปกติในการถดถอยกำลังสองน้อยที่สุด มันเป็นเรื่องยาก แต่เป็นไปได้สำหรับการใช้ประโยชน์จากคะแนนที่มีอิทธิพลต่อรูปแบบในเชิงบวกซึ่งในกรณีที่บรรจุถุงลดประสิทธิภาพ ดูที่"การบรรจุถุงอิทธิพลอย่างเท่าเทียม " โดย GrandvaletGrandvalet

ดังนั้นเพื่อตอบคำถามของคุณในที่สุด: ผลของการห่อส่วนใหญ่ขึ้นอยู่กับคะแนนการใช้ประโยชน์ มีการรับประกันทางทฤษฎีเพียงเล็กน้อยเท่านั้นยกเว้นการบรรจุถุงที่เพิ่มเวลาในการคำนวณเชิงเส้นในแง่ของขนาดกระเป๋า! ที่กล่าวว่ามันยังคงเป็นเทคนิคที่ใช้กันอย่างแพร่หลายและมีประสิทธิภาพมาก เมื่อเรียนรู้ด้วยเสียงฉลากเช่นการบรรจุถุงสามารถผลิตตัวแยกประเภทที่แข็งแกร่งขึ้น

Rao และ Tibshirani ให้การตีความแบบเบย์ใน" วิธี out-of-bootstrap สำหรับการหาค่าเฉลี่ยและการเลือกแบบจำลอง " :

ในแง่นี้การกระจาย bootstrap แสดงให้เห็นถึงการกระจายหลังพารามิเตอร์ (ไม่ใช่โดยประมาณ) ไม่ใช่พารามิเตอร์สำหรับพารามิเตอร์ของเรา แต่การกระจาย bootstrap นี้ได้รับอย่างไม่ลำบาก - โดยไม่ต้องระบุอย่างเป็นทางการก่อนและไม่ต้องสุ่มตัวอย่างจากการกระจายหลัง ดังนั้นเราอาจคิดว่าการกระจาย bootstrap เป็นคนหลัง "Bayes ของคนจน


1
คำอธิบาย 'คะแนนการใช้ประโยชน์' นำไปใช้กับต้นไม้ได้อย่างไร ในขณะที่เห็นได้ชัดว่าคะแนนงัดสูงคืออะไรสำหรับการถดถอยเชิงเส้นจุดเหล่านี้มีไว้สำหรับต้นไม้
DavidR

พบอีกอ้างอิงถึงคำถามนี้: quora.com/ คุณคิดอย่างไร? สิ่งนี้ขัดแย้งกับความจริงที่คุณพูดหรือไม่ว่ามันไม่ลดความแปรปรวนทางทฤษฎีหรือไม่?
Charlie Parker

ฉันเห็นว่าวิกิพีเดียบอกว่าการบรรจุถุง (หรือการรวม bootstrap) ช่วยลดความแปรปรวน หากไม่มีหลักฐานเชิงทฤษฎีสำหรับเรื่องนี้นี่หมายความว่าบทความผิดหรือเปล่า?
Charlie Parker

ในกรณีส่วนใหญ่การบรรจุถุงนั้นมีความแปรปรวนต่ำกว่า แต่นั่นไม่ใช่กลไกที่แท้จริง Grandvalet ได้แสดงตัวอย่างที่เพิ่มความแปรปรวนและแสดงให้เห็นว่ากลไกนั้นเกี่ยวข้องกับอิทธิพลของจุดข้อมูลที่มีผลต่อโมเดลอย่างมากเช่นค่าผิดปกติในการถดถอยกำลังสองน้อยที่สุดซึ่งในกรณีส่วนใหญ่จะลดความแปรปรวน
Marc Claesen
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.