ทรัพยากร / หนังสือสำหรับความก้าวหน้าล่าสุดในทฤษฎีการเรียนรู้ทางสถิติ


10

ฉันค่อนข้างคุ้นเคยกับทฤษฎีที่อยู่เบื้องหลัง VC-Dimension แต่ตอนนี้ฉันกำลังดูความก้าวหน้าล่าสุด (10 ปีที่ผ่านมา) ในทฤษฎีการเรียนรู้ทางสถิติ: (ท้องถิ่น) ค่าเฉลี่ย Rademacher, Finite Class Lemma ของ Massart จำนวนครอบคลุม, Chaining, Dudley ทฤษฎี, Pseudodimension, Fat Shattering Dimensions, หมายเลขการบรรจุ, องค์ประกอบ Rademacher, และผลลัพธ์ / เครื่องมืออื่น ๆ ที่ฉันไม่ทราบ

มีเว็บไซต์สำรวจรวบรวมบทความหรือที่ดีที่สุดของหนังสือครอบคลุมหัวข้อเหล่านี้หรือไม่

หรือฉันกำลังดูตัวอย่างของวิธีการผูกค่าเฉลี่ย Rademacher สำหรับคลาสที่เรียบง่ายในลักษณะเดียวกับที่ผู้คนใช้สี่เหลี่ยมที่จัดเรียงตามแนวแกนเพื่อแสดงวิธีการผูกมิติ VC

ขอบคุณล่วงหน้า.

คำตอบ:


7

ฉันเชื่อว่าคุณจะเพลิดเพลินไปกับทฤษฎีการจำแนก: การสำรวจความก้าวหน้าล่าสุดโดย Boucheron, Bousquet และ Lugosi โดยเริ่มจากการสร้างทฤษฎีพื้นฐานทั่วไปผ่านความซับซ้อนของ Rademacher แนะนำเครื่องมือที่มีประโยชน์ (เช่นหลักการการหดตัวซึ่งมีหลักฐานที่คุณสามารถติดตามได้ในบันทึกย่อของ Shai & Shai ที่อ้างถึงในคำตอบของ Ashwinkumar แต่ (ฉันเชื่อ?) มีต้นกำเนิดใน หนังสือน่าจะเป็นโดย Ledoux & Talagrand ซึ่งไม่ฟรีและใช้กับวิธีการจัดหมวดหมู่มาตรฐาน (การส่งเสริมและสนับสนุนเครื่องเวกเตอร์มีการกล่าวถึงทั้งสองเนื่องจากความนิยมและเนื่องจากพวกเขาได้รับการฝึกฝนผ่าน ERM) ข้อความนี้เริ่มต้นในปี 2005 ดังนั้นจึงมีหัวข้ออื่น ๆ ที่คุณพูดถึงเช่น Local Rademacher Complexities และยังมีสิ่งเล็ก ๆ สุดท้ายในขณะที่บทความจะค่อนข้างสั้น

หัวข้ออื่น ๆ ที่คุณพูดถึงนั้นเก่าแก่พอที่จะอยู่ใน "ทฤษฎีความน่าจะเป็นของการจดจำรูปแบบ" โดย Devroye, Györfiและ Lugosi (โดยเฉพาะมันมีเนื้อหาเกี่ยวกับการบรรจุมากกว่าข้อความอื่น ๆ ที่ฉันรู้จัก) แม้ว่ามันจะไม่มีหัวข้อใหม่ ๆ ที่คุณพูดถึง แต่หนังสือเล่มนี้เป็นหนังสือมาตรฐานที่ทุกคนที่ฉันพบในทฤษฎีการเรียนรู้ได้วางบนชั้นวางหนังสือ อาจลองค้นหาสารบัญและดัชนีสำหรับหนังสือและใช้นิ้วโป้งดู

หัวข้ออื่น ๆ ที่คุณพูดถึงฉันไม่ได้เห็นการปฏิบัติอย่างละเอียดในหนังสือ แต่พวกเขาได้ปรากฏในบันทึกรายวิชาจำนวนหนึ่ง ตัวอย่างเช่นหากคุณไปที่หน้าของ Sham Kakade ที่ UPennคุณจะพบลิงก์ไปยังหลักสูตรทฤษฎีการเรียนรู้สองหลักสูตร (อันที่ TTI-C กับ Ambuj Tewari) และคุณจะเห็นลิงก์หัวข้อตรงกับสิ่งที่คุณพูดถึง และไม่ปรากฏในคำตอบของฉันหรือที่อื่น มีหลักสูตรที่ดีมากมายในโรงเรียนต่างๆ Avrim Blum มีโน้ตที่ยอดเยี่ยมและสามารถอ่านได้อย่างยอดเยี่ยมสำหรับหลักสูตรทฤษฎีการเรียนรู้ของเขา (การวิเคราะห์ของ winnow นั้นสั้นที่สุดสะอาดและง่ายที่สุดที่ฉันเคยเห็น!)

สิ่งเหล่านี้อาจจะใหม่เกินไปเล็กน้อยและคุณจะต้องไปที่แหล่งข้อมูล แต่ถ้าคุณเป็นเพียงแค่พยายามหยิบเทคนิคคว้าฉันคิดว่าการสำรวจขึ้นด้านบนและการบรรยายในชั้นเรียนทฤษฎีการเรียนรู้คู่จะให้บริการคุณทางยาว

นอกจากนี้คุณฟังดูเหมือนว่าคุณกำลังมองหาข้อความขั้นสูง แต่ฉันก็อยากจะเสียบข้อความเกริ่นนำสองเล่มที่ผู้คนสนุกไปกับมันมาก หนึ่งคือ "ความรู้เบื้องต้นเกี่ยวกับทฤษฎีการเรียนรู้การคำนวณ" โดย Kearns และ (U. ) Vazirani ซึ่งในขณะที่อายุ (ตัวอย่างเช่นการส่งเสริมจะนำเสนอผ่านการก่อสร้างดั้งเดิมของ Robert Schapire เท่านั้นและการเน้นที่ PAC มากกว่าการเรียนรู้ที่ไม่เชื่อเรื่องพระเจ้า) นำเสนอได้ดีและมีสัญชาตญาณที่ดี โดยส่วนตัวแล้วฉันได้รับข้อมูลเบื้องต้นเกี่ยวกับทฤษฎีการเรียนรู้เชิงสถิติเบื้องต้นโดยผู้เขียนคนเดียวกันกับแบบสำรวจด้านบน (แต่ปรากฏในลำดับ Bousquet, Boucheron, Lugosi?); มันมีคำอธิบายที่ดีและเป็นครั้งแรกที่ทฤษฎีการวางนัยทั่วไปเริ่มคลิกเพื่อฉัน


5

นี่เป็นหลักสูตรที่สอนเมื่อเร็ว ๆ นี้ http://www.cs.huji.ac.il/~shais/Handouts.pdf ฉันไม่ได้อ่านอย่างถี่ถ้วน แต่บทที่ 7 มีเนื้อหาเกี่ยวกับ Rademacher Complexities หวังว่ามันจะช่วย


ขอบคุณ @Ashwinkumar ฉันชอบความจริงที่ว่าบางส่วนของบันทึกเหล่านี้มาจากหนังสือที่กำลังเขียนอยู่ในขณะนี้
Matteo

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.