ทฤษฎีการเรียนรู้ PAC หมายถึงอะไร?

15

ฉันใหม่ในการเรียนรู้ของเครื่อง ฉันกำลังเรียนหลักสูตรการเรียนรู้ของเครื่องจักร (มหาวิทยาลัยสแตนฟอร์ด) และฉันไม่เข้าใจความหมายของทฤษฎีนี้และประโยชน์ของมัน ฉันสงสัยว่าถ้าใครสามารถอธิบายทฤษฎีนี้ให้ฉันได้

ทฤษฎีนี้มีพื้นฐานอยู่บนสมการนี้ ป้อนคำอธิบายรูปภาพที่นี่

machine-learning probability pac-learning

— BetterEnglish
แหล่งที่มา

2

PAC ย่อมาจากอาจถูกต้องประมาณ

— Marc Claesen

@ MarcClaesen ฉันขออธิบายแบบนี้ได้ไหม: "มันหมายความว่าวิธีการเรียนรู้ของเครื่องเสนอวิธีแก้ปัญหาความน่าจะเป็นสำหรับปัญหาที่กำหนดและวิธีนี้มีแนวโน้มที่จะถูกต้องโดยประมาณ"

— BetterEnglish

1

นี่คือลิงค์ที่สนุก: autonlab.org/tutorials/pac.html หรือนี่คือ: autonlab.org/_media/tutorials/pac05.pdf

— EngrStudent - Reinstate Monica

16

ทฤษฎีการเรียนรู้ที่ถูกต้องโดยประมาณ (PAC) อาจช่วยในการวิเคราะห์ว่าผู้เรียนอยู่ภายใต้เงื่อนไขใดหรือไม่ว่าจะเป็นตัวแยกประเภทที่ถูกต้องโดยประมาณหรือไม่ (คุณจะเห็นบางแหล่งใช้แทน ) $L$ $A$ $L$

ก่อนอื่นมานิยาม "โดยประมาณ" สมมติฐานนั้นถูกต้องโดยประมาณถ้าความผิดพลาดในการแจกแจงของอินพุตถูกล้อมรอบด้วย $h \in H$ เช่นที่คือการกระจายมากกว่าปัจจัยการผลิต $\epsilon, 0 \le \epsilon \le \frac{1}{2}.$ $error_D(h)\lt \epsilon$ $D$

ถัดไป "อาจเป็นไปได้" ถ้าออกจะจําแนกดังกล่าวมีความน่าจะเป็นด้วย $L$ $1 - \delta$ เราเรียกว่าลักษณนามว่าอาจถูกต้องประมาณ $0 \le \delta \le \frac{1}{2}$

การรู้ว่าแนวคิดเป้าหมายเป็น PAC ที่เรียนรู้ได้ช่วยให้คุณสามารถกำหนดขนาดตัวอย่างที่จำเป็นในการเรียนรู้ตัวจําแนกที่ถูกต้องโดยประมาณซึ่งเป็นสิ่งที่แสดงในสูตรที่คุณทำซ้ำ:

m \geq \frac{1}{ϵ} (l n | H | + l n \frac{1}{δ})

$m \ge\frac{1}{\epsilon}(ln|H| + ln\frac{1}{\delta})$

เพื่อให้ได้สัญชาตญาณเกี่ยวกับเรื่องนี้ให้สังเกตผลกระทบต่อเมื่อคุณเปลี่ยนตัวแปรทางด้านขวา เมื่อข้อผิดพลาดที่อนุญาตลดลงขนาดของกลุ่มตัวอย่างที่จำเป็นจะเพิ่มขึ้น ในทำนองเดียวกันก็เติบโตขึ้นกับความน่าจะเป็นของผู้เรียนที่ถูกต้องโดยประมาณและมีขนาดของพื้นที่สมมติฐานH(หลวมพื้นที่สมมุติฐานคือชุดของตัวแยกประเภทที่อัลกอริทึมของคุณพิจารณา) ชัดแจ้งมากขึ้นเมื่อคุณพิจารณาตัวแยกประเภทที่เป็นไปได้มากขึ้นหรือต้องการข้อผิดพลาดที่ต่ำกว่าหรือน่าจะเป็นความถูกต้องที่สูงขึ้น $m$ $H$

สำหรับข้อมูลเพิ่มเติมวิดีโอนี้และวิดีโอที่เกี่ยวข้องอื่น ๆ อาจเป็นประโยชน์เช่นการแนะนำที่มีความยาวนี้หรือข้อความการเรียนรู้ด้วยเครื่องอย่างใดอย่างหนึ่งเช่นมิทเชลพูด

— ฌอนอีสเตอร์
แหล่งที่มา

นี่คือประเภทของคำตอบที่ฉันมองหามานาน เรียบง่าย แต่เสียง แม้ว่าแหล่งข้อมูลหลายแห่งจะให้คำตอบมากมาย แต่ก็ไม่เป็นที่ต้องการสำหรับการอ้างอิงอย่างรวดเร็ว

— Ébe Isaac

4

คำจำกัดความของความถูกต้องโดยประมาณอาจเป็นเพราะ Valiant มันมีไว้เพื่อให้คำจำกัดความที่เข้มงวดทางคณิตศาสตร์ของการเรียนรู้ของเครื่อง
ให้ฉันเดินเล่นนิดหน่อย ในขณะที่ PAC ใช้คำว่า 'สมมติฐาน' แต่คนส่วนใหญ่ใช้แบบจำลองคำแทนสมมติฐาน ด้วยการพยักหน้าเข้าสู่ชุมชนสถิติฉันชอบโมเดล แต่ฉันจะพยายามใช้ทั้งสองอย่าง เครื่องจะเริ่มเรียนรู้กับข้อมูลบางส่วน และเป็นหนึ่งในความต้องการที่จะหาสมมติฐานหรือรุ่นที่จะได้รับปัจจัยการผลิตกลับหรือบางสิ่งบางอย่างใกล้ชิด ที่สำคัญได้รับข้อมูลใหม่ รูปแบบจะคำนวณหรือทำนายที่สอดคล้องกัน $(x_i, y_i)$ $x_i$ $y_i$ $\tilde{x}$ Y จริงๆแล้วไม่มีใครสนใจความแม่นยำของสมมติฐานที่มีต่อข้อมูล (การฝึกอบรม) ยกเว้นว่าเป็นการยากที่จะเชื่อว่าแบบจำลองที่สร้างขึ้นโดยใช้ข้อมูลบางอย่างจะไม่สะท้อนความแม่นยำของชุดข้อมูลนั้น แต่จะแม่นยำในอนาคต ชุดข้อมูล ข้อสังเกตสำคัญสองประการคือไม่สามารถทำนายข้อมูลใหม่ด้วยความแม่นยำ 100% และยังมีความเป็นไปได้ที่ตัวอย่างข้อมูลที่ได้เห็นพลาดบางสิ่งที่สำคัญ ตัวอย่างของเล่นคือถ้าฉันให้ข้อมูล '1,2,3,4' แก่คุณคุณจะ 'ทำนาย' ว่า 5 จะเป็นหมายเลขถัดไป หากคุณผ่านการทดสอบนี้โดยขอให้คนสิ่งที่เป็นหมายเลขในลำดับถัดไปที่คนส่วนใหญ่จะบอกว่า 5. ใครบางคนที่จะทำได้ $\tilde{y}$
แม้ว่า 1,000,000 พูด หากคุณได้รับลำดับ 1,2,3 ... 999,999 หนึ่งจะแน่ใจว่าหมายเลขถัดไปคือ 1,000,000 อย่างไรก็ตามหมายเลขถัดไปอาจเป็น 999,999.5 หรือ 5 ก็ได้ประเด็นก็คือยิ่งมีข้อมูลมากเท่าใดเราก็จะเห็นได้ว่ามีข้อมูลที่ถูกต้องแม่นยำมากขึ้น แต่ก็ไม่มีใครแน่ใจได้แน่นอน

คำจำกัดความของความถูกต้องโดยประมาณอาจให้ความคิดในเชิงคณิตศาสตร์ที่แม่นยำ ให้ข้อมูลพร้อมเอาต์พุตและคลาสของโมเดลซึ่งประกอบด้วยสมมติฐานหนึ่งที่สามารถถามได้ 2 คำถาม เราสามารถใช้ข้อมูลเพื่อค้นหาสมมติฐานที่เฉพาะเจาะจง $x_i, 1 \leq i \leq m$ $y_i$ $f_{\theta}$ $f_{\Theta}$ ที่น่าจะแม่นยำในการทำนายค่าใหม่ มีความเป็นไปได้มากน้อยเพียงใดที่แบบจำลองนั้นจะแม่นยำอย่างที่เราคาดไว้ นั่นคือเราสามารถฝึกฝนโมเดลที่มีแนวโน้มสูงที่จะแม่นยำมาก ในคำตอบของฌอนอีสเตอร์เราบอกว่าคลาสของสมมติฐาน (คลาสของโมเดล) คือ PAC ถ้าเราสามารถทำอาร์กิวเมนต์ 'epsilon, delta' นั่นคือเราสามารถพูดด้วยความน่าจะเป็นว่ารูปแบบของเรามีความถูกต้องไปภายในεจำนวนข้อมูลที่ต้องดูเพื่อตอบสนองคู่ที่เฉพาะเจาะจงขึ้นอยู่กับของจริง $p >1-\delta$ $f_{\Theta}$ $\epsilon$ $(\delta,\epsilon)$ $(\delta,\epsilon)$ และความซับซ้อนของสมมติฐานที่ได้รับ

แม่นยำยิ่งขึ้นคลาสของสมมติฐานหรือโมเดลคือ PAC สำหรับคู่ใด ๆ กับมีโมเดลเฉพาะเช่นว่าข้อมูลใหม่แบบจำลองนี้จะตอบสนอง ด้วยความน่าจะเป็น $\mathcal{H}$ $f_{\theta}$ $(\epsilon, \delta)$ $0 < \epsilon,\delta , <.5$ $f_{\Theta}$ $\tilde{x}, \tilde{y}$ $Err(f_{\Theta}(\tilde{x}) ,\tilde{y} ) < \epsilon$ ถ้าแบบจำลองถูกเลือก (ผ่านการฝึกอบรม) อย่างน้อย ตัวอย่างการฝึกอบรม นี่คือข้อผิดพลาดเป็นฟังก์ชั่นการสูญเสียได้รับการแต่งตั้งซึ่งมักจะ 2 $p > 1-\delta$ $m = m(\delta,\epsilon,\mathcal{H})$ $(f_{\Theta}(\tilde{x}) -\tilde{y})^2$

$(\delta,\epsilon)$

— Meh
แหล่งที่มา