ทฤษฎีบทที่ไม่มีอาหารกลางวันและความสอดคล้อง K-NN

ในการเรียนรู้การคำนวณทฤษฎีบทของ NFL ระบุว่าไม่มีผู้เรียนสากล สำหรับอัลกอริทึมการเรียนรู้ทุกครั้งจะมีการแจกแจงที่ทำให้ผู้เรียนส่งออกไฮเปอร์ซิสด้วยข้อผิดพลาดขนาดใหญ่ที่มีความน่าจะเป็นสูง (แม้ว่าจะมีไฮเปอร์ข้อผิดพลาดต่ำ) บทสรุปก็คือเพื่อที่จะเรียนรู้คลาสไฮเปอร์ซิสหรือการแจกแจงต้องถูก จำกัด ในหนังสือของพวกเขา "ทฤษฎีความน่าจะเป็นของการจดจำรูปแบบ", Devroye et al ได้พิสูจน์ความจริงดังต่อไปนี้สำหรับผู้เรียนที่อยู่ใกล้ที่สุดของเค - เรียน: Assume โดยที่

$$\text{Assume } \mu \text{ has a density. if } k\to \infty \text{ and } k/n\to0 \\ \text{ then for every } \epsilon>0, \text{ there's } N, \text{ s.t.} \text{ for all } n>N : \\ P(R_n - R^* > \epsilon)< 2exp(-C_dn \epsilon ^{2})$$ $R^*$เป็นข้อผิดพลาดของกฎที่ดีที่สุดของ , เป็นข้อผิดพลาดที่แท้จริงของเอาต์พุต K-NN (ความน่าจะเป็นอยู่เหนือชุดฝึกอบรมที่มีขนาด ),คือการวัดความน่าจะเป็นในพื้นที่อินสแตนซ์และเป็นค่าคงที่บางอย่างขึ้นอยู่กับมิติยูคลิด ดังนั้นเราสามารถเข้าใกล้ได้มากที่สุดเท่าที่เราต้องการในสมมติฐานที่ดีที่สุดที่มีอยู่ (ไม่ใช่สิ่งที่ดีที่สุดในชั้นเรียนที่ จำกัด ) โดยไม่มีข้อสันนิษฐานเกี่ยวกับการแจกจ่าย ดังนั้นฉันจึงพยายามที่จะเข้าใจว่าผลลัพธ์นี้ไม่ขัดแย้งกับเอ็นเอฟแอล? ขอบคุณ!$R_n$$n$$\mu$$\mathbb{R}^d$$C_d$

วิธีที่ฉันเข้าใจทฤษฎีบทของ NFL คือไม่มีอัลกอริธึมการเรียนรู้ที่ดีกว่าที่เหลือในทุกงาน อย่างไรก็ตามนี่ไม่ใช่ทฤษฎีบทในแง่คณิตศาสตร์ที่ชัดเจนว่ามันมีหลักฐาน แต่เป็นการสังเกตเชิงประจักษ์

คล้ายกับสิ่งที่คุณพูดสำหรับ kNN นอกจากนี้ยังมีทฤษฎีบทการประมาณแบบสากลสำหรับโครงข่ายประสาทเทียมซึ่งระบุว่าได้รับโครงข่ายประสาท 2 ชั้นเราสามารถประมาณฟังก์ชันใด ๆ กับข้อผิดพลาดโดยพลการ

ตอนนี้สิ่งนี้ไม่ทำลาย NFL อย่างไร โดยพื้นฐานแล้วระบุว่าคุณสามารถแก้ปัญหาที่เป็นไปได้ด้วย NN 2-layer แบบง่าย เหตุผลก็คือในขณะที่ในทางทฤษฎี NNs สามารถประมาณอะไรก็ได้ในทางปฏิบัติมันยากมากที่จะสอนให้พวกเขาประมาณอะไร นั่นเป็นเหตุผลสำหรับบางงานอัลกอริทึมอื่น ๆ จะดีกว่า

วิธีการตีความ NFL ที่เป็นประโยชน์มากขึ้นมีดังต่อไปนี้:

ไม่มีวิธีกำหนด a-Priori ซึ่งอัลกอริธึมจะทำงานได้ดีที่สุดสำหรับงานที่กำหนด