การสุ่มตัวอย่าง PAC ผู้ไม่เชื่อเรื่องพระเจ้าขอบเขตที่ต่ำกว่า

เป็นที่ทราบกันดีว่าสำหรับการเรียนรู้ PAC แบบคลาสสิกตัวอย่างเป็นสิ่งที่จำเป็นเพื่อให้ได้ข้อผิดพลาดที่มีขอบเขตของ whp โดยที่คือมิติ VC ของคลาสแนวคิด $\Omega(d/\varepsilon)$ $\varepsilon$ $d$

เป็นที่ทราบกันหรือไม่ว่าจำเป็นต้องใช้ตัวอย่างในกรณีผู้ไม่เชื่อเรื่องพระเจ้า? $\Omega(d/\varepsilon^2)$

lg.learning machine-learning

— Aryeh
แหล่งที่มา

ฉันไม่แน่ใจว่าขอบเขตล่างเป็นอย่างไรควรมีอยู่หากขอบเขต Hoefding แน่น (และฉันคิดว่ามันเป็น) ขอบเขตนี้ระบุว่าสำหรับ 1 fn หากความน่าจะเป็นของข้อผิดพลาดคือ p คุณต้องได้ตัวอย่าง

มากที่สุดเพื่อประมาณค่า p ภายในข้อผิดพลาด + -

whp ดังนั้นให้พิจารณาคลาสแนวคิดใด ๆ

และ

และ VC-dimension 2 ทำการแจกแจงตัวอย่างเพื่อให้

(หรือกลับกัน) - สิ่งนี้เป็นไปได้เพราะ VC-dimension คือ 2 ดูเหมือนว่าอัลกอริทึมที่ใช้เฉพาะ

m = O (1 / ϵ^{2})

$m = O(1/\epsilon^2)$

ϵ

$\epsilon$

f_{1}

$f_1$

f_{2}

$f_2$

p_{1} = p_{2} + ϵ

$p_1 = p_2 + \epsilon$

ตัวอย่างจะบ่งบอกถึงขอบเขต Hoefding ที่ได้รับการปรับปรุง

O (1 / ϵ)

$O(1/\epsilon)$

— Aaron Roth

คือผมคิดว่า Hoeffding ผูกพันแน่นที่

สำหรับ

)

ฉันคิดว่าเหตุผลข้างต้นเป็นที่รู้จักกันโดยทั่วไป ...

p = 1 / 2

$p=1/2$

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

— เลฟเรซิน

ตกลง - ดูเหมือนว่าฉันมีการออกกำลังกายอีกครั้งสำหรับหลักสูตร ML ... :) ขอบคุณสำหรับข้อมูลเข้า Aaron และ Lev!

— Aryeh

@Aaron บางทีนี่อาจจะเป็นคำตอบ

— Suresh Venkat

ตอนนี้ฉันรู้แล้วว่าขอบเขตล่างได้ถูกสร้างขึ้นโดย Anthony และ Bartlett (ดูการนำเสนอที่นี่ )

แก้ไข 24-Sep-2018 คำถามนี้ทำให้ฉันครอบครองตลอดหลายปีที่ผ่านมาและเมื่อเร็ว ๆ นี้ I. Pinelis และฉันได้รับค่าคงที่ที่เหมาะสมที่สุดใน PAC ผู้ไม่เชื่อเรื่องพระเจ้าที่ต่ำกว่าที่ปรากฏใน Ann สถิติ

— Aryeh
แหล่งที่มา

ในเอกสารของคุณคุณไม่ได้อ้างถึงงานนี้ ( jmlr.org/papers/volume17/15-389/15-389.pdf ) ความซับซ้อนของตัวอย่างบนขอบเขตที่เหมาะสมในกรณีที่เกิดขึ้นจริงไม่ใช่การเชื่อมต่อกับงานของคุณหรือไม่? ขอบเขตความซับซ้อนตัวอย่างที่เหมาะสมที่สุดเหล่านี้สอดคล้องกันหรือไม่เป็นที่รู้จักสำหรับผู้ไม่เชื่อเรื่องพระเจ้า?

— นักเรียนชั้นประถมศึกษา

ฉันไม่คิดว่าคดีที่จะเกิดขึ้นเกี่ยวข้องกับเรื่องนั้นทั้งหมด ในกรณีที่คาดว่าจะเกิดขึ้น ERM ไม่รับประกันอัตราที่ดีที่สุด - ดังนั้นการทำงานอย่างหนักทั้งหมดของ Hanneke และคนอื่น ๆ ก็ต้องใช้จ่ายเพื่อที่จะลบ log factor และก็ยังไม่เป็นที่ทราบว่าผู้เรียนที่เหมาะสมสามารถบรรลุอัตราที่เหมาะสม ในทางตรงกันข้ามในกรณีผู้ไม่เชื่อเรื่องพระเจ้ามันเป็นที่รู้จักกันมานานแล้วว่า ERM บรรลุอัตราที่เหมาะสม

— Aryeh