การเรียนรู้ PAC ที่เหมาะสมของ 2-DNF ภายใต้การกระจายแบบสม่ำเสมอ

อะไรคือผลลัพธ์ของความซับซ้อนของการสืบค้นของPAC learning 2-DNF ที่เหมาะสมกับสูตรตัวอย่างและภายใต้การแจกแจงแบบเดียวกัน ? หรือมีข้อผูกมัดใด ๆ

เพราะฉันไม่คุ้นเคยกับทฤษฎีการเรียนรู้และคำถามนี้ถูกกระตุ้นโดยสาขาที่แตกต่างกันคำตอบอาจชัดเจน ฉันตรวจสอบหนังสือโดย Kearns และ Vazirani แต่ดูเหมือนว่าพวกเขาจะไม่พิจารณาการตั้งค่านี้อย่างชัดเจน

UPD แม้ว่าพารามิเตอร์หลักที่น่าสนใจคือความซับซ้อนของแบบสอบถามเวลาทำงานก็มีความสำคัญเช่นกัน หากเป็นไปได้ควรใช้เวลาทำงานโดยประมาณจะค่อนข้างเหมือนกับความซับซ้อนของการสืบค้นหรือในพหุนามมากที่สุด

UPD ภาคผนวก B (ด้านบนของหน้า 18) ของกระดาษ "ฟังก์ชั่นการเรียนรู้ Submodular" โดย Balcan และฮาร์วีย์กล่าวว่า อย่างไรก็ตามพวกเขาไม่ได้เอ่ยถึงไม่ว่าผลลัพธ์นี้จะเป็นการเรียนรู้ที่เหมาะสมหรือให้การอ้างอิงใด ๆ

ฉันไม่รู้ว่าคุณจะพิจารณาสิ่งต่อไปนี้ที่ไม่ใช่เรื่องไร้สาระหรือไม่ แต่นี่ฉันไป

ก่อนอื่นต้องมีความชัดเจนเพื่อไม่ให้สับสน $c$-DNF ด้วย $k$-term DNF (ซึ่งฉันมักทำ), $c$สูตร -DNF มากกว่าตัวแปร $x_1, \ldots, x_n$ เป็นของแบบฟอร์ม $\vee_{i=1}^{k}(\ell_{i,1} \wedge \ell_{i,2} ... \ell_{i,c})$ ที่ไหน $\forall 1 \le i \le k$ และ $1 \le j \le c$, $\ell_{i,j} \in \{x_1, \ldots, x_n, \bar{x}_1, \ldots, \bar{x}_n \}$.

ก่อนอื่นเราสามารถถามจำนวนเทอมที่แตกต่างกันได้ใน $c$-DNF แต่ละเทอมจะมี$c$ ของ $n$ ตัวแปรแต่ละตัวที่ถูกทำให้เป็นโมฆะหรือไม่ทำ $2^c\binom{n}{c}$เงื่อนไขที่เป็นไปได้ที่แตกต่างกัน ในอินสแตนซ์ 2-DNF แต่ละคำจะปรากฏหรือไม่ทำ$|\mathcal{H}| = 2^{2^c\binom{n}{c}}$ "เป้าหมาย" ที่เป็นไปได้ $\mathcal{H}$ เป็นพื้นที่สมมุติฐาน

ลองนึกภาพอัลกอริทึมที่ใช้ $m$ ตัวอย่างแล้วลองทั้งหมด $|\mathcal{H}|$ตั้งสมมติฐานจนกระทั่งพบว่าสามารถทำนายตัวอย่างได้อย่างสมบูรณ์แบบ ทฤษฎีบทมีดโกนของ Occamบอกว่าคุณจะต้องทำเรื่องนี้$m = O(\frac{1}{\epsilon}|(\mathcal{H}|+\frac{1}{\delta})$ ตัวอย่างสำหรับอัลกอริทึมนี้เพื่อค้นหาเป้าหมายที่มีข้อผิดพลาด $\le \epsilon$ ด้วยความน่าจะเป็น $\ge 1-\delta$.

ในกรณีของเราสำหรับ $c=2$, $\lg|\mathcal{H}| = O(n^2)$ซึ่งหมายความว่าคุณต้องการ $n^2$ ตัวอย่างเพื่อทำการเรียนรู้ (เหมาะสม)

แต่เกมทั้งหมดในการเรียนรู้ไม่ใช่ตัวอย่างที่ซับซ้อน (แม้ว่าจะเป็นส่วนหนึ่งของเกมโดยเฉพาะอย่างยิ่งในการเรียนรู้ที่มีประสิทธิภาพ) แต่พยายามออกแบบอัลกอริธึมเวลาพหุนาม ถ้าคุณไม่ใส่ใจเรื่องประสิทธิภาพ$n^2$ เป็นคำตอบที่ง่ายที่สุดสำหรับความซับซ้อนของตัวอย่าง PAC

อัปเดต (ให้คำถามที่มีการเปลี่ยนแปลง) :

เนื่องจากคุณระบุอย่างชัดเจนว่าคุณให้ความสำคัญกับความซับซ้อนของตัวอย่างเท่านั้นฉันจึงนำเสนออัลกอริธึมแบบ brute-force Occam ซึ่งเป็นอาร์กิวเมนต์ที่ง่ายที่สุด อย่างไรก็ตามคำตอบของฉันค่อนข้างขี้อาย $2$-DNF สามารถเรียนรู้ได้จริงในเวลาพหุนาม! นี่เป็นผลจากบทความต้นฉบับของ Valiant " Aory of the Learnable " ในความเป็นจริง$c$-DNF สามารถเรียนรู้ได้สำหรับทุก ๆ $c = O(1)$.

อาร์กิวเมนต์จะเป็นดังนี้ คุณสามารถดู$c$-DNF เป็นความแตกแยกของ $\approx n^c$ "meta-variables" และพยายามที่จะเรียนรู้ความแตกต่างโดยกำจัด meta-variables ที่ไม่สอดคล้องกับตัวอย่าง โซลูชันดังกล่าวสามารถแปลกลับไปเป็นโซลูชัน "เหมาะสม" ได้อย่างง่ายดาย$O(n^c)$เวลา. จากบันทึกย่อด้านข้างยังคงเปิดอยู่ว่ามีอัลกอริธึมเวลาพหุนาม$c = \omega(1)$.

ไม่ว่าจะเป็น $n^2$ความซับซ้อนของกลุ่มตัวอย่างเป็นขอบเขตที่ต่ำกว่าคำตอบคือใช่มาก บทความนี้โดย Ehrenfeucht และคณะ แสดงให้เห็นว่า Occam ที่ถูกผูกไว้เกือบจะแน่น