การเรียนรู้ขอบเขต PAC VC ที่เหมาะสม

เป็นที่ทราบกันดีว่าสำหรับแนวคิดคลาส$\mathcal{C}$มีมิติ VC $d$มันเพียงพอที่จะได้$O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$ตัวอย่างที่มีข้อความที่จะเรียนรู้ PACC$\mathcal{C}$ไม่ชัดเจนสำหรับฉันหากอัลกอริทึมการเรียนรู้ PAC (ซึ่งใช้ตัวอย่างจำนวนมากเหล่านี้) เหมาะสมหรือไม่เหมาะสม? ในหนังสือเรียนของ Kearns และ Vazirani เช่นเดียวกับ Anthony และ Biggs ดูเหมือนว่าขั้นตอนวิธีการเรียนรู้ PAC นั้นไม่เหมาะสม (เช่นข้อสมมติผลลัพธ์ไม่ได้อยู่ใน$\mathcal{C}$)

1. บางคนสามารถอธิบายได้ไหมว่าขอบเขตบนที่คล้ายกันมีไว้สำหรับการตั้งค่าการเรียนรู้ PAC ที่เหมาะสมหรือไม่ ถ้าเป็นเช่นนั้นคุณสามารถให้การอ้างอิงกับฉันได้ที่นี่ถูกกล่าวถึงอย่างชัดเจนและมีหลักฐานที่มีอยู่ในตัวเองด้วยหรือไม่

2. เมื่อเร็ว ๆ นี้การปรับปรุง Hanneke ผูกพันโดยการกำจัดของ$\log(1/\varepsilon)$ปัจจัย ใครบางคนสามารถอธิบายได้ว่าเป็นที่รู้กันว่าสามารถถอดออกได้สำหรับการตั้งค่าการเรียนรู้ PAC ที่เหมาะสม? หรือมันเป็นคำถามเปิดยัง?$\log(1/\varepsilon)$

ขอบคุณAryeh ที่นำคำถามนี้มาให้ความสนใจ

ดังที่คนอื่น ๆ ได้กล่าวไว้คำตอบสำหรับ (1) คือใช่และวิธีการง่าย ๆ ของการลดความเสี่ยงเชิงประจักษ์ใน$\mathcal{C}$ทำให้เกิดความซับซ้อนของตัวอย่าง$O((d/\varepsilon)\log(1/\varepsilon))$ซับซ้อน (ดู Vapnik และ Chervonenkis, 1974; Blumer, Ehrenfeucht, Haussler และ Warmuth, 1989)

ในฐานะที่เป็น (2) ในความเป็นจริงที่รู้กันว่ามีอยู่ช่องว่าง$\mathcal{C}$ ที่ไม่เหมาะสมประสบความสำเร็จในขั้นตอนวิธีการเรียนรู้ที่ดีกว่า$\Omega((d/\varepsilon)\log(1/\varepsilon))$ซับซ้อนตัวอย่างและการเรียนรู้ที่เหมาะสมจึงไม่สามารถบรรลุที่ดีที่สุด$O(d/\varepsilon)$ความซับซ้อนตัวอย่าง สำหรับความรู้ของฉันความจริงข้อนี้ไม่เคยได้รับการเผยแพร่จริง ๆ แต่มีรากฐานมาจากข้อโต้แย้งที่เกี่ยวข้องของ Daniely และ Shalev-Shwartz (COLT 2014) (เดิมเป็นสูตรสำหรับคำถามที่แตกต่างกัน

พิจารณากรณีที่เรียบง่าย$d=1$และใส่พื้นที่$\mathcal{X}$เป็น$\{1,2,...,1/\varepsilon\}$ , และ$\mathcal{C}$คือ singletons $f_z(x) := \mathbb{I}[x = z], z \in \mathcal{X}$ : นั่นคือตัวจําแนกแต่ละตัวใน$\mathcal{C}$ประเภทหนึ่งจุดจาก$\mathcal{X}$เป็น$1$และอื่น ๆ เป็น$0$. สำหรับขอบเขตล่างใช้ฟังก์ชันเป้าหมายเป็นการสุ่มซิงเกิลตัน$f_{x^*}$โดยที่$x^{*} \sim {\rm Uniform}(\mathcal{X})$ , และ$P$ , การกระจายตัวของส่วนขอบของ$X$เป็นชุดบน$\mathcal{X}\setminus\{x^*\}$ . ตอนนี้ผู้เรียนไม่เคยเห็นตัวอย่างใด ๆ ที่มีป้ายกำกับ$1$แต่จะต้องเลือกจุด$z$เพื่อเดาว่ามีป้ายกำกับ$1$ (ที่สำคัญฟังก์ชั่น `'ทั้งหมดเป็นศูนย์' ' ไม่ได้อยู่ใน$\mathcal{C}$ใด ๆ ดังนั้นผู้เรียนที่เหมาะสมจะต้องเดาบาง$z$ ) และจนกว่าจะได้เห็นทุกจุดใน$\mathcal{X}\setminus\{x^*\}$มันมีอย่างน้อย$1/2$โอกาสของการคาดเดาไม่ถูกต้อง (เช่นความน่าจะเป็นหลังของ$f_z$มี$z \neq x^*$อย่างน้อย$1/2$ ) อาร์กิวเมนต์สะสมคูปองหมายถึงมันจะต้อง$\Omega((1/\varepsilon)\log(1/\varepsilon))$ตัวอย่างที่จะเห็นจุดในทุก$\mathcal{X} \setminus \{x^*\}$ } ดังนั้นนี้พิสูจน์ต่ำผูกพันของ$\Omega((1/\varepsilon)\log(1/\varepsilon))$สำหรับผู้เรียนที่เหมาะสมทั้งหมด

สำหรับทั่วไป$d>1$เราใช้$\mathcal{X}$เป็น$\{1,2,...,d/(4\varepsilon)\}$ , ใช้$\mathcal{C}$เป็นตัวแยกประเภท$\mathbb{I}_{A}$สำหรับชุด$A \subset \mathcal{X}$มีขนาดตรง$d$ , เลือกฟังก์ชั่นเป้าหมายโดยการสุ่มจาก$\mathcal{C}$ , และใช้$P$อีกครั้งเหมือนกันในจุดที่ฟังก์ชั่นเป้าหมายจำแนก$0$ ( ดังนั้นผู้เรียนจะไม่เห็นจุดที่มีป้ายกำกับ$1$) แล้วลักษณะทั่วไปของการโต้แย้งคูปองสะสมหมายถึงเราต้อง$\Omega((d/\varepsilon)\log(1/\varepsilon))$ตัวอย่างที่จะเห็นอย่างน้อย$|\mathcal{X}| - 2d$จุดที่แตกต่างจาก$\mathcal{X}$และไม่เห็นจุดนี้แตกต่างกันมาก ๆ เรียนที่เหมาะสมมีอย่างน้อย$1/3$โอกาสในการได้รับมากกว่า$d/4$ของการคาดเดาของของdจุดผิดพลาดในการได้รับการแต่งตั้งสมมติฐานของเอช$A$$d$$h_{A}$หมายถึงอัตราความผิดพลาดของตนเป็นใหญ่กว่าε$\varepsilon$ดังนั้นในกรณีนี้ไม่มีการเรียนรู้ที่เหมาะสมกับความซับซ้อนตัวอย่างขนาดเล็กกว่า$\Omega((d/\varepsilon)\log(1/\varepsilon))$ซึ่งหมายความว่าไม่มีการเรียนรู้ที่เหมาะสมประสบความสำเร็จในความซับซ้อนตัวอย่างที่ดีที่สุด$O(d/\varepsilon)$ )

โปรดทราบว่าผลลัพธ์ค่อนข้างเฉพาะกับพื้นที่$\mathcal{C}$สร้างขึ้น มีช่องว่างที่มีอยู่ทำ$\mathcal{C}$ที่เรียนที่เหมาะสมสามารถบรรลุ$O(d/\varepsilon)$ซับซ้อนตัวอย่างที่ดีที่สุดและแน่นอนแม้ที่แน่นอนแสดงออกเต็ม$O((d/\varepsilon)+(1/\varepsilon)\log(1/\delta))$จาก ( Hanneke, 2016a) ขอบเขตบนและล่างสำหรับผู้เรียน ERM ทั่วไปได้รับการพัฒนาใน (Hanneke, 2016b) ซึ่งวัดปริมาณในแง่ของคุณสมบัติของพื้นที่$\mathcal{C}$รวมถึงการพูดคุยกรณีพิเศษบางอย่างที่บางครั้งผู้เรียนที่เหมาะสมสามารถบรรลุความซับซ้อนของตัวอย่างที่ดีที่สุดได้

อ้างอิง:

Vapnik และ Chervonenkis (1974) ทฤษฎีการจดจำรูปแบบ Nauka มอสโก 2517

Blumer, Ehrenfeucht, Haussler และ Warmuth (1989) ความสามารถในการเรียนรู้และมิติของ Vapnik-Chervonenkis วารสารสมาคมเพื่อการคำนวณเครื่องจักร, 36 (4): 929–965

Daniely และ Shalev-Shwartz (2014) ผู้เรียนที่เหมาะสมที่สุดสำหรับปัญหาหลายคลาส ในการประชุมวิชาการทฤษฎีการเรียนรู้ครั้งที่ 27.

Hanneke (2016a) ความซับซ้อนของตัวอย่างที่เหมาะสมที่สุดของการเรียนรู้ PAC วารสารการวิจัยการเรียนรู้ของเครื่องภาคการ 17 (38), pp. 1-15

Hanneke (2016b) ขอบเขตข้อผิดพลาดที่บริสุทธิ์สำหรับอัลกอริทึมการเรียนรู้หลายอย่าง วารสารการวิจัยการเรียนรู้ของเครื่องภาคการ 17 (135), pp. 1-55

คำถามของคุณ (1) และ (2) เกี่ยวข้อง อันดับแรกให้พูดถึงการเรียนรู้ PAC ที่เหมาะสม เป็นที่ทราบกันดีว่ามีผู้เรียน PAC ที่เหมาะสมที่บรรลุข้อผิดพลาดของตัวอย่างเป็นศูนย์และยังต้องการตัวอย่าง สำหรับหลักฐานที่เรียบง่ายของεพึ่งพาพิจารณาระดับแนวคิดของช่วงเวลา[,ข]⊆[0,1]ภายใต้การกระจายชุด ถ้าเราเลือกที่เล็กที่สุดช่วงเวลาที่สอดคล้องกันเราแน่นอนได้รับความซับซ้อนตัวอย่างO(1/ε) อย่างไรก็ตามเราเลือกช่วงเวลาที่สอดคล้องกันมากที่สุดและแนวคิดเป้าหมายคือช่วงเวลาเช่น[0,0$\Omega(\frac{d}{\epsilon}\log\frac1\epsilon)$$\epsilon$$[a,b]\subseteq[0,1]$$O(1/\epsilon)$$[0,0]$. จากนั้นอาร์กิวเมนต์ตัวรวบรวมคูปองแบบง่ายแสดงให้เห็นว่าถ้าเราไม่ได้รับประมาณตัวอย่างเราจะถูกหลอกโดยการเว้นวรรคระหว่างตัวอย่างเชิงลบ (ชนิดเดียวที่เราเห็น) - ซึ่งมีพฤติกรรมลักษณะ1/[ขนาดตัวอย่าง] ภายใต้การแจกแจงแบบเดียวกัน ขอบเขตทั่วไปที่ต่ำกว่าของประเภทนี้มีให้ใน$\frac{1}{\epsilon}\log\frac1\epsilon$$1/$

P. Auer, R. Ortner PAC ใหม่ถูกผูกไว้สำหรับคลาสคอนเซปต์ที่ปิดทางแยก การเรียนรู้ของเครื่อง 66 (2-3): 151-163 (2007) http://personal.unileoben.ac.at/rortner/Pubs/PAC-intclosed.pdf

สิ่งที่เกี่ยวกับ PAC ที่เหมาะสมคือเพื่อให้ได้ผลลัพธ์ที่เป็นบวกในกรณีที่เป็นนามธรรมเราไม่สามารถระบุอัลกอริทึมที่นอกเหนือจาก ERM ซึ่งระบุว่า "ค้นหาแนวคิดที่สอดคล้องกับตัวอย่างที่มีข้อความ" เมื่อคุณมีโครงสร้างเพิ่มเติมเช่นช่วงเวลาคุณสามารถตรวจสอบอัลกอริทึม ERM ที่แตกต่างกันสองรายการดังกล่าวข้างต้น: ส่วนที่สอดคล้องกันน้อยที่สุดและสูงสุด และสิ่งเหล่านี้มีความซับซ้อนของตัวอย่างที่แตกต่างกัน!

พลังของ PAC ที่ไม่เหมาะสมคือคุณได้รับการออกแบบรูปแบบการลงคะแนนต่าง ๆ (ผลลัพธ์ของ Hanneke) - และโครงสร้างเพิ่มเติมนี้ช่วยให้คุณพิสูจน์อัตราที่ดีขึ้น (เรื่องราวนั้นง่ายกว่าสำหรับผู้ไม่เชื่อเรื่องพระเจ้า PAC ที่ ERM ให้อัตรากรณีเลวร้ายที่สุดเท่าที่จะเป็นไปได้ดีที่สุดจนถึงค่าคงที่)

แก้ไข ตอนนี้มันเกิดขึ้นกับฉันแล้วว่ากลยุทธ์การทำนายกราฟแบบรวม 1 รายการของ D. Haussler, N. Littlestone, Md K. Warmuth การทำนาย {0,1} - ความสามารถในการสุ่มจับคะแนน Inf คอมพิวเต 115 (2): 248-292 (1994) อาจเป็นผู้สมัครที่เป็นธรรมชาติสำหรับผู้เรียน PAC สากลที่เหมาะสม$O(d/\epsilon)$

หากต้องการเพิ่มคำตอบที่ยอมรับในปัจจุบัน:

1. ใช่. The ซับซ้อนตัวอย่างที่ถูกผูกไว้บนถือสำหรับที่เหมาะสม PAC เรียนรู้ได้เป็นอย่างดี(แม้ว่ามันจะเป็นสิ่งสำคัญที่จะทราบว่ามันอาจจะไม่นำไปสู่ขั้นตอนวิธีการเรียนรู้ที่มีประสิทธิภาพคอมพิวเตอร์. ซึ่งเป็นเรื่องปกติเนื่องจากเว้นแต่NP=RPมันเป็นที่รู้จักกันว่าบางคนเรียนอยู่ ไม่เหมาะสมที่จะเรียนรู้ PAC ได้อย่างมีประสิทธิภาพเช่นทฤษฎีบท 1.3 ใน Kearns— Vazirani หนังสือที่คุณพูดถึง) นี้จะแสดงจริงในหนังสือเล่ม Kearns-Vazirani (ทฤษฎีบท 3.3) เนื่องจากLมีการค้นหาสมมติฐานที่สอดคล้องกับระดับสมมติฐานH=C ดูเพิ่มเติมที่ [1]

   $$O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$$ $\mathsf{NP}=\mathsf{RP}$$L$$\mathcal{H}=\mathcal{C}$

2. ไม่ทราบ อัลกอริทึมของ Hanneke [2] เป็นอัลกอริทึมการเรียนรู้ที่ไม่เหมาะสม ไม่ว่าจะเป็นปัจจัยพิเศษ( 1 / ε )ในตัวอย่างความซับซ้อนสามารถลบออกได้สำหรับการเรียนรู้ PAC ที่เหมาะสม(ข้อมูลเชิงทฤษฎีเช่นการตั้งค่าข้อกำหนดด้านประสิทธิภาพการคำนวณใด ๆ ) ยังคงเป็นคำถามเปิดอยู่ cf เลย คำถามเปิดท้าย [3]:$\log(1/\varepsilon)$

   คลาสสิกก็ยังคงเป็นคำถามเปิดว่า -factor ในขอบเขตบนของ [1] สำหรับ( ε , δ ) -proper การเรียนรู้ PAC เป็นสิ่งที่จำเป็น$\log(1/\varepsilon)$$(\varepsilon, \delta)$

   (เชิงอรรถ 1 ในกระดาษเดียวกันก็มีความเกี่ยวข้องเช่นกัน)

[1] A. Blumer, A. Ehrenfeucht, D. Haussler และ MK Warmuth ความสามารถในการเรียนรู้และมิติของ Vapnik-Chervonenkis วารสาร ACM, 36 (4): 929–965, 1989

[2] S. Hanneke ความซับซ้อนตัวอย่างที่ดีที่สุดของการเรียนรู้ PAC เจมัค เรียน Res 17, 1, 1319-1333, 2016

[3] S. Arunachalam และ R. de Wolf ความซับซ้อนของตัวอย่างควอนตัมที่เหมาะสมที่สุดของอัลกอริทึมการเรียนรู้ ในการประชุมที่ซับซ้อนเชิงคอมพิวเตอร์ครั้งที่ 32 (CCC) 2017