การรวมลักษณะเฉพาะของการเรียนรู้ที่แน่นอนพร้อมข้อความค้นหาการเป็นสมาชิก


15

แก้ไข:เนื่องจากฉันไม่ได้รับคำตอบ / ความคิดเห็นใด ๆ ในหนึ่งสัปดาห์ฉันต้องการเพิ่มว่าฉันมีความสุขที่ได้ยินอะไรเกี่ยวกับปัญหา ฉันไม่ได้ทำงานในพื้นที่ดังนั้นแม้ว่าจะเป็นเรื่องง่ายฉันอาจไม่รู้ แม้แต่ความคิดเห็นเช่น "ฉันทำงานในพื้นที่ แต่ฉันไม่เห็นลักษณะเช่นนี้" จะเป็นประโยชน์!

พื้นหลัง:

มีรูปแบบการเรียนรู้ที่ดีหลายอย่างในทฤษฎีการเรียนรู้ (เช่นการเรียนรู้ PAC การเรียนรู้ออนไลน์

ตัวอย่างเช่นในการเรียนรู้ PAC ความซับซ้อนของตัวอย่างของคลาสแนวคิดมีลักษณะเชิงผสมที่ดีในแง่ของมิติ VC ของคลาส ดังนั้นหากเราต้องการที่จะเรียนรู้ชั้นเรียนที่มีความแม่นยำและความมั่นใจอย่างต่อเนื่องสิ่งนี้สามารถทำได้ด้วยตัวอย่างΘ(d)โดยที่คือมิติ VC (โปรดทราบว่าเรากำลังพูดถึงความซับซ้อนของตัวอย่างไม่ใช่ความซับซ้อนของเวลา) นอกจากนี้ยังมีคุณลักษณะที่ละเอียดยิ่งขึ้นในแง่ของความแม่นยำและความมั่นใจ ในทำนองเดียวกันรูปแบบความผิดพลาดที่ถูกผูกไว้ของการเรียนรู้ออนไลน์มีลักษณะตัวอักษรแบบ combinatorial ที่ดีd

คำถาม:

ฉันต้องการที่จะรู้ว่าผลลัพธ์ที่คล้ายกันเป็นที่รู้จักกันในรูปแบบของการเรียนรู้ที่แน่นอนด้วยแบบสอบถามสมาชิก รูปแบบที่ถูกกำหนดไว้ดังต่อไปนี้: เรามีการเข้าถึงกล่องดำซึ่งการป้อนข้อมูลช่วยให้คุณ(x) เรารู้มาจากบางส่วนแนวคิดระดับCเราต้องการพิจารณาด้วยคำค้นหาน้อยที่สุดxf(x)fCf

มีพารามิเตอร์ combinatorial ของคลาสแนวคิดที่กำหนดจำนวนของแบบสอบถามที่จำเป็นในการเรียนรู้แนวคิดในรูปแบบของการเรียนรู้ที่แน่นอนด้วยแบบสอบถามสมาชิกหรือไม่C

สิ่งที่ฉันรู้:

ที่ดีที่สุดของตัวละครเช่นฉันได้พบอยู่ในกระดาษนี้โดย Servedio และ Gortlerโดยใช้พารามิเตอร์ที่พวกเขาแอตทริบิวต์ไปBshouty, Cleve, Gavalda, คานและ Tamon พวกเขากำหนดพารามิเตอร์ combinatorial เรียกว่าโดยที่คือคลาสแนวคิดซึ่งมีคุณสมบัติดังต่อไปนี้ (ให้เป็นจำนวนคำค้นหาที่ดีที่สุดที่จำเป็นในการเรียนรู้ในรูปแบบนี้)γCCQCC

QC=Ω(1/γC)QC=Ω(log|C|)QC=O(log|C|/γC)

ลักษณะนี้เกือบจะแน่น อย่างไรก็ตามอาจมีช่องว่างกำลังสองระหว่างขอบเขตบนและล่าง ตัวอย่างเช่นถ้าแล้วขอบเขตล่างเป็นแต่ถูกผูกไว้บนเป็น2) (ฉันคิดว่าช่องว่างนี้ทำได้เช่นกันคือมีคลาสแนวคิดที่ขอบเขตล่างมีทั้งแต่ขอบเขตบนคือ )1/γC=log|C|=kΩ(k)O(k2)Ω(k)O(k2)


1
"มิติข้อมูลกองหญ้า" แสดงถึงความซับซ้อนของแบบสอบถามในการปรับฟังก์ชั่น: cis.upenn.edu/~mkearns/papers/haystack.pdfสิ่งนี้แตกต่างจากสิ่งที่คุณต้องการ แต่คุณอาจสนุกกับงานที่เกี่ยวข้องซึ่งอธิบายถึงสิ่งที่เป็นที่รู้จักเกี่ยวกับลักษณะ ความซับซ้อนของแบบสอบถามในการเรียนรู้ที่แน่นอน
Aaron Roth

คำตอบ:


6

ในการผลักดันจุดตัวอย่างของมูซนิรนามกลับบ้านให้พิจารณาคลาสแนวคิดที่ประกอบด้วยฟังก์ชันที่เอาต์พุต 1 ในจุดเดียวใน {0,1} ^ n คลาสมีขนาด 2 ^ n และจำเป็นต้องใช้แบบสอบถาม 2 ^ n ในกรณีที่แย่ที่สุด ดูมิติการสอนที่เลวร้ายที่สุด (Goldman & Schapire) ซึ่งให้สิ่งที่คล้ายกับสิ่งที่คุณกำลังมองหา


1
ขอบคุณ! การค้นหามิติการสอนนำฉันไปสู่มิติการสอนแบบขยายซึ่งคล้ายกับพารามิเตอร์ combinatorial ที่ฉันพูดถึงในคำถามซึ่งนำฉันไปสู่บทความที่น่าสนใจอื่น ๆ อีกมากมายในหัวข้อ
Robin Kothari

4

ฉันไม่รู้ลักษณะดังกล่าว อย่างไรก็ตามมันก็คุ้มค่าที่จะต้องทราบว่าสำหรับเกือบทุกคลาสคอนเซ็ปต์เราต้องค้นหาทุกประเด็น หากต้องการดูสิ่งนี้ให้พิจารณาคลาสแนวคิดที่ประกอบด้วยเวกเตอร์บูลีน n-มิติทั้งหมดที่มีน้ำหนักแฮมมิง 1. คลาสแนวคิดนี้ต้องมีข้อความค้นหา n เพื่อเรียนรู้ซึ่งเท่ากับความสำคัญของมัน คุณอาจจะทำให้การสังเกตนี้เป็นการพูดทั่วไปเพื่อให้ได้ว่าเกือบทุกคลาสแนวคิดจะต้องทำการค้นหาทั้งหมด

ฉันสงสัยว่าให้แนวคิดคลาส C เป็นอินพุตมันเป็นเรื่องยากที่จะกำหนดความซับซ้อนของการเรียนรู้แนวคิดรวบยอดด้วยการสอบถามสมาชิกภาพ สิ่งนี้จะให้ข้อบ่งชี้ว่าไม่มีการจำแนกลักษณะของ combinatorial "ดี" หากคุณต้องการพิสูจน์ผลลัพธ์ความแข็งของ NP แต่ลองและล้มเหลวโปรดโพสต์ที่นี่และฉันจะดูว่าฉันสามารถเข้าใจได้หรือไม่ (ฉันมีความคิด)


1
ขอบคุณสำหรับคำตอบ แม้ว่ามันจะเป็นความจริงที่คลาสคอนเซ็ปต์เกือบทั้งหมด (ภายใต้การแจกจ่ายที่สมเหตุสมผลบนคลาส) นั้นยากที่จะเรียนรู้ แต่คลาสบางคลาสนั้นง่ายต่อการเรียนรู้และมันน่าสนใจที่จะมีพารามิเตอร์ combinatorial ฉันไม่รังเกียจหากพารามิเตอร์นั้นยากต่อการคำนวณ แม้แต่มิติ VC ไม่สามารถคำนวณได้อย่างมีประสิทธิภาพ
Robin Kothari

1

แม้ว่าคนอื่นจะมีคำตอบที่ชัดเจน ฉันคิดว่าฉันอาจทำให้มันมีอยู่ในตัวเองและแสดงว่าทำไมมิติการสอนจึงเป็นคำตอบ

พิจารณาแนวคิดระดับมากกว่าเข้าพื้นที่CX ชุดขององค์ประกอบ S Xเรียกว่าชุดการเรียนการสอนสำหรับแนวคิดถ้า Fเป็นแนวคิดเดียวใน Cสอดคล้องกับSXSXffCS

ให้เป็นเซตของชุดการสอนทั้งหมดสำหรับfและกำหนด TD ( f , C ) = m i n { | S | | S T ( ) }จะเป็นมิติการเรียนการสอนของฉ กล่าวคือความสำคัญของการสอนที่เล็กที่สุดคือ TS m i nT(f)f(f,C)=min{ |S| | ST(f)}fใน T ( ) ในทำนองเดียวกันให้พิจารณา TD ( C ) =สูงสุดmin(f)T(f)(C)= TD(F,C)จะเป็นมิติของการเรียนการสอนCfC(f,C)C

จำนวนขั้นต่ำของคำสั่งที่จำเป็นในการระบุเป็น TD ( F , C ) นี้เกิดขึ้นเมื่อกลยุทธ์แบบสอบถามใช้ TS ลำดับm ฉันn ( ) สำหรับคำถามที่น้อยลงเรามีแนวคิดอย่างน้อยสองแนวคิดที่สอดคล้องกัน และ TD ( C )คือขั้นต่ำสำหรับการใด ๆฉf(f,C)min(f)(C)f


ผมไม่เข้าใจว่าทำไมมิติการเรียนการสอนบนขอบเขตความซับซ้อนของการเรียนรู้แบบสอบถามฉอัลกอริทึมมีลักษณะอย่างไร ฟังก์ชันf ที่ไม่รู้จักอัลกอริทึมเมื่อเราเริ่มต้นดังนั้นจึงไม่สามารถสืบค้นชุดการสอนสำหรับf ได้อย่างง่ายดายfffได้อย่างง่ายดาย
Robin Kothari

@RobinKothari TD ลดขอบเขตจำนวนการสืบค้นขั้นต่ำใน MQ-algorithm ใด ๆ ในทางปฏิบัติอาจไม่มีอัลกอริทึมที่สุ่มสี่สุ่มห้าบรรลุข้อผูกพันนี้โดยไม่ต้องโกงหรือใช้รหัส ในบทความ "Queries Revisited" ของ Angluin เธอได้พูดถึงพารามิเตอร์ที่เรียกว่า MQ ซึ่งแสดงถึงจำนวนการสืบค้นที่ต้องการโดย MQ-algorithm ที่ดีที่สุดในกรณีที่เลวร้ายที่สุด ฉันจำรายละเอียดไม่ได้ แต่แน่นอน TD <= MQ
seteropere

1
สิ่งที่ฉันสนใจ (เมื่อฉันถามคำถามนี้) คือพารามิเตอร์ที่อธิบายลักษณะการเรียนรู้ที่แน่นอนด้วยข้อความค้นหาการเป็นสมาชิก มันควรจะเป็นทั้งขอบเขตบนและล่าง ฉันให้ตัวอย่างของพารามิเตอร์ที่ประสบความสำเร็จในเรื่องนี้ (ไม่เกิน log | C | factor) ในคำถาม คำถามของฉันคือสิ่งที่เป็นที่รู้จักกันดีกว่า
Robin Kothari
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.