อัลกอริทึมแบบจำลองแบบสอบถามทางสถิติหรือไม่

ฉันถามคำถามนี้ในการถามตอบที่ผ่านการตรวจสอบแล้ว แต่ดูเหมือนว่าเกี่ยวข้องกับ CS มากกว่าสถิติ

คุณสามารถยกตัวอย่างอัลกอริธึมการเรียนรู้ของเครื่องซึ่งเรียนรู้จากคุณสมบัติทางสถิติของชุดข้อมูลที่ไม่ใช่การสังเกตการณ์ของตัวเองเช่นการใช้แบบจำลองแบบสอบถามเชิงสถิติได้หรือไม่

เกือบทุกอัลกอริทึมที่ทำงานในรูปแบบ PAC (ยกเว้นอัลกอริธึมการเรียนรู้พาริตี้) สามารถทำให้ทำงานในรูปแบบ SQ ได้ ดูเช่นกระดาษของ Blum และคณะ ซึ่งอัลกอริธึมที่ได้รับความนิยมจำนวนมากได้รับการแปลเป็นเทียบเท่า SQ ของพวกเขา ( Practical Privacy: the SuLQ framework ) บทความนี้เกี่ยวข้องกับ "ความเป็นส่วนตัว" แต่คุณสามารถเพิกเฉยได้นั่นเป็นเพียงการนำอัลกอริธึมมาใช้กับการสืบค้น SQ

ในทางตรงกันข้ามการเรียนรู้แบบไม่เชื่อเรื่องพระเจ้านั้นยากกว่ามากในแบบจำลอง SQ: ปัญหาการคำนวณนอกเหนือ (แม้ว่าสิ่งเหล่านี้มีความสำคัญ) ความซับซ้อนของตัวอย่างที่จำเป็นสำหรับการเรียนแบบไม่เชื่อเรื่องพระเจ้านั้นค่อนข้างเหมือนกับที่จำเป็นสำหรับการเรียนรู้อย่างแน่นอน จุดข้อมูล ในทางตรงกันข้ามการเรียนรู้แบบไม่เชื่อเรื่องพระเจ้ากลายเป็นเรื่องยากมากขึ้นในแบบจำลอง SQ - โดยปกติคุณจะต้องสร้างแบบสอบถามจำนวนมากแบบพหุนามในเชิงพหุพจน์ ดูบทความนี้โดยเฟลด์แมน ( การศึกษาลักษณะเฉพาะของการเรียนรู้แบบสอบถามเชิงสถิติด้วยแอพพลิเคชั่นเพื่อการเปลี่ยนแปลงได้ ) หรือเอกสารล่าสุดโดย Gupta และคณะ ( คำสันธานส่วนตัวและ Barrier แบบสอบถามทางสถิติ )

แบบจำลอง SQ ถูกสร้างขึ้นเพื่อวิเคราะห์การเรียนรู้ที่ทนต่อเสียงรบกวน - นั่นคืออัลกอริทึมที่ทำงานโดยการทำแบบสอบถามทางสถิติจะทำงานภายใต้เสียงการจำแนกประเภท ตามที่แอรอนกล่าวอัลกอริธึม PAC ส่วนใหญ่ที่เราได้กลายเป็นสิ่งที่เท่าเทียมกันในแบบจำลอง SQ ข้อยกเว้นหนึ่งคือการกำจัดแบบเกาส์ซึ่งใช้ในการเรียนรู้ parities (หนึ่งสามารถใช้โปรแกรมที่ชาญฉลาดของมันเพื่อเรียนรู้ log (n) loglog (n) ขนาด parities ในรูปแบบเสียงการจำแนก) เรารู้ด้วยว่า parities ไม่สามารถเรียนรู้ด้วยแบบสอบถามเชิงสถิติและกลายเป็นคลาสที่น่าสนใจที่สุดเช่นต้นไม้ตัดสินใจสามารถจำลองฟังก์ชัน parity ได้ ดังนั้นในการแสวงหาของเราเพื่อรับอัลกอริทึมการเรียนรู้ PAC สำหรับชั้นเรียนที่น่าสนใจมากมาย (เช่นต้นไม้ตัดสินใจ, DNF เป็นต้น) เรารู้ว่าเราจำเป็นต้องมีอัลกอริทึมการเรียนรู้ใหม่ที่ไม่สามารถใช้ได้ในรูปแบบแบบสอบถามเชิงสถิติ

ฉันต้องการชี้แจงการตอบสนองของแอรอนเล็กน้อย เกือบทุกอัลกอริทึมผู้ไม่เชื่อเรื่องพระเจ้า (อีกครั้งยกเว้นสิ่งที่ใช้การกำจัดแบบเกาส์) สามารถทำงานในรูปแบบ SQ โดยธรรมชาติแล้วการเรียนรู้แบบไม่เชื่อเรื่องพระเจ้านั้นยากกว่าการเรียนรู้แบบไม่เชื่อเรื่องพระเจ้า แต่นี่เป็นคำถามที่เป็นอิสระ