มีการปรับปรุงอัลกอริทึมของ Dana Angluin สำหรับการเรียนรู้ชุดปกติหรือไม่

ในปี 1987 กระดาษ Dana Angluin นำเสนออัลกอริธึมเวลาพหุนามสำหรับการเรียนรู้ DFA จากการค้นหาสมาชิกและการสอบถามทฤษฎี

แสดงให้เห็นว่าเธอว่าถ้าคุณกำลังพยายามที่จะเรียนรู้น้อยที่สุด DFA กับรัฐและ countexample ใหญ่ที่สุดของคุณคือความยาวแล้วคุณต้องการที่จะทำให้สมาชิกแบบสอบถามและที่มากที่สุดทฤษฎีแบบสอบถาม $n$ $m$ $O(mn^2)$ $n - 1$

มีการปรับปรุงจำนวนแบบสอบถามที่จำเป็นในการเรียนรู้ชุดปกติหรือไม่?

การอ้างอิงและคำถามที่เกี่ยวข้อง

Dana Angluin (1987) "การเรียนรู้ชุดปกติจากการค้นหาและการตอบโต้", Infortmation และการคำนวณ 75: 87-106
ขอบเขตที่ต่ำกว่าสำหรับการเรียนรู้ในคิวรีการเป็นสมาชิกและโมเดลตัวอย่าง

algorithms learning-theory machine-learning

— Artem Kaznatcheev
แหล่งที่มา

หวังว่า @DominikFreydenberger จะเข้ามาในอนาคต เขาจะรู้

— กราฟิลส์

ฉันสงสัยว่า @LevReyzin ก็รู้คำตอบเหมือนกัน ... และนั่นเป็นสาเหตุที่ฉันคิดว่าจะถามคำถามเกี่ยวกับ cstheory แต่ฉันคิดว่าฉันน่าจะช่วยขยายไซต์ใหม่นี้

— Artem Kaznatcheev

ไม่ใช่คำตอบสำหรับคำถาม แต่อาจยังมีประโยชน์: [ citeulike.org/user/erelsegal-halevi/article/9275508เคอร์เนลสากลสำหรับการเรียนรู้ภาษาปกติ]

— Erel Segal-Halevi

ขอบคุณสำหรับลิงค์ @Erel แต่ฉันไม่เข้าใจว่ามันเกี่ยวข้องอย่างไร เคอร์เนลสากลของ Kontorovich นั้นไม่สามารถคำนวณได้อย่างมีประสิทธิภาพและรูปแบบของการเรียนรู้ไม่มีตัวอย่างที่แน่นอน

— Artem Kaznatcheev

คำตอบ:

ในคำตอบของเขา ใน cstheory.SE เลฟเรซินกำกับให้ฉันไปทำวิทยานิพนธ์ของ Robert Schapireซึ่งปรับปรุงขอบเขตการสืบค้นสมาชิกในหัวข้อ 5.4.5 จำนวนการค้นหาตัวอย่างการนับยังคงไม่เปลี่ยนแปลง Schapire อัลกอริทึมใช้แตกต่างกันในสิ่งที่มันทำหลังจากแบบสอบถามตัวอย่าง $O(n^2 + n\log m)$

ร่างของการปรับปรุง

ในระดับสูงสุด Schapire บังคับจากอัลกอริทึมของ Angluin เพื่อให้มีเงื่อนไขพิเศษสำหรับการปิดและแต่ละถ้าแล้ว(s_2) สิ่งนี้รับประกันได้ว่าและยังทำให้คุณสมบัติความสอดคล้องของอัลกอริทึมของ Angluin เล็กน้อยเพื่อตอบสนอง เพื่อให้แน่ใจว่าสิ่งนี้เขาจะต้องจัดการกับผลลัพธ์ของตัวอย่างที่แตกต่างกัน $(S,E,T)$ $(S,E,T)$ $s_1, s_2 \in S$ $s_1 \neq s_2$ $row(s_1) \neq row(s_2)$ $|S| \leq n$

กำหนด counterexample , Angluin เพิ่มเพียงและคำนำหน้าทั้งหมดที่จะSSchapire ทำบางสิ่งที่ลึกซึ้งยิ่งขึ้นโดยการเพิ่มองค์ประกอบเดียวถึงแทน ใหม่นี้จะทำให้ไม่ถูกปิดในความหมายของ Angluin และการปรับปรุงเพื่อปิดด้วยการแนะนำสตริงใหม่อย่างน้อยหนึ่งรายการไปยังในขณะที่ทำให้แถวทั้งหมดไม่เหมือนกัน เงื่อนไขในคือ: $z$ $z$ $S$ $e$ $E$ $e$ $(S,E,T)$ $S$ $e$

\exists s, s^{'} \in S, a \in Σ s.t r o w (s) = r o w (s^{'} a) and o (δ (q_{0}, s e)) \neq o (δ (q_{0}, s^{'} a e))

$\exists s, s' \in S, a \in \Sigma \quad \text{s.t} \quad row(s) = row(s'a) \; \text{and} \; o(\delta(q_0,se)) \neq o(\delta(q_0,s'ae))$

โดยที่คือฟังก์ชันเอาต์พุตเป็นสถานะเริ่มต้นและกฎการอัพเดตของ DFA จริง 'ไม่ทราบ' ใน otherwords,ต้องทำหน้าที่เป็นพยานในการแยกแยะความแตกต่างในอนาคตของจากs'a $o$ $q_0$ $\delta$ $e$ $s$ $s'a$

ในการหาจากเราจะทำการค้นหาแบบไบนารีเพื่อหาสตริงย่อยซึ่งและเช่นว่าพฤติกรรมของเครื่องที่คาดคะเนของเรานั้นแตกต่างกันไปตามอักขระอินพุตหนึ่งตัว ในรายละเอียดมากขึ้นเราให้เป็นสตริงที่สอดคล้องกับรัฐถึงในเครื่องของเราโดยคาดคะเนต่อไปp_iเราใช้การค้นหาแบบไบนารี (นี่คือที่ที่มาจาก) เพื่อค้นหาที่ . ในคำอื่น ๆ $e$ $z$ $r_i$ $z = p_ir_i$ $0 \leq |p_i| = i < |z|$ $s_i$ $p_i$ $\log m$ $k$ $o(\delta(q_0,s_kr_k)) \neq o(\delta(q_0,s_{k+1}r_{k+1})$ $r_{k+1}$ แตกต่างสองรัฐว่าเครื่องคาดคะเนของเราพบว่าเทียบเท่าและทำให้ตอบสนองเงื่อนไขในเพื่อให้เราเพิ่มเข้าไปในE $e$ $E$

— Artem Kaznatcheev
แหล่งที่มา

ฉันไม่ทราบว่าคำตอบของฉันยังคงเกี่ยวข้อง เมื่อไม่นานมานี้มีการอธิบายถึงการใช้งานอัลกอริธึมใหม่ที่เรียกว่า Observation Pack หรือในบางกรณีต้นไม้การเลือกปฏิบัติโดย Falk Howar อัลกอริทึมนี้เหมือนกับ L * แต่ใช้ Rivest-Shapire หรือวิธีอื่น (ดู Steffen และ Isberner) เพื่อจัดการกับการสลายตัวอย่าง และใช้โครงสร้างข้อมูลต้นไม้แยก (ต้นไม้ไบนารี) สำหรับการทำให้มีประสิทธิภาพเป็น "ลอด" คือการแทรกของ A-transition (โดยที่ A คือสัญลักษณ์แต่ละตัวอักษร) ของสถานะใหม่ที่พบจนกระทั่งไม่มีการปิด . อัลกอริทึมนี้มีอยู่ในสองรุ่น: OneGlobally และ OneLocally ตามว่าคำต่อท้ายก่อตั้งขึ้นในการสลายตัวจะถูกเพิ่มไปยังแต่ละองค์ประกอบหรือไม่ (อัตราส่วนหลังอัลกอริทึมคือว่าคำนำหน้าทั้งหมดในองค์ประกอบเทียบเท่ากับคำนำหน้าสั้น ๆ และเป็นตัวแทนของรัฐเดียวกันในเป้าหมายตามคำต่อท้ายพบ ในเวลานี้ในภายหลังพร้อมกับตัวอย่างใหม่พบคำต่อท้ายใหม่ที่แยกคำนำหน้าอย่างน้อย 2 ขององค์ประกอบเดียวกันซึ่งทำให้เกิดการแยกส่วนประกอบนั้นในสององค์ประกอบ) ด้วย OneLocally มีการสอบถามความเป็นสมาชิกน้อยกว่ามาก แต่จำนวนการสอบถามความเท่าเทียมกันสามารถเพิ่มขึ้นอย่างมากกับ DFA เป้าหมายขนาดใหญ่ ค่อนข้าง OneGlobally มีจำนวนของแบบสอบถามการเป็นสมาชิกต่ำกว่า L * (แต่มากกว่า OneLocally) และแบบสอบถามที่เทียบเท่าจำนวนที่คล้ายกันกว่า L * ในภายหลังพร้อมกับตัวอย่างใหม่พบคำต่อท้ายใหม่ที่แยกคำนำหน้าอย่างน้อย 2 ขององค์ประกอบเดียวกัน สิ่งนี้ทำให้เกิดการแยกส่วนประกอบนั้นในสององค์ประกอบ) ด้วย OneLocally มีการสอบถามความเป็นสมาชิกน้อยกว่ามาก แต่จำนวนการสอบถามความเท่าเทียมกันสามารถเพิ่มขึ้นอย่างมากกับ DFA เป้าหมายขนาดใหญ่ ค่อนข้าง OneGlobally มีจำนวนของแบบสอบถามการเป็นสมาชิกต่ำกว่า L * (แต่มากกว่า OneLocally) และแบบสอบถามที่เทียบเท่าจำนวนที่คล้ายกันกว่า L * ในภายหลังพร้อมกับตัวอย่างใหม่พบคำต่อท้ายใหม่ที่แยกคำนำหน้าอย่างน้อย 2 ขององค์ประกอบเดียวกัน สิ่งนี้ทำให้เกิดการแยกส่วนประกอบนั้นในสององค์ประกอบ) ด้วย OneLocally มีการสอบถามความเป็นสมาชิกน้อยกว่ามาก แต่จำนวนการสอบถามความเท่าเทียมกันสามารถเพิ่มขึ้นอย่างมากกับ DFA เป้าหมายขนาดใหญ่ ค่อนข้าง OneGlobally มีจำนวนของแบบสอบถามการเป็นสมาชิกต่ำกว่า L * (แต่มากกว่า OneLocally) และแบบสอบถามที่เทียบเท่าจำนวนที่คล้ายกันกว่า L *

ฉันรู้ว่ามีอัลกอริทึมอื่นด้วย: อัลกอริทึม TTT ที่ดีกว่า Observation Pack ด้วย แต่ฉันไม่มีความรู้ที่ดีเลยอัลกอริธึม TT ควรเป็นสถานะของศิลปะ

— Umbert
แหล่งที่มา

ขอบคุณสำหรับคำตอบนี้! คุณมีเอกสารอ้างอิงสำหรับอัลกอริทึม Howar และสำหรับ TTT หรือไม่?

— Artem Kaznatcheev

นี่สำหรับลิงก์ Observation Pack Howar และนี่สำหรับลิงค์ TTT อัลกอริทึมTTT คุณสามารถค้นหาการใช้งานใน LearLib (Observation Pack เรียกว่ามีต้นไม้การเลือกปฏิบัติ)

— Umbert