ผู้ไม่เชื่อเรื่องพระเจ้าเรียนรู้เกี่ยวกับการแจกแจงโดยพลการ

Let จะกระจายมากกว่าคู่ bitstring / ฉลากและให้เป็นคอลเลกชันของฟังก์ชั่นมูลค่าบูล }สำหรับแต่ละฟังก์ชั่นให้: $D$ $\{0,1\}^d\times \{0,1\}$ $C$ $f:\{0,1\}^d\rightarrow\{0,1\}$ $f \in C$ และให้: บอกว่าอัลกอริทึมagnostically เรียนรู้มากกว่าการกระจายใด ๆ ถ้าสำหรับใด ๆมันสามารถมีความน่าจะเป็นพบว่าฟังก์ชั่นดังกล่าวว่า

e r r (f, D) = \underset{(x, y) \sim D}{Pr} [f (x) \neq y]

$err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]$

O P T (C, D) = min_{f \in C} e r r (f, D)

$OPT(C,D) = \min_{f \in C}\ err(f,D)$

A

$A$

C

$C$

D

$D$

2 / 3

$2/3$

f

$f$

, เวลาที่กำหนดและจำนวนของตัวอย่างจาก

ที่ถูกล้อมรอบด้วยพหุนามใน

และ

e r r (f, D) \leq O P T (C, D) + ϵ

$err(f,D) \leq OPT(C,D) + \epsilon$

D

$D$

d

$d$

1 / ϵ

$1/\epsilon$

คำถาม: คลาสใดของฟังก์ชั่นที่ทราบกันดีว่าสามารถเรียนรู้แบบ agnostically ผ่านการแจกแจงตามอำเภอใจ? $C$

ไม่มีคลาสที่ง่ายเกินไป! ฉันรู้ว่าแม้กระทั่งคำสันธานแบบโมโนโทนก็ไม่สามารถเรียนรู้ได้โดยการกระจายตัวตามอำเภอใจดังนั้นฉันแค่มองหาคลาสของฟังก์ชั่นที่ไม่น่าสนใจ

reference-request machine-learning lg.learning

— แอรอนโรท
แหล่งที่มา

คุ้มค่าที่ชี้ให้เห็นสำหรับผู้ที่ไม่ได้ฝึกหัดว่าการเรียนรู้แบบไม่เชื่อเรื่องพระเจ้ามุ่งเน้นไปที่กรณีที่ OPT (C, D)> 0 (นั่นคือคุณมีคลาสสมมติฐานผิด

— Suresh Venkat

จุดดี. ในกรณีพิเศษเมื่อ OPT (C, D) = 0 นี่คือการเรียนรู้ PAC และง่ายกว่ามาก สำหรับการเรียนรู้ผู้ไม่เชื่อเรื่องพระเจ้าการรับประกันจะต้องถือไม่ว่าสิ่งที่ OPT (C, D) คืออะไร

— Aaron Roth

นอกจากนี้ยังมีกรณี "PAC w / Classification Noise" ที่ OPT (C, D)> 0 และถึงแม้ว่าคุณจะมีคลาสสมมติฐานที่ถูกต้อง (การตั้งค่าที่คาดว่าจะเกิดขึ้น) มีข้อผิดพลาดบางประการเนื่องจากฉลากจะถูกเปิดแบบสุ่มเนื่องจากเสียงรบกวน ... หวังว่าชื่อของการตั้งค่าที่แตกต่างกันมีความสับสนน้อยลง

— Lev Reyzin

ฟังดูเหมือนการเรียนรู้ที่ไม่เชื่อเรื่องพระเจ้ากับขอบเขตบนของ OPT (C, D)

— Suresh Venkat

ไม่มากนักเนื่องจากไม่ได้รับอนุญาตให้ใช้เสียงรบกวนในการจำแนกประเภทเสียงรบกวน ดังนั้นหากมีรูปแบบของเสียงรบกวนที่ทำให้การเรียนรู้ (หรือการหาตัวลดความเสี่ยงเชิงประจักษ์) ยากในรูปแบบผู้ไม่เชื่อเรื่องพระเจ้ามันอาจจะไม่เกิดขึ้นบ่อยครั้งในรูปแบบเสียงการจำแนกประเภท (เช่นตกอยู่ในพารามิเตอร์ PAC delta)

— Lev Reyzin

ถ้าไม่มีคลาสใดที่เรียบง่ายเกินไปนี่คือบางคลาส PAC ที่เรียนรู้ได้แบบ agnostically เพื่อตอบสนองต่อความคิดเห็นชั้นเรียนที่มีสมมติฐานจำนวนมากพหุนามถูกขีดฆ่า:

ต้นไม้การตัดสินใจเชิงลึกอย่างต่อเนื่อง (และชั้นเรียนอื่น ๆ ที่มีเพียงสมมติฐานจำนวนมากโพลี)
~~$R^2$ $O(n^2)$~~
สหภาพช่วงเวลา (การเขียนโปรแกรมแบบไดนามิก)
$\log(k)\log\log(k)$ $n$
~~ชั้นเรียนสมมติฐานอื่น ๆ ในการตั้งค่ามิติต่ำ~~

ค่อนข้างทุกอย่างอื่นคือ NP-Hard ที่จะเรียนรู้ PAC อย่างน้อย (อย่างถูกต้อง) agnostically

อดัมกาลีสอนเกี่ยวกับการเรียนรู้ผู้ไม่เชื่อเรื่องพระเจ้าอาจทำให้คุณสนใจ

— Lev Reyzin
แหล่งที่มา

ขอบคุณ ต้นไม้การตัดสินใจเชิงลึกคงที่ดังนั้นไฮเปอร์เพลน 2 มิติ (ฉันถือว่าการตั้งค่ามิติต่ำอื่น ๆ ที่คุณอ้างถึง) ทั้งหมดตกอยู่ในหมวดหมู่ของการมีฟังก์ชั่นจำนวนมากแบบพหุนามซึ่งสามารถเรียนรู้ได้ด้วยความอ่อนเพลีย พาริตีบนล็อก (k) loglog (k) บิตและช่วงเวลาของสหภาพมีความน่าสนใจเนื่องจากมีฟังก์ชั่นมากมายหลายแบบ มีคนอื่นเช่นนี้อีกไหม?

— Aaron Roth

ถูกต้องแม้ว่าจะมีไฮเปอร์เพลนมากมายใน R ^ 2 เพียงแค่ O (n ^ 2) wrt จัดประเภทจุดข้อมูลต่างกัน ฉันไม่ทราบว่าชั้นเรียนที่น่าสนใจอื่น ๆ อยู่ด้านบนของหัวของฉัน แต่ถ้าฉันคิด / หาใด ๆ ฉันจะแก้ไขคำตอบของฉัน

— Lev Reyzin

ดังนั้นคุณต้องการคลาส VC-มิติที่ไม่ จำกัด ?

— Suresh Venkat

มิติ VC ที่ไม่มีขอบเขตจะน่าสนใจ แต่คลาสที่มีขนาดใหญ่ (สำหรับการแก้ไขแบบ d) นั้นมีความน่าสนใจอย่างมาก (และดูเหมือนว่าจะหายาก)

— Aaron Roth

@LevReyzin ลิงก์การบรรยายของ Kalai ไม่ทำงาน คุณช่วยแก้ไขได้ไหม ฉันค้นหาในเน็ต แต่ไม่สามารถพบสิ่งนี้ได้

— Anirbit