คำถามการเรียนรู้ที่เท่าเทียมกัน

ให้เรากำหนดระดับของการทำงานมากกว่าชุดของบิต แก้ไขการแจกแจงสองแบบที่ "สมเหตุสมผล" แตกต่างจากกัน (ถ้าคุณต้องการระยะทางแปรผันของมันคืออย่างน้อยหรือสิ่งที่คล้ายกัน) $n$ $p, q$ $\epsilon$

ตอนนี้แต่ละฟังก์ชั่นในชั้นนี้จะถูกกำหนดโดยคอลเลกชันของดัชนีและมีการประเมินผลดังต่อไปนี้: หากความเท่าเทียมกันของบิตที่เลือกเป็น 0 กลับตัวอย่างที่สุ่มจากอื่นกลับตัวอย่างที่สุ่มจากคิว $f$ $k$ $S$ $p$ $q$

ปัญหา : สมมติว่าฉันได้รับการเข้าถึง oracle บางจากชั้นนี้และในขณะที่ฉันรู้ว่า (หรือบางมาตรการอื่น ๆ ของระยะทาง) ผมไม่ทราบว่าและQ $f$ $\epsilon$ $p$ $q$

มีขอบเขตใด ๆ เกี่ยวกับจำนวนของสายที่ฉันต้องทำกับ PAC-เรียนรู้ ? สันนิษฐานว่าคำตอบของฉันจะเป็นในแง่ของและ\ $f$ $n, k$ $\epsilon$

หมายเหตุ : ฉันไม่ได้ระบุโดเมนผลลัพธ์ อีกครั้งผมมีความยืดหยุ่น แต่สำหรับตอนนี้ขอบอกว่าและมีการกำหนดมากกว่าโดเมน จำกัด[1..M]โดยทั่วไปแล้วฉันก็จะสนใจในกรณีที่พวกเขาถูกกำหนดเหนือ (เช่นถ้าพวกเขาเป็นเกาส์) $p$ $q$ $[1..M]$ ${\mathbb R}$

lg.learning

— Suresh Venkat
แหล่งที่มา

ฉันไม่แน่ใจว่าฉันเข้าใจโมเดล คุณระบุอะไรในการเรียก oracle? ตัวอย่างถูกดึงจากการกระจายที่ระบุโดยเป้าหมายเสมอหรือไม่

— เลฟเรซิน

ในการเรียก oracle คุณเรียกใช้ f () และมันจะส่งกลับค่า

— Suresh Venkat

ดังนั้นขึ้นอยู่กับฟังก์ชั่นเป้าหมายทั้งหรือจะถูกใช้ในการสร้างตัวอย่างหรือไม่? (ผมถือว่าคุณเป็นแพ็กเรียนรู้บางระดับ .)

f \in F

$f \in F$

p

$p$

q

$q$

F

$F$

— เลฟ Reyzin

ใช่ว่าถูกต้อง ปัญหาคือการเรียนรู้ว่าหนึ่ง (หรือเรียนรู้บิตความเท่าเทียมกันถูกนำมาใช้)

— Suresh Venkat

ฉันไม่แน่ใจว่าคุณจะปรับโมเดล PAC ให้เข้ากับโมเดลนี้ได้อย่างไร แต่ดูเหมือนว่ามันเพียงพอที่จะแยกจากด้วยความน่าจะเป็นแล้วคุณจะได้ค่าสำหรับอิสระเชิงเส้นและใช้การกำจัดแบบเกาส์เพื่อหา (ตั้งแต่คือ เชิงเส้น) การแยกความแตกต่างของสอง gaussians ที่แยกจากกันจะง่ายเช่น

p

$p$

q

$q$

1 - 1 / (2 k)

$1 - 1/(2k)$

f (x)

$f(x)$

k

$k$

x

$x$

f

$f$

f

$f$

— Sasho Nikolov

การอภิปรายในความคิดเห็นด้านล่างบ่งชี้ว่าฉันเข้าใจผิดคำถาม คำตอบของฉันเป็น premised บนออราเคิลการไม่มีการป้อนข้อมูลและกลับมาที่หรือขึ้นอยู่กับF เห็นได้ชัดว่านี่ไม่ใช่สิ่งที่ถูกถาม $(x, f(x))$ $x \sim p$ $x \sim q$ $f \in F$

เพราะการกระจายเป้าหมายคือคงที่สำหรับเป้าหมายทุก , Pac-ตัวอย่างที่ถูกผูกไว้บนใช้ (ซึ่งต่อไปนี้จากข้อเท็จจริงที่ว่าการกระจายเป้าหมายนี้ผูกพันแม้สมบูรณ์สามารถขึ้นอยู่กับ ) ดังนั้น ควร พอเพียงเพื่อหาสมมติฐานของข้อผิดพลาด WP1- หมายเหตุ - หลังจากเห็นตัวอย่างเหล่านี้แล้วเราจำเป็นต้องค้นหาสมมติฐานที่สอดคล้องกันจากและสิ่งนี้อาจไม่สามารถใช้การได้ $f^* \in F$ $f^*$

m \leq \tilde{O} (\frac{1}{ϵ} (V C (F) + \log (1 / δ)))

$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$

\leq ϵ

$\le \epsilon$

\geq 1 - δ

$\ge 1-\delta$

F

$F$

ในทางตรงกันข้ามใครจะได้รับการจับคู่ที่ต่ำกว่าขอบเขตแม้ในกรณีของการกระจายเครื่องแบบที่ตัวอย่างยังคงต้อง (นี้ สามารถปรับปรุงเล็กน้อย) $p=q=U$ $m \ge \Omega(\mathrm{VC}(F))$

ความแปรปรวนระยะห่างระหว่างและเช่นเดียวกับอาจมีบทบาทในช่องว่างเล็ก ๆ ระหว่างขอบเขตเหล่านี้ แต่ฉันสงสัย $p$ $q$ $k$

— Lev Reyzin
แหล่งที่มา

(f, D)

$(f,D)$

x

$x$

D

$D$

(x, f (x))

$(x, f(x))$

f

$f$

n

$n$ ) เลวีคำตอบของคุณถือว่าเป็นคำทำนายของประเภทแรกหรือประเภทที่สองหรือไม่? ถ้าเป็นประเภทที่สองเรายังพูดถึง PAC-learning อยู่หรือไม่?

— Keki Burjorjee

(x, f (x))

$(x, f(x))$

x \sim D

$x \sim D$

f

$f$

p

$p$

q

$q$

p = q

$p=q$

p

$p$

q

$q$

f

$f$

x

$x$

f (x)

$f(x)$

p

$p$

q

$q$

x

$x$

p = N (+ 0.25, 1)

$p=\mathcal N(+0.25, 1)$

q = N (- 0.25, 1)

$q = \mathcal N(-0.25, 1)$ def fitness() ...random_number_generator.set_seed(x)