ทำความเข้าใจกับทฤษฎีอาหารกลางวันฟรีในการจำแนกรูปแบบของ Duda et al

ฉันมีคำถามบางอย่างเกี่ยวกับสัญลักษณ์ที่ใช้ในมาตรา9.2 การขาดความเหนือกว่าโดยธรรมชาติของลักษณนามใด ๆใน Duda, ฮาร์ตและนกกระสาการจัดจำแนกรูปแบบ ก่อนอื่นให้ฉันอ้างอิงข้อความที่เกี่ยวข้องจากหนังสือ:

เพื่อความง่ายให้พิจารณาปัญหาสองหมวดหมู่ที่ชุดฝึกอบรมประกอบด้วยรูปแบบและเลเบลหมวดหมู่ที่เกี่ยวข้อง สำหรับสร้างขึ้นโดยฟังก์ชันเป้าหมายที่ไม่รู้จักที่จะเรียนรู้ที่i) $D$ $x^i$ $y_i = ± 1$ $i = 1,..., n$ $F(x)$ $y_i = F(x^i)$

ให้แทนเซตของสมมติฐาน (ไม่ต่อเนื่อง) หรือชุดของพารามิเตอร์ที่เป็นไปได้ที่จะเรียนรู้ สมมติฐานเฉพาะ สามารถอธิบายได้โดยน้ำหนักเชิงปริมาณในเครือข่ายประสาทหรือพารามิเตอร์ 0 ในรูปแบบการทำงานหรือชุดของการตัดสินใจในต้นไม้และอื่น ๆ $H$ $h(x) \in H$

นอกจากนี้เป็นความน่าจะเป็นก่อนหน้านี้ที่อัลกอริทึมจะสร้างสมมติฐานหลังจากการฝึกอบรม โปรดทราบว่านี่ไม่ใช่ความน่าจะเป็นที่ถูกต้อง $P(h)$ $h$ $h$

ถัดไปหมายถึงความเป็นไปได้ว่าอัลกอริทึมจะให้ผลผลิตสมมติฐานเมื่อผ่านการฝึกอบรมเกี่ยวกับข้อมูลDในขั้นตอนวิธีการเรียนรู้ที่กำหนดเช่นที่ใกล้ที่สุดเพื่อนบ้านและการตัดสินใจต้นไม้ จะเป็นทุกศูนย์ยกเว้นสมมติฐานเดียวชั่วโมงสำหรับวิธีการสุ่ม (เช่นเครือข่ายนิวรัลที่ได้รับการฝึกฝนจากน้ำหนักเริ่มต้นแบบสุ่ม) หรือการเรียนรู้ Boltzmann แบบสุ่มสามารถเป็นการกระจายอย่างกว้างขวาง $P(h|D)$ $h$ $D$ $P(h|D)$ $h$ $P(h|D)$

ให้เป็นข้อผิดพลาดสำหรับฟังก์ชัน zero-one หรือฟังก์ชัน loss อื่น $E$

ข้อผิดพลาดการจำแนกหมวดหมู่การฝึกอบรมนอกชุดที่คาดไว้เมื่อฟังก์ชันที่แท้จริงคือและความน่าจะเป็นสำหรับอัลกอริทึมการเรียนรู้ผู้สมัครที่คือมอบให้โดย $F(x)$ $k$ $P_k(h(x)|D)$
$E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$
ทฤษฎีบท 9.1 (ไม่มีอาหารกลางวันฟรี)สำหรับอัลกอริทึมการเรียนรู้ใด ๆ สองและสิ่งต่อไปนี้เป็นจริงโดยไม่ขึ้นกับการแจกแจงตัวอย่างและจำนวนของคะแนนการฝึกอบรม: $P_1 (h |D)$ $P_2(h|D)$ $P(x)$ $n$

ค่าเฉลี่ยของฟังก์ชันเป้าหมายทั้งหมดอย่างสม่ำเสมอ , $F$ $\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n) = 0$

สำหรับการฝึกอบรมการแก้ไขใด ๆ ชุดเฉลี่ยเหมือนกันกว่า , $D$ $F$ $\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D) = 0$

ตอนที่ 1 กำลังพูดว่า
$\sum_{F} \sum_{D} P (D | F) [E_{1} (E | F, n) — E_{2} (E | F, n)] = 0$ $\sum_F \sum_D P(D|F) [\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n)] = 0$
ตอนที่ 2 กำลังพูดว่า
$\sum_{F} [E_{1} (E | F, D) — E_{2} (E | F, D)] = 0$ $\sum_F [\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D)] = 0$

คำถามของฉันคือ

ในสูตรของ , คือฉันสามารถแทนที่ด้วยและย้ายไปนอก sumเพราะมันเป็นจริงการกระจายของกว่ารับสำหรับ TH ขั้นตอนวิธีการเรียนรู้ที่สุ่ม? $\mathcal{E}_k(E|F,n)$ $E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D),$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D),$ $P_k(h(x)|D)$ $P_k(h|D)$ $\sum_{x \notin D}$ $h$ $H$ $D$ $k$
เนื่องจากอัลกอริธึมการเรียนรู้ผู้สมัครที่นั้นเป็นวิธีการสุ่มทำไมในสูตรของจึงไม่มีผลรวมมากกว่าคือ ? $k$ $\mathcal{E}_k(E|F,n)$ $h$ $\sum_{h \in H}$
เป็นอย่างไรและ แตกต่างจากคนอื่น ๆ ? $\mathcal{E}_i (E|F, D)$ $\mathcal{E}_i (E|F, n)$

ไม่หมายถึงอัตราความผิดพลาดปิดการฝึกอบรมที่ได้รับการฝึกอบรมชุด ? $\mathcal{E}_i (E|F, D)$ $D$

ไม่หมายถึงอัตราความผิดพลาดปิดการฝึกอบรมโดยเฉลี่ยมากกว่าทุกชุดการฝึกอบรมได้รับการฝึกอบรมขนาด ? ถ้าใช่ทำไมส่วนที่ 1 ในทฤษฎีบทเอ็นเอฟแอลโดยเฉลี่ยมากกว่าชุดฝึกอบรมอีกครั้งโดยการเขียนและทำไมในสูตรสำหรับ ไม่มีค่าเฉลี่ยสำหรับชุดการฝึกอบรมทั้งหมดที่กำหนดขนาดการฝึกอบรม ? $\mathcal{E}_i (E|F, n)$ $n$ $\mathcal{E}_i (E|F, n)$ $\sum_D$ $\mathcal{E}_k(E|F,n)$ $n$
ในส่วนที่ 1 ของเอ็นเอฟแอทฤษฎีบทไม่ชุดหมายถึงข้อสรุปในช่วงการฝึกอบรมทั้งหมดที่มีขนาดการฝึกอบรมคง ? $\sum_D$ $n$
ถ้าหากสรุปผลรวมของค่าที่เป็นไปได้ทั้งหมดในของขนาดการฝึกอบรมในตอนที่ 1 ผลลัพธ์ยังคงเป็น 0 ใช่ไหม? $\mathbb{N}$ $n$
ในสูตรของถ้าฉันเปลี่ยนเป็นนั่นคือไม่ได้ จำกัด อยู่นอกชุดฝึกอบรมทั้งสองส่วนจะต้องอยู่ใน ทฤษฎีบทของ NFL ยังคงเป็นจริงหรือไม่ $\mathcal{E}_k(E|F,n)$ $\sum_{x \notin D}$ $\sum_x$ $x$
หากความสัมพันธ์ที่แท้จริงระหว่างและไม่ถือว่าเป็นฟังก์ชันที่กำหนดขึ้นเช่นแต่เป็นการแทนการแจกแจงแบบมีเงื่อนไขหรือการแจกแจงร่วมซึ่งเทียบเท่ากับ รู้และ (เห็นคำถามอื่นของฉัน ) จากนั้นฉันสามารถเปลี่ยน เป็น (แปลก ๆ ด้วยชี้ให้เห็นในส่วนที่ 1 และ 2) สองส่วนในทฤษฎีบท NFL ยังคงเป็นจริงหรือไม่? $x$ $y$ $F$ $y=F(x)$ $P(y|x)$ $P(x,y)$ $P(y|x)$ $P(x)$ $\mathcal{E}_k (E|F,n)$ $E_{k} (E | P (x, y), n) = E_{x, y} [1 - δ (y, h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|P(x,y),n) = \mathcal{E}_{x,y} [1-\delta(y, h(x))] P_k(h(x)|D)$ $P_k(h(x)|D)$

ขอบคุณและขอแสดงความนับถือ!

machine-learning

— ทิม
แหล่งที่มา

คือ Dirac / Kronecker เดลต้า? ใน

δ

$\delta$

E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)

$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$

นี่ไม่ใช่ทฤษฎีอาหารกลางวันฟรีเหมือนกับปัญหาการหยุดหรือไม่ พวกเขาเชื่อมต่อ?

ฉันจะตอบคำถามที่ฉันคิดว่าฉันรู้คำตอบ

คำตอบนี้ไม่ได้เพราะคุณกำลังการเลือกที่ไม่ได้เป็นส่วนหนึ่งของชุดพอดีและอื่น ๆขึ้นอยู่กับx $x$ $D$ $h$ $x$
$h$ ถูกประเมินที่ค่าในชุดการทดสอบเพื่อให้ได้อัตราความผิดพลาดที่คาดไว้เท่านั้นดังนั้นจึงไม่ถูกประเมินทั้งชุดแต่เฉพาะที่ชุดแยกของในชุดทดสอบ $x$ $H$ $x$
$\mathcal{E}_i(E|F, D)$ เป็นที่คาดว่าอัตราการออกจากข้อผิดพลาดในการฝึกอบรมชุดที่กำหนดฟังก์ชั่นและการฝึกอบรมชุดDแต่ผมคิดว่าเป็นที่แตกต่างกันเพราะคุณเป็นเครื่องเฉพาะในจำนวนของจุดฝึกอบรมและไม่จริงค่า แต่สิ่งนี้ทำให้งงเมื่อได้รับข้อความในภายหลัง $F$ $D$ $\mathcal{E}_i(E|F, n)$ $n$ $x$
$D$ คือชุดของเวกเตอร์การฝึกอบรม มีการฝึกอบรมในเวกเตอร์Dดังนั้นคุณจะข้อสรุปที่ผ่านการแก้ไขเวกเตอร์การฝึกอบรมในDมีเพียงหนึ่งชุดD $n$ $D$ $n$ $D$ $D$
ฉันคิดว่าคำตอบของ 5 คือไม่ สัญกรณ์ดูเหมือนจะสับสนเล็กน้อย

ไม่สามารถแสดงความคิดเห็นในวันที่ 6 และ 7

— Michael R. Chernick
แหล่งที่มา

+1 ยินดีต้อนรับสู่เว็บไซต์ฉันเป็นแฟนตัวยงของรีวิวของคุณใน Amazon แก้ตัวสันนิษฐานของฉันในการแก้ไขสัญกรณ์คณิตศาสตร์ส่วนใหญ่จะทำโดยการใส่ $ 's ทั้งสองด้านของบางสิ่งบางอย่าง หากคุณคลิกที่วงกลมสีเหลือง? ที่ด้านบนขวาเมื่อเขียนคุณจะเห็นลิงก์สำหรับ "ความช่วยเหลือขั้นสูง" ซึ่งจะให้ข้อมูลเพิ่มเติม นอกจากนี้คุณสามารถคลิกขวาที่ mathjax ที่มีอยู่ (เช่นข้อใดข้อหนึ่ง) และเลือก "แสดงคำสั่งทางคณิตศาสตร์ -> คำสั่ง TeX" เพื่อดูว่ามันเสร็จสิ้นแล้ว

— gung - Reinstate Monica

กล่าวอีกอย่างคือ @gung กำลังพูดว่า: เว็บไซต์นี้รองรับใน (เกือบ) อย่างที่คุณคาดหวังรวมถึงคณิตศาสตร์ดิสเพลย์ ยินดีต้อนรับสู่เว็บไซต์

L A T E X

$\LaTeX$

— พระคาร์ดินัล

@Michael โปรดให้ฉันเพิ่มการต้อนรับให้กับผู้อื่นเหล่านี้: ฉันมีความยินดีที่ได้พบคุณที่นี่ (ไมเคิลได้มีส่วนร่วมที่มีความรู้เป็นพิเศษในรายการสนทนาของ American Statistics Association)

— whuber