ข้อผิดพลาด Bayes คืออะไรในการเรียนรู้ของเครื่อง?


15

http://www.deeplearningbook.org/contents/ml.htmlหน้า 116 อธิบายข้อผิดพลาดของ Bayes ดังต่อไปนี้

โมเดลอุดมคติคือ oracle ที่รู้การกระจายความน่าจะเป็นจริงที่สร้างข้อมูล แม้รูปแบบดังกล่าวจะยังคงเกิดข้อผิดพลาดในปัญหามากมายเนื่องจากอาจมีสัญญาณรบกวนในการกระจาย ในกรณีของการเรียนรู้ภายใต้การดูแลการทำแผนที่จาก x ถึง y อาจจะสุ่มโดยเนื้อแท้หรือ y อาจเป็นฟังก์ชันที่กำหนดขึ้นซึ่งเกี่ยวข้องกับตัวแปรอื่นนอกเหนือจากที่รวมอยู่ใน x ข้อผิดพลาดที่เกิดขึ้นจากการพยากรณ์ทำนายจากการแจกแจงจริง p (x, y) เรียกว่าข้อผิดพลาด Bayes

คำถาม

  1. โปรดอธิบายข้อผิดพลาด Bayes อย่างสังหรณ์ใจ?
  2. แตกต่างจากข้อผิดพลาดลดลงไม่ได้อย่างไร
  3. ฉันจะพูดว่า error error = Bias + Variance + Bayes ได้ไหม?
  4. ความหมายของ "y อาจเป็นแบบสุ่มโดยเนื้อแท้" คืออะไร?

คำตอบ:


23

ข้อผิดพลาด Bayes เป็นข้อผิดพลาดการทำนายที่ต่ำที่สุดที่สามารถทำได้และเป็นเช่นเดียวกับข้อผิดพลาดลดลง หากใครรู้อย่างชัดเจนว่ากระบวนการสร้างข้อมูลอะไรจะเกิดข้อผิดพลาดขึ้นหากกระบวนการสุ่ม นี่คือสิ่งที่มีความหมายโดย "คือสุ่มโดยกำเนิด"y

ตัวอย่างเช่นเมื่อพลิกเหรียญที่ยุติธรรมเรารู้ว่ากระบวนการใดที่สร้างผลลัพธ์ (การกระจายแบบทวินาม) อย่างไรก็ตามหากเราต้องทำนายผลลัพธ์ของการโยนเหรียญเราจะทำผิดพลาดเพราะกระบวนการนั้นสุ่มแบบสุ่ม (เช่นสุ่ม)

ในการตอบคำถามอื่นของคุณคุณถูกต้องโดยระบุว่าข้อผิดพลาดทั้งหมดคือผลรวมของความลำเอียง (กำลังสอง) ความแปรปรวนและข้อผิดพลาดที่ลดลงไม่ได้ ดูเพิ่มเติมนี้บทความที่ง่ายต่อการเข้าใจคำอธิบายเหล่านี้สามแนวคิด


-2

จากhttps://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf สำหรับงานการจัดหมวดหมู่ข้อผิดพลาด Bayes ถูกกำหนดเป็น:

minf=Cost(f)

ตัวจําแนกเบส์ถูกกําหนดเป็น: argminf=Cost(f)

ดังนั้น error error = Bayes error + โมเดลของคุณแย่กว่า Bayes error มากนัก Bias + Variance + Bayes error ซึ่งอาจขึ้นอยู่กับรุ่นของคุณและลักษณะโดยธรรมชาติของ "สัญญาณรบกวนการกระจาย"

ความหมายของ "y อาจเป็นแบบสุ่มโดยเนื้อแท้" คืออะไร? ยกตัวอย่างเช่น(x) แต่สิ่งที่คุณรวบรวมในขณะที่ y ปนเปื้อนอยู่เสมอเป็นโดยที่ดังนั้นคุณจึงไม่มีทางรู้จริง y และการประมาณราคาที่คุณมีคือ เสียโดยเนื้อแท้ แม้แต่ Oracle ก็ให้คำตอบที่ถูกต้องกับคุณคุณคิดว่ามันผิดy=f(x)=sin(x)y~=y+ttN(0,σ2)

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.