เหตุใดตัวจําแนกแบบเบย์จึงเป็นลักษณนามในอุดมคติ

จะถือว่าเป็นกรณีที่เหมาะที่โครงสร้างความน่าจะเป็นพื้นฐานที่เป็นที่รู้จักกันอย่างสมบูรณ์แบบหมวดหมู่

เหตุใดจึงใช้ตัวจําแนกเบส์เพื่อให้ได้ประสิทธิภาพที่ดีที่สุดที่สามารถทำได้

หลักฐาน / คำอธิบายอย่างเป็นทางการสำหรับสิ่งนี้คืออะไร? เนื่องจากเราใช้ตัวจําแนกเบส์เป็นเกณฑ์มาตรฐานเพื่อเปรียบเทียบประสิทธิภาพของตัวจําแนกอื่น ๆ ทั้งหมด

เหตุใดจึงใช้ตัวจําแนกเบส์เพื่อให้ได้ประสิทธิภาพที่ดีที่สุดที่สามารถทำได้ หลักฐาน / คำอธิบายอย่างเป็นทางการสำหรับสิ่งนี้คืออะไร?

โดยปกติชุดข้อมูลจะถูกพิจารณาว่าประกอบด้วยตัวอย่าง iidของการกระจายที่สร้างข้อมูลของคุณ จากนั้นคุณสร้างแบบจำลองการคาดการณ์จากข้อมูลที่ได้รับ: ได้รับตัวอย่างคุณคาดการณ์ระดับในขณะที่ระดับที่แท้จริงของกลุ่มตัวอย่างเป็น(x_i)$D$$n$$x_i$$x_i$$\hat{f}(x_i)$$f(x_i)$

แต่ในทางทฤษฎีคุณสามารถตัดสินใจที่จะไม่เลือกหนึ่งในรูปแบบเฉพาะแต่พิจารณาทุกรุ่นที่เป็นไปได้ในครั้งเดียวและรวมพวกเขาอย่างใดเป็นหนึ่งใหญ่รุ่น .$\hat{f}_\text{chosen}$$\hat{f}$$\hat F$

แน่นอนว่าจากข้อมูลแล้วmodells ขนาดเล็กจำนวนมากอาจไม่น่าจะเป็นไปได้หรือไม่เหมาะสม (ตัวอย่างเช่นแบบจำลองที่ทำนายค่าของเป้าหมายเพียงค่าเดียวแม้ว่าจะมีหลายค่าของเป้าหมายในชุดข้อมูล )$D$

ในกรณีใด ๆ คุณต้องการทำนายค่าเป้าหมายของตัวอย่างใหม่ซึ่งดึงมาจากการแจกแจงแบบเดียวกับ s เป็นมาตรการที่ดีของประสิทธิภาพการทำงานของรูปแบบของคุณจะเป็น คือความน่าจะเป็นที่คุณคาดการณ์ ค่าเป้าหมายที่แท้จริงสำหรับสุ่มX$x_i$$e$

$$e(\text{model}) = P[f(X) = \text{model}(X)]\text{,}$$ $X$

เมื่อใช้สูตร Bayes คุณสามารถคำนวณความน่าจะเป็นที่กลุ่มตัวอย่างใหม่มีค่าเป้าหมายได้จากข้อมูล :$x$$v$$D$

$$P(v\mid D) = \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$$ หนึ่งควรเน้นว่า

• มักจะเป็นหรือเนื่องจากเป็นหน้าที่ของ ,$P(v\mid \hat{f})$$0$$1$$\hat{f}$$x$
• ไม่ปกติ แต่เกือบตลอดเวลามันเป็นไปไม่ได้ที่จะประมาณค่า (ยกเว้นกรณีเล็กน้อยดังกล่าวข้างต้น)$P(\hat{f}\mid D)$
• ไม่ปกติ แต่เกือบตลอดเวลาจำนวนรุ่นที่เป็นไปได้ใหญ่เกินไปสำหรับการประเมินผลรวม$\hat{f}$

ดังนั้นจึงเป็นเรื่องยากมากที่จะได้รับ / ประเมินในกรณีส่วนใหญ่$P(v\mid D)$

ตอนนี้เราไปยังลักษณนามของ Optimal Bayes สำหรับกำหนดจะทำนายค่า ตั้งแต่นี้เป็นค่าที่น่าจะเป็นมากที่สุดในหมู่เป้าหมายเป็นไปได้ทั้งหมดค่า , ลักษณนามที่เหมาะสม Bayes เพิ่มมาตรการประสิทธิภาพ{F})$x$

$$\hat{v} = \text{argmax}_v \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$$ $v$$e(\hat{f})$

เนื่องจากเราใช้ตัวจําแนกเบส์เป็นเกณฑ์มาตรฐานเพื่อเปรียบเทียบประสิทธิภาพของตัวจําแนกอื่น ๆ ทั้งหมด

อาจเป็นไปได้ว่าคุณใช้ตัวจําแนกเบส์รุ่นซื่อๆ มันง่ายที่จะติดตั้งใช้งานได้ดีเวลาส่วนใหญ่ แต่คำนวณเพียงการประเมินไร้เดียงสาเท่านั้น$P(v\mid D)$

ผลการดำเนินงานในแง่ของอัตราความสำเร็จของการแยกประเภทที่เกี่ยวข้องกับความเป็นไปได้ว่าชั้นจริงเท่ากับระดับที่คาดการณ์C_P$C_T$$C_P$

คุณสามารถแสดงความน่าจะเป็นนี้เป็นอินทิกรัลสำหรับทุกสถานการณ์ที่เป็นไปได้ของคุณสมบัติเวกเตอร์ (หรือผลรวมเมื่อไม่ต่อเนื่อง) และความน่าจะเป็นแบบมีเงื่อนไขในการจำแนกความถูกต้องสำหรับเหล่านั้น$X$$X$$x$

$$P(C_T=C_P) = \int_{\text{all possible $X$}} f(x)P(C_T=C_P|x) \text{d}x$$

ที่ไหนคือความหนาแน่นความน่าจะเป็นสำหรับคุณลักษณะเวกเตอร์X$f(x)$$X$

หากสำหรับชุดของคุณลักษณะที่เป็นไปได้ตัวจําแนกไม่ได้เลือกคลาสที่น่าจะเป็นไปได้มากที่สุดสําหรับชุดคุณลักษณะนั้นก็จะสามารถปรับปรุงได้$x$

Bayes ลักษณนามเสมอเลือกชั้นน่าจะเป็นที่สุดสำหรับชุดของคุณลักษณะแต่ละ (ระยะเป็นสูงสุด) จึงไม่สามารถปรับปรุงให้ดีขึ้นอย่างน้อยไม่ได้ขึ้นอยู่กับการมีx$x$$P(C_T=C_P|x)$$x$