การวิเคราะห์จำแนกเชิงเส้นและกฎของเบย์: การจำแนกประเภท

ความสัมพันธ์ระหว่างการวิเคราะห์จำแนกเชิงเส้นและกฎเบย์คืออะไร? ฉันเข้าใจว่า LDA ถูกใช้ในการจัดหมวดหมู่โดยพยายามลดอัตราส่วนความแปรปรวนภายในกลุ่มและระหว่างความแปรปรวนกลุ่ม แต่ฉันไม่ทราบว่ากฎของ Bayes ใช้งานอย่างไร

classification discriminant-analysis bayes

— zca0
แหล่งที่มา

ฟังก์ชันแยกจะถูกแยกเพื่อเพิ่มความแตกต่างระหว่างกลุ่มกับอัตราส่วนความแปรปรวนภายในกลุ่มสูงสุด มันไม่มีส่วนเกี่ยวข้องกับการจัดประเภทซึ่งเป็นขั้นตอนที่สองและเป็นเอกเทศของ LDA

— ttnphns

การจำแนกประเภทใน LDA เป็นไปตาม (แนวทางของ Bayes) [เกี่ยวกับการแยกความแตกต่างเราอาจดูที่นี่ ]

ตามทฤษฎีบทของเบย์ความน่าจะเป็นที่ต้องการสำหรับเราที่เกี่ยวข้องกับคลาสขณะที่สังเกตจุดคือโดยที่ $k$ $x$ $P(k|x) = P(k)*P(x|k) / P(x)$

$P(k)$ - ความน่าจะเป็นแบบไม่มีเงื่อนไข (พื้นหลัง) ของคลาส ; - ความน่าจะเป็นแบบไม่มีเงื่อนไข (พื้นหลัง) ของจุด ; - น่าจะเป็นของการปรากฏตัวของจุดในชั้นเรียนถ้าชั้นเป็นเรื่องที่เกี่ยวข้องกับมีk $k$ $P(x)$ $x$ $P(x|k)$ $x$ $k$ $k$

"การสังเกตจุดในปัจจุบัน" เป็นเงื่อนไขพื้นฐานและเพื่อให้สามารถละเว้นส่วนได้ ดังนั้นk) $x$ $P(x)=1$ $P(k|x) = P(k)*P(x|k)$

$P(k)$ เป็นความน่าจะเป็นก่อน (ก่อนการวิเคราะห์) ที่คลาสเนทีฟสำหรับคือ ; ถูกระบุโดยผู้ใช้ โดยปกติแล้วคลาสทั้งหมดจะได้รับ = 1 / number_of_classes ที่เท่ากัน เพื่อคำนวณคือหลัง (โพสต์วิเคราะห์) ความน่าจะเป็นว่าชนชั้นพื้นเมืองสำหรับมีหนึ่งควรรู้ว่าk) $x$ $k$ $P(k)$ $P(k)$ $P(k|x)$ $x$ $k$ $P(x|k)$

$P(x|k)$ - ความน่าจะเป็นต่อ se - ไม่สามารถหาได้สำหรับการเลือกปฏิบัติประเด็นหลักของ LDA นั้นมีความต่อเนื่องไม่ใช่ตัวแปรที่ไม่ต่อเนื่อง จำนวนที่แสดงในกรณีนี้และเป็นสัดส่วนกับความหนาแน่นของความน่าจะเป็น (ฟังก์ชัน PDF) ด้วยเหตุนี้เราจำเป็นต้องคำนวณ PDF สำหรับจุดในคลาส ,ในการแจกแจงปกติ -dimensional ที่เกิดขึ้นโดยค่าของdiscriminants[ดูวิกิพีเดียการแจกแจงปกติหลายตัวแปรใน Wikipedia] $P(x|k)$ $x$ $k$ $PDF(x|k)$ $p$ $p$

P D F (x | k) = \frac{e^{- d / 2}}{(2 π)^{p / 2} \sqrt{| S |})}

$PDF(x|k) = \frac {e^{-d/2}} {(2\pi)^{p/2}\sqrt{\bf |S|})}$

โดยที่ - กำลังสองของระยะทาง Mahalanobis [ดู Wikipedia ระยะทาง Mahalanobis] ในพื้นที่จำแนกของ discriminants จากจุดไปยัง centroid ในชั้นเรียน - เมทริกซ์ความแปรปรวนร่วมระหว่าง discriminantsสังเกตได้ในชั้นเรียนนั้น $d$ $x$ $\bf S$

คำนวณด้วยวิธีนี้สำหรับแต่ละคลาส สำหรับจุดและคลาสแสดงความต้องการสำหรับเรา แต่ด้วยการสำรองข้างต้นที่ PDF ไม่ใช่ความน่าจะเป็นต่อเพียงสัดส่วนเท่านั้นเราควรทำให้มาตรฐานหารด้วยผลรวมของทุกชั้นเรียน ตัวอย่างเช่นหากมี 3 คลาสในทั้งหมด , ,ดังนั้น $PDF(x|k)$ $P(k)*PDF(x|k)$ $x$ $k$ $P(k)*P(x|k)$ $P(k)*PDF(x|k)$ $P(k)*PDF(x|k)$ $k$ $l$ $m$

จุดถูกกำหนดโดย LDA ให้กับคลาสที่สูงที่สุด $x$ $P(k|x)$

บันทึก. นี่เป็นวิธีการทั่วไป โปรแกรม LDA จำนวนมากโดยค่าเริ่มต้นจะใช้พูลภายในเมทริกซ์สำหรับคลาสทั้งหมดในสูตรสำหรับ PDF ด้านบน ถ้าเป็นเช่นนั้นช่วยลดความยุ่งยากสูตรอย่างมากเพราะเช่นใน LDA เป็นเมทริกซ์เอกลักษณ์ (ดูเชิงอรรถด้านล่างที่นี่ ) และด้วยเหตุนี้และผลัดกันเป็นระยะทางแบบยุคลิดสแควร์ (การแจ้งเตือน: รวบรวมภายในระดับเรากำลังพูดถึงคือความแปรปรวนร่วมระหว่าง discriminants - ไม่ใช่ระหว่างตัวแปรอินพุตซึ่ง matrix มักจะถูกกำหนดเป็น ) $\bf S$ $\bf S$ $\bf |S|=1$ $d$ $\bf S$ $\bf S_w$

การเพิ่ม ก่อนที่กฎการจัดหมวดหมู่ของBayesข้างต้นนั้นได้รับการแนะนำให้รู้จักกับ LDA ชาวประมงผู้บุกเบิก LDA ได้นำเสนอการคำนวณในขณะนี้ที่เรียกว่าฟังก์ชั่นการจำแนกเชิงเส้นของฟิชเชอร์เพื่อจำแนกคะแนนใน LDA สำหรับจุดคะแนนฟังก์ชันของคลาสคือการรวมกันเชิงเส้นโดยที่เป็นตัวแปรตัวทำนายในการวิเคราะห์ $x$ $k$ $b_{kv1}V1_x+b_{kv2}V2_x+...+Const_k$ $V1, V2,...V_p$

สัมประสิทธิ์ ,เป็นจำนวนของคลาสและเป็นองค์ประกอบของการกระจายภายในกลุ่ม เมทริกซ์ของตัวแปร $b_{kv}=(n-g)\sum_w^p{s_{vw}\bar{V}_{kw}}$ $g$ $s_{vw}$ $p$ $V$

$Const_k=\log(P(k))-(\sum_v^p{b_{kv}\bar{V}_{kv}})/2$ 2

Pointได้รับมอบหมายให้เรียนในชั้นที่มีคะแนนสูงสุด ผลการจำแนกประเภทที่ได้จากวิธีการของฟิชเชอร์นี้ (ซึ่งข้ามการสกัด discriminants ใน eigendecomposition ที่ซับซ้อน) เหมือนกันกับวิธีที่ได้จากวิธีของเบย์เฉพาะในกรณีที่พูลร่วมภายในเมทริกซ์ความแปรปรวนร่วมคลาสใช้กับวิธีของเบย์ ด้านบน) และการเลือกปฏิบัติทั้งหมดถูกใช้ในการจำแนกประเภท วิธีการ Bayes' เป็นทั่วไปมากขึ้นเพราะจะช่วยให้ใช้แยกต่างหากฝึกอบรมภายในชั้นเรียนได้เป็นอย่างดี $x$

— ttnphns
แหล่งที่มา

นี่คือวิธีการแบบเบย์ใช่ไหม? อะไรคือแนวทางของฟิชเชอร์ในเรื่องนี้?

— zca0

เพิ่มคำตอบตามคำขอของคุณแล้ว

— ttnphns

X

$X$

K

$K$

p (K | X)

$p(K|X)$

p (K | X)

$p(K|X)$

K

$K$

และฉันคิดว่าวิธีการของเบย์นั้นเป็นที่เข้าใจมากขึ้นและทำไมเราต้องใช้วิธีการของฟิชเชอร์

— อะโวคาโด

เราไม่ต้องการ เพียงเพื่อเรื่องทางประวัติศาสตร์

— ttnphns

$x$ $f_1(x)$ $f_2(x)$ $x$ $f_1(x) \geq f_2(x)$ $f_1$ $f_2$

— Michael R. Chernick
แหล่งที่มา