วิธีการแบบเบย์และฟิชเชอร์เพื่อการวิเคราะห์จำแนกเชิงเส้น

ฉันรู้ 2 วิธีในการทำ LDA แนวทาง BayesianและวิธีของFisherวิธีการฟิชเชอร์

สมมติว่าเรามีข้อมูลโดยที่คือตัวทำนาย -dimensional และเป็นตัวแปรตามของ $(x,y)$ $x$ $p$ $y$ $K$ คลาส

โดยวิธี Bayesianเราคำนวณหลังและในขณะที่กล่าวในหนังสือสมมติเป็นเสียนตอนนี้เรามีฟังก์ชั่นการจำแนกสำหรับระดับ TH เป็น

p (y_{k} | x) = \frac{p (x | y_{k}) p (y_{k})}{p (x)} \propto p (x | y_{k}) p (y_{k})

$p(y_k|x)=\frac{p(x|y_k)p(y_k)}{p(x)}\propto p(x|y_k)p(y_k)$

p (x | y_{k})

$p(x|y_k)$

k

$k$

ฉันสามารถเห็น

เป็นฟังก์ชันเชิงเส้นของ

ดังนั้นสำหรับคลาส

ทั้งหมดที่เรามีฟังก์ชัน discriminant แบบเชิงเส้น

\begin{aligned} ฉ_{k} (x) & = LN พี (x | Y_{k}) + LN พี (Y_{k}) \\ = LN [\frac{1}{(2 π)^{พี / 2} | Σ |^{1 / 2}} ประสบการณ์ (- \frac{1}{2} (x - μ_{k})^{T} Σ^{- 1} (x - μ_{k}))] + LN พี (Y_{k}) \\ = x^{T} Σ^{- 1} μ_{k} - \frac{1}{2} μ_{k}^{T} Σ^{- 1} μ_{k} + LN พี (Y_{k}) \end{aligned}

$\begin{align*}f_k(x)&=\ln p(x|y_k)+\ln p(y_k)\\&=\ln\left[\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)\right)\right]+\ln p(y_k)\\&=x^T\Sigma^{-1}\mu_k-\frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k+\ln p(y_k)\end{align*}$

f_{k} (x)

$f_k(x)$

x

$x$

K

$K$

K

$K$

อย่างไรก็ตามด้วยวิธีของฟิชเชอร์เราพยายามฉายถึงมิติพื้นที่เพื่อแยกฟีเจอร์ใหม่ซึ่งช่วยลดความแปรปรวนภายในคลาสและลดความแปรปรวนระหว่างคลาสให้ได้มากที่สุดสมมติว่าเมทริกซ์การฉายคือโดยแต่ละคอลัมน์เป็นโครง ทิศทาง. วิธีนี้เป็นเหมือนเทคนิคการลดขนาด $x$ $(K-1)$ $W$

คำถามของฉันคือ

(1) เราสามารถลดขนาดโดยใช้วิธีการแบบเบย์ได้หรือไม่? ฉันหมายความว่าเราสามารถใช้วิธีการแบบเบส์เพื่อทำการจำแนกประเภทโดยค้นหาฟังก์ชัน discriminant ซึ่งให้ค่าที่ใหญ่ที่สุดสำหรับใหม่ แต่สามารถใช้ฟังก์ชัน discriminant เหล่านี้เพื่อฉายไปสู่มิติที่ต่ำกว่า สเปซ? เช่นเดียวกับวิธีการของฟิชเชอร์ $f_k(x)$ $x^*$ $f_k(x)$ $x$ ไม่

(2) ทำและวิธีการทั้งสองวิธีที่เกี่ยวข้องกับแต่ละอื่น ๆ ? ฉันไม่เห็นความสัมพันธ์ใด ๆ ระหว่างพวกเขาเพราะดูเหมือนว่าจะสามารถจัดหมวดหมู่ด้วยค่าและอื่น ๆ มีวัตถุประสงค์หลักเพื่อลดขนาด $f_k(x)$

UPDATE

ขอบคุณ @amoeba ตามหนังสือ ESL ฉันพบสิ่งนี้: ป้อนคำอธิบายรูปภาพที่นี่

และนี่คือฟังก์ชั่นการจำแนกเชิงเส้นที่ได้มาผ่านทฤษฎีบท Bayes บวกสมมติว่าทุกชั้นมีเมทริกซ์ความแปรปรวนเดียวกันΣและฟังก์ชั่นจำแนกนี้เป็น SAME เหมือนหนึ่งฉันเขียนไว้ด้านบน $\Sigma$ $f_k(x)$

ฉันสามารถใช้เป็นทิศทางที่จะฉายเพื่อลดขนาดได้หรือไม่? ฉันไม่แน่ใจเกี่ยวกับเรื่องนี้ตั้งแต่ AFAIK การลดขนาดทำได้โดยการวิเคราะห์ความแปรปรวนระหว่าง $\Sigma^{-1}\mu_k$ $x$

อัพเดทอีกครั้ง

จากส่วน 4.3.3 นี่คือวิธีที่การคาดการณ์เหล่านี้ได้รับ:

ป้อนคำอธิบายรูปภาพที่นี่

และแน่นอนมันถือว่าความแปรปรวนร่วมที่ใช้ร่วมกันระหว่างคลาสนั่นคือเมทริกซ์ความแปรปรวนร่วมทั่วไป (สำหรับความแปรปรวนร่วมระดับภายใน) $W$ ใช่ไหม ปัญหาของฉันคือฉันจะคำนวณนี้จากข้อมูลได้อย่างไร เนื่องจากฉันจะมีเมทริกซ์ความแปรปรวนร่วมระดับแตกต่างกันถ้าฉันพยายามคำนวณจากข้อมูล ดังนั้นผมจึงต้องสระว่ายน้ำทุกระดับแปรปรวนร่วมกันที่จะได้รับร่วมกันหรือไม่ $W$ $K$ $W$

discriminant-analysis

— อาโวคาโด
แหล่งที่มา

คุณถามสองสิ่งผสมกัน ฉันคิดว่าคุณยังไม่ได้ทำการสนทนากับคำถามก่อนหน้านี้ สิ่งที่คุณอธิบายก่อนคือวิธีการจำแนกแบบเบย์ (ไม่ใช่ "วิธีเข้าแบบเบย์กับ LDA") วิธีการนี้สามารถใช้ (1) กับตัวแปรดั้งเดิมเป็นตัวจำแนกประเภทหรือ (2) กับ discriminants ที่ได้รับใน LDA เป็นตัวจำแนกประเภท อะไรคือแนวทางของฟิชเชอร์

— ttnphns

(ต่อ) "LDA ของฟิชเชอร์"เป็นเพียง LDA ที่มี K = 2 เมื่อทำการจำแนกภายใน LDA ฟิชเชอร์ดังกล่าวได้คิดค้นสูตรของตัวเองเพื่อทำการจัดหมวดหมู่ สูตรเหล่านี้สามารถใช้ได้กับ K> 2 ด้วย วิธีการจัดหมวดหมู่ของเขาแทบจะไม่ได้ใช้กันทุกวันนี้เพราะวิธีการของเบย์นั้นเป็นเรื่องทั่วไปมากกว่า

— ttnphns

@ttnphns เหตุผลที่ฉันสับสนเพราะหนังสือเกือบทุกเล่มที่ฉันพูดถึงเกี่ยวกับ LDA โดยใช้วิธี Bayesian นี้บรรยาย LDA เป็นรูปแบบกำเนิดพวกเขาไม่ได้พูดถึงอัตราส่วนของความแปรปรวนระหว่างกลุ่มและภายในกลุ่ม .

— อะโวคาโด

@loganecolss: คุณเห็นคำตอบของฉันด้านล่างหรือไม่ คุณมีคำถามเกี่ยวกับเรื่องนี้หรือไม่? ฉันสับสนเล็กน้อยเพราะฉันคิดว่าฉันอธิบายสิ่งที่คุณขอตอนนี้อีกครั้งในความคิดเห็น "ความแปรปรวนระหว่างภายใน" เป็นวิธีเชิงคณิตศาสตร์เทียบเท่ากับ "วิธี Bayesian" โดยมีสมมติฐานของความแปรปรวนร่วมที่เท่ากัน คุณสามารถคิดว่านี่เป็นทฤษฎีบททางคณิตศาสตร์ที่น่าแปลกใจถ้าคุณต้องการ หลักฐานที่ให้ไว้ในหนังสือของ Hastie ซึ่งสามารถใช้งานออนไลน์ได้อย่างอิสระและในตำราเรียนอื่น ๆ ของเครื่องก็เช่นกัน ดังนั้นฉันไม่แน่ใจว่า "วิธีแท้จริงในการทำ LDA" อาจหมายถึงอะไร ทั้งสองวิธีที่เหมือนกัน

— อะมีบา

@loganecolss: เชื่อฉันพวกเขาเทียบเท่า :) ใช่คุณควรจะได้รับการคาดการณ์ แต่คุณต้องมีข้อสันนิษฐานเพิ่มเติมของเมทริกซ์ความแปรปรวนร่วมที่เท่ากัน (ตามที่ฉันเขียนไว้ในคำตอบของฉัน) ดูความคิดเห็นของฉันด้านล่าง

— อะมีบา

ฉันจะให้คำตอบสั้น ๆ อย่างไม่เป็นทางการเท่านั้นและอ้างอิงถึงหัวข้อ 4.3 องค์ประกอบของการเรียนรู้ทางสถิติเพื่อดูรายละเอียด

ปรับปรุง: "องค์ประกอบ" เกิดขึ้นเพื่อให้ครอบคลุมในรายละเอียดมากว่าคำถามที่คุณจะถามที่นี่รวมทั้งสิ่งที่คุณเขียนในการปรับปรุงของคุณ ส่วนที่เกี่ยวข้องคือ 4.3 และโดยเฉพาะอย่างยิ่ง 4.3.2-4.3.3

(2) ทำและวิธีการทั้งสองวิธีที่เกี่ยวข้องกับแต่ละอื่น ๆ ?

$x$

$x$ $x$

ข้อมูลเชิงลึกที่สำคัญคือสมการลดความซับซ้อนมากถ้าสมมติว่าชั้นเรียนทุกคนมีความแปรปรวนเหมือน[ ปรับปรุง:ถ้าคุณคิดว่ามันทั้งหมดพร้อมนี้อาจเป็นส่วนหนึ่งของความเข้าใจผิด] ในกรณีที่ขอบเขตการตัดสินใจกลายเป็นเชิงเส้นและนั่นคือเหตุผลที่กระบวนการนี้เรียกว่าการวิเคราะห์จำแนกเชิงเส้น LDA

ต้องใช้พีชคณิตผสมเพื่อตระหนักว่าในกรณีนี้สูตรจริง ๆ แล้วเทียบเท่ากับที่ฟิชเชอร์ทำงานโดยใช้วิธีการของเขา คิดว่าเป็นทฤษฎีบททางคณิตศาสตร์ ดูตำราของ Hastie สำหรับคณิตศาสตร์ทั้งหมด

(1) เราสามารถลดขนาดโดยใช้วิธีแบบเบย์ได้หรือไม่?

ถ้าโดย "Bayesian approach" คุณหมายถึงการจัดการกับเมทริกซ์ความแปรปรวนร่วมที่แตกต่างกันในแต่ละชั้นดังนั้นไม่ อย่างน้อยมันจะไม่เป็นการลดขนาดเชิงเส้น (ไม่เหมือนกับ LDA) เนื่องจากสิ่งที่ฉันเขียนไว้ด้านบน

$\Sigma^{-1} \mu_k$ $k$ $\boldsymbol \Sigma^{-1} \mathbf{M}$ $\mathbf{M}$ $\mu_k$

— อะมีบา
แหล่งที่มา

+1 ฉันอาจจะเชื่อมโยงไปยังคำตอบของตัวเองกล่าวขวัญ QDA ฉันstats.stackexchange.com/a/71571/3277

— ttnphns

X

$X$

Σ

$\boldsymbol \Sigma$

f_{k} (x)

$f_k(x)$

f_{k} (x)

$f_k(x)$

x

$x$

Σ^{- 1} μ_{k}

$\Sigma^{-1}\mu_k$

ฉันอัปเดตโพสต์ของฉันเพิ่มคลิปของส่วน 4.3

— อะโวคาโด