วิธีการคำนวณน้ำหนักเกณฑ์ฟิชเชอร์

ฉันกำลังศึกษาการจดจำรูปแบบและการเรียนรู้ของเครื่องและฉันพบคำถามต่อไปนี้

พิจารณาปัญหาการจำแนกประเภทสองระดับที่มีความน่าจะเป็นคลาสก่อนหน้าเท่ากับ

$$P(D_1)=P(D_2)= \frac{1}{2}$$

และการแจกแจงอินสแตนซ์ในแต่ละคลาสที่กำหนดโดย

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

วิธีการคำนวณน้ำหนักเกณฑ์ฟิชเชอร์

อัปเดต 2:น้ำหนักที่คำนวณได้จากหนังสือของฉันคือ: $W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$ ]

อัปเดต 3:ตามคำแนะนำของ @xeon ฉันเข้าใจว่าฉันควรกำหนดเส้นการฉายสำหรับผู้เลือกปฏิบัติของฟิชเชอร์

อัปเดต 4:ให้เป็นทิศทางของเส้นการฉายภาพจากนั้นวิธีการจำแนกเชิงเส้นฟิชเชอร์จะพบว่าW ที่ดีที่สุดคือสิ่งที่ฟังก์ชันเกณฑ์ถูกขยายให้ใหญ่สุด ความท้าทายที่เหลืออยู่คือเราจะได้เวกเตอร์เป็นตัวเลข W ได้อย่างไร$W$$W$$W$

$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$

eigenvector ที่มีค่าลักษณะเฉพาะที่ใหญ่ที่สุดจะเพิ่มความฉลาดทางเรย์ลีห์ แทนที่จะทำการคำนวณด้วยมือฉันได้แก้ไขปัญหาค่าลักษณะเฉพาะทั่วไปใน Python โดยใช้scipy.linalg.eigและได้รับ ซึ่งแตกต่างจากวิธีแก้ปัญหาที่คุณพบในหนังสือของคุณ ด้านล่างฉันพล็อตไฮเปอร์เพลนที่ดีที่สุดของน้ำหนักเวกเตอร์ที่ฉันพบ (สีดำ) และไฮเปอร์เพลนของน้ำหนักเวกเตอร์ที่พบในหนังสือของคุณ (สีแดง)

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

กำลังติดตาม Duda et al. (การจำแนกรูปแบบ) ซึ่งมีทางเลือกในการแก้ @lucas และในกรณีนี้ให้การคำนวณด้วยมือได้ง่ายมาก (หวังว่าโซลูชันทางเลือกนี้จะช่วยให้ !! :))

ในสองระดับ LDA วัตถุประสงค์คือ:

$\frac{w^TS_Bw}{w^TS_Ww}$ซึ่งหมายถึงการเพิ่มระดับความแปรปรวนระหว่างคลาสและลดระดับความแปรปรวนภายใน

โดยที่และที่นี่ คือเมทริกซ์ความแปรปรวนร่วมและหมายถึง class 1 และ 2 ตามลำดับ$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

วิธีแก้ปัญหาของความฉลาดทาง raleigh ทั่วไปนี้เป็นโพรบค่าไอเกนิกทั่วไป

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

สูตรด้านบนมีวิธีแก้ปัญหาแบบปิด เป็นเมทริกซ์อันดับ 1 ที่มีพื้นฐานดังนั้นซึ่งสามารถเป็น normlizd เพื่อรับคำตอบ$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

ฉันเพิ่งคำนวณค่าแล้วได้ [0.5547; 0.8321]$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Ref: การจำแนกรูปแบบโดย Duda, Hart, Stork

$\mathbf{SOLUTION 2:}$

อีกวิธีหนึ่งก็สามารถแก้ไขได้โดยการหาเวกเตอร์ eigen กับปัญหาค่าไอเกนทั่วไป $S_Bw = \lambda S_Ww$

พหุนามในแลมบ์ดาสามารถเกิดขึ้นโดยและการแก้ปัญหาในการพหุนามว่าจะเป็นค่าไอเกนสำหรับS_Ww ตอนนี้สมมติว่าคุณได้รับชุดค่า eigenเป็นรากของพหุนาม ตอนนี้แทนและได้รับที่สอดคล้องไอเกนเวกเตอร์เป็นวิธีการแก้ระบบเชิงเส้นของสมS_Ww_i ด้วยการทำเช่นนี้สำหรับแต่ละตัวฉันคุณจะได้ชุดเวกเตอร์และมันคือชุดของเวกเตอร์ไอเกนเป็นวิธีแก้ปัญหาS B$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$ดังนั้นค่าไอเกนจึงเป็น รากพหุนาม2-80$6\lambda^2 - 80\lambda$

ดังนั้น 0 และ 40/3 เป็นคำตอบสองข้อ สำหรับ LDA เวกเตอร์ eigen ที่สอดคล้องกับค่า eigen สูงสุดคือคำตอบ$\lambda=$

คำตอบของระบบสมการและ$(S_B - \lambda_i S_W)w_i = 0$$\lambda_i = 40/3$

ซึ่งกลายเป็น$\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

คำตอบสำหรับระบบสมการข้างต้นคือซึ่งเหมือนกับโซลูชันก่อนหน้า$\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

หรืออีกวิธีหนึ่งที่เราสามารถพูดได้ว่าโกหกในพื้นที่โมฆะของ{bmatrix}[ - 72 48 48 - 32$\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$$\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

สำหรับ LDA สองคลาส eigen vector ที่มีค่า eigen สูงสุดคือคำตอบ โดยทั่วไปสำหรับคลาส C LDA เวกเตอร์ C - 1 eigen แรกถึงค่า C - 1 eigen สูงสุดเป็นวิธีแก้ปัญหา

วิดีโอนี้อธิบายถึงวิธีการคำนวณเวกเตอร์ eigen สำหรับปัญหาค่า eigen อย่างง่าย ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

ต่อไปนี้เป็นตัวอย่าง http://www.sosmath.com/matrix/eigen2/eigen2.html

LDA หลายระดับ: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

การคำนวณ Null Space ของเมทริกซ์: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix