คำนวณและทำกราฟขอบเขตการตัดสินใจของ LDA

ฉันเห็นพล็อต LDA (การวิเคราะห์จำแนกเชิงเส้น) ที่มีขอบเขตการตัดสินใจจากองค์ประกอบของการเรียนรู้ทางสถิติ :

ฉันเข้าใจว่ามีการฉายข้อมูลลงในพื้นที่ย่อยที่มีมิติน้อย อย่างไรก็ตามฉันต้องการทราบว่าเราจะได้รับขอบเขตการตัดสินใจในมิติเดิมอย่างไรเพื่อให้ฉันสามารถฉายขอบเขตการตัดสินใจลงในพื้นที่ย่อยที่มีมิติต่ำกว่า (ชอบเส้นสีดำในภาพด้านบน)

มีสูตรที่ฉันสามารถใช้คำนวณขอบเขตการตัดสินใจในมิติเดิม (สูงกว่า) ได้หรือไม่ ถ้าใช่แล้วสูตรนี้ต้องการปัจจัยอะไร?

รูปนี้โดยเฉพาะใน Hastie และคณะ ผลิตโดยไม่มีการคำนวณสมการของขอบเขตของชั้นเรียน มีการใช้อัลกอริทึมที่ระบุโดย @ttnphns ในความคิดเห็นให้ดูเชิงอรรถ 2 ในหัวข้อ 4.3 หน้า 110:

สำหรับตัวเลขนี้และตัวเลขที่คล้ายกันจำนวนมากในหนังสือเราคำนวณขอบเขตการตัดสินใจโดยใช้วิธีการกำหนดเส้นขอบอย่างละเอียด เราคำนวณกฎการตัดสินใจบนจุดที่ละเอียดและจากนั้นใช้อัลกอริธึมเส้นขอบเพื่อคำนวณขอบเขต

อย่างไรก็ตามฉันจะอธิบายวิธีการรับสมการของขอบเขตคลาส LDA ต่อไป

ให้เราเริ่มด้วยตัวอย่างง่ายๆ 2 มิติ นี่คือข้อมูลจากที่ชุดไอริส ; ฉันละทิ้งการวัดกลีบดอกและพิจารณาเฉพาะความยาว sepal และ sepal width เท่านั้น สามคลาสมีการทำเครื่องหมายด้วยสีแดงสีเขียวและสีน้ำเงิน:

ขอให้เราแสดงว่าระดับหมายถึง (centroids) เป็น\ LDA ถือว่าคลาสทั้งหมดมีความแปรปรวนร่วมแบบเดียวกันภายในชั้นเรียน ได้รับข้อมูลเมทริกซ์ความแปรปรวนร่วมที่ใช้ร่วมกันนี้ถูกประเมิน (ขึ้นอยู่กับขนาด) เป็นซึ่งผลรวมอยู่เหนือจุดข้อมูลทั้งหมดและเซนทรอยด์ของคลาสนั้น ๆ จะถูกลบออกจากแต่ละจุด$\boldsymbol\mu_1, \boldsymbol\mu_2, \boldsymbol\mu_3$$\mathbf{W} = \sum_i (\mathbf{x}_i-\boldsymbol \mu_k)(\mathbf{x}_i-\boldsymbol \mu_k)^\top$

สำหรับแต่ละชั้นเรียน (เช่นชั้นและ ) จะมีขอบเขตของชั้นเรียนระหว่างกัน เป็นที่ชัดเจนว่าเขตแดนที่มีการผ่านจุดตรงกลางระหว่างสอง centroids ระดับ 2 หนึ่งในผล LDA กลางคือว่าเขตแดนนี้เป็นเส้นตรงตั้งฉากกับ{2}) มีหลายวิธีในการรับผลลัพธ์นี้และแม้ว่ามันจะไม่ได้เป็นส่วนหนึ่งของคำถามก็ตาม$1$$2$$(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

โปรดทราบว่าสิ่งที่เขียนข้างต้นเป็นแล้วสเปคที่แม่นยำของเขตแดน ถ้าใครอยากมีสมการเส้นตรงในรูปแบบมาตรฐานก็จะสามารถคำนวณค่าสัมประสิทธิ์และและจะได้รับจากสูตรที่ยุ่งเหยิง ฉันแทบจะไม่สามารถจินตนาการถึงสถานการณ์เมื่อสิ่งนี้จะต้อง$y=ax+b$$a$$b$

ให้เราใช้สูตรนี้กับตัวอย่างของ Iris สำหรับแต่ละชั้นเรียนฉันจะหาจุดกลางและพล็อตบรรทัดตั้งฉากกับ :$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{i} - \boldsymbol \mu_{j})$

สามบรรทัดตัดกันในจุดเดียวตามที่ควรจะเป็น ขอบเขตการตัดสินใจจะได้รับจากรังสีเริ่มต้นจากจุดแยก:

โปรดทราบว่าหากจำนวนคลาสเป็นจะมีคลาสคู่และมีจำนวนบรรทัดมากทุกเส้นตัดกันเป็นพันกัน ในการวาดภาพสวย ๆ จาก Hastie และคณะเราจำเป็นต้องเก็บเฉพาะส่วนที่จำเป็นเท่านั้นและเป็นปัญหาอัลกอริทึมแยกต่างหากในตัวมันเอง (ไม่เกี่ยวข้องกับ LDA ในทางใดทางหนึ่งเพราะไม่ต้องการให้ทำ การจำแนกประเภทเพื่อจำแนกจุดใด ๆ ให้ตรวจสอบระยะทาง Mahalanobis กับแต่ละชั้นเรียนและเลือกจุดที่มีระยะทางต่ำสุดหรือใช้อนุกรมหรือ LDA ตามลำดับ)$K\gg 2$$K(K-1)/2$

ในสูตรยังคงเหมือนเดิม : ขอบเขตคือ orthogonal ถึงและผ่าน 2 อย่างไรก็ตามในมิติที่สูงขึ้นนี้ไม่ได้เป็นสายอีกต่อไป แต่ไฮเปอร์เพลของมิติ สำหรับวัตถุประสงค์ในการอธิบายเราสามารถฉายชุดข้อมูลให้กับแกนแบ่งแยกสองอันแรกได้และลดปัญหาให้กับกรณี 2D (ซึ่งฉันเชื่อว่าเป็นสิ่งที่ Hastie et al. ทำเพื่อสร้างรูปนั้น)$D>2$$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$$(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$$D-1$

ภาคผนวก

จะดูได้อย่างไรว่าขอบเขตนั้นเป็นแนวตั้งฉากกับ ? ต่อไปนี้เป็นวิธีที่เป็นไปได้หลายวิธีในการรับผลลัพธ์นี้:$\mathbf{W}^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

1. วิธีแฟนซี:เจือจางตัวชี้วัด Mahalanobis บนเครื่องบิน; ขอบเขตจะต้องเป็นมุมฉากกับในการวัดนี้ QED$\mathbf{W}^{-1}$$\boldsymbol \mu_{1} - \boldsymbol \mu_{2}$

2. มาตรฐานแบบเกาส์: ถ้าทั้งสองเรียนอธิบายโดยการแจกแจงแบบเกาส์จากนั้นก็มีความเป็นไปได้ที่จุด logเป็นคลาสสัดส่วนmu_k) บนขอบเขตความเป็นไปได้ของการเป็นสมาชิกของคลาสและจะเท่ากัน; จดบันทึกลดความซับซ้อนและคุณจะไปที่ , QED$\mathbf x$$k$$(\mathbf x - \boldsymbol \mu_k)^\top \mathbf W^{-1}(\mathbf x - \boldsymbol \mu_k)$$1$$2$$\mathbf x^\top \mathbf W^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2}) = \mathrm{const}$

3. วิธีที่ใช้แรงงานมาก แต่ใช้งานง่าย ลองจินตนาการว่าเป็นเมทริกซ์เอกลักษณ์นั่นคือทุกคลาสนั้นเป็นทรงกลม แล้ววิธีการแก้ปัญหาที่เห็นได้ชัด: เขตแดนเป็นเพียงฉากกับ\ ถ้าชั้นเรียนไม่เป็นทรงกลมก็สามารถทำให้ชั้นเรียนนั้นเป็นทรงกลมได้ ถ้า eigen - การสลายตัวของคือแล้วเมทริกซ์จะทำการหลอกลวง (ดูเช่นที่นี่ ) ดังนั้นหลังจากใช้เขตแดนเป็นฉากกับ{2}) หากเรานำขอบเขตนี้มาเปลี่ยนกลับด้วยμ 1 - μ 2 W W = U D U ⊤ S = D - 1 / 2 U ⊤ S S ( μ 1 - μ 2 ) S - 1 S ⊤ S$\mathbf{W}$$\boldsymbol \mu_1 - \boldsymbol \mu_2$$\mathbf{W}$$\mathbf{W} = \mathbf U \mathbf D \mathbf U^\top$$\mathbf S = \mathbf D^{-1/2} \mathbf U^\top$$\mathbf S$$\mathbf S (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$$\mathbf S^{-1}$และถามว่ามันคืออะไรมุมฉากคำตอบ (จากการออกกำลังกาย) คือ: ถึง{2}) เสียบนิพจน์สำหรับเราจะได้ QED$\mathbf S^\top \mathbf S \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$$\mathbf S$