การวิเคราะห์จำแนกสามรุ่น: ความแตกต่างและวิธีใช้

ใครสามารถอธิบายความแตกต่างและให้ตัวอย่างเฉพาะกับวิธีใช้การวิเคราะห์ทั้งสามนี้ได้หรือไม่

• LDA - การวิเคราะห์จำแนกเชิงเส้น
• FDA - การวิเคราะห์จำแนกกลุ่มของชาวประมง
• การวิเคราะห์จำแนกประเภทกำลังสองแบบ QDA

ฉันค้นหาทุกที่ แต่ไม่สามารถหาตัวอย่างจริงที่มีค่าจริงเพื่อดูว่ามีการใช้การวิเคราะห์เหล่านี้อย่างไรและมีการคำนวณข้อมูลมีเพียงสูตรจำนวนมากที่เข้าใจได้ยากโดยไม่มีตัวอย่างจริง ในขณะที่ฉันพยายามเข้าใจมันเป็นการยากที่จะแยกแยะว่าสมการ / สูตรใดเป็นของ LDA และของ FDA

ตัวอย่างเช่นสมมติว่ามีข้อมูลดังกล่าว:

x1 x2 class
1  2  a
1  3  a
2  3  a
3  3  a
1  0  b
2  1  b
2  2  b

และสมมุติว่าข้อมูลการทดสอบบางอย่าง:

x1 x2
2  4
3  5
3  6

ดังนั้นวิธีการใช้ข้อมูลดังกล่าวกับทั้งสามวิธี? มันจะเป็นการดีที่สุดที่จะเห็นวิธีการคำนวณทุกอย่างด้วยมือไม่ใช่การใช้ชุดคณิตศาสตร์ที่คำนวณทุกอย่างหลังฉาก

PS I พบเฉพาะการกวดวิชานี้: http://people.revoledu.com/kardi/tutorial/LDA/LDA.html#LDA มันแสดงให้เห็นถึงวิธีการใช้ LDA

"การวิเคราะห์การจำแนกของฟิชเชอร์" เป็นเพียงLDAในสถานการณ์ของ 2 คลาส เมื่อมีการคำนวณด้วยมือเพียง 2 คลาสเท่านั้นที่เป็นไปได้และการวิเคราะห์จะเกี่ยวข้องโดยตรงกับการถดถอยพหุคูณ LDA เป็นส่วนขยายโดยตรงของแนวคิดของ Fisher เกี่ยวกับสถานการณ์ของคลาสใด ๆ และใช้อุปกรณ์พีชคณิตเมทริกซ์ (เช่น eigendecomposition) เพื่อคำนวณ ดังนั้นคำว่า "การวิเคราะห์จำแนกประเภทของฟิชเชอร์" สามารถมองได้ว่าล้าสมัยในปัจจุบัน "การวิเคราะห์จำแนกเชิงเส้น" ควรใช้แทน ดูเพิ่มเติม การวิเคราะห์จำแนกด้วย 2+ คลาส (หลายคลาส) เป็นที่ยอมรับโดยอัลกอริทึมของมัน (แยก dicriminants เป็นตัวแปรตามบัญญัติ) คำที่หายาก "การวิเคราะห์จำแนกตาม Canonical"

ฟิชเชอร์ใช้สิ่งที่เรียกว่า "ฟังก์ชั่นการจำแนกฟิชเชอร์" เพื่อจัดประเภทวัตถุหลังจากคำนวณการเลือกปฏิบัติแล้ว ทุกวันนี้มีการใช้วิธีการทั่วไปของเบย์ภายในโพรซีเดอร์ LDA เพื่อจำแนกวัตถุ

คำขอของคุณสำหรับคำอธิบายของ LDA ผมอาจจะส่งคุณไปยังคำตอบของฉันเหล่านี้: การสกัดใน LDA , การจัดหมวดหมู่ใน LDA , LDA หมู่วิธีการที่เกี่ยวข้อง นอกจากนี้ , นี้ , นี้คำถามและคำตอบ

เช่นเดียวกับ ANOVA ต้องใช้สมมติฐานของผลต่างที่เท่ากัน LDA ต้องการสมมติฐานของเมทริกซ์ความแปรปรวนร่วม - ความแปรปรวนร่วมเท่ากัน (ระหว่างตัวแปรอินพุต) ของคลาส สมมติฐานนี้มีความสำคัญสำหรับขั้นตอนการจำแนกประเภทของการวิเคราะห์ หากการฝึกอบรมแตกต่างกันอย่างมีนัยสำคัญการสังเกตจะมีแนวโน้มที่จะได้รับมอบหมายให้ชั้นเรียนที่มีความแปรปรวนมากกว่า เพื่อแก้ไขปัญหานี้QDAถูกคิดค้นขึ้น QDA เป็นการปรับเปลี่ยน LDA ซึ่งอนุญาตให้มีความหลากหลายของการฝึกอบรมความแปรปรวนร่วมของคลาส

หากคุณมีความแตกต่าง (ตามที่ตรวจพบตัวอย่างจากการทดสอบ M ของ Box) และคุณไม่มี QDA ในมือคุณยังสามารถใช้ LDA ในระบอบการปกครองที่ใช้เมทริกซ์ความแปรปรวนร่วม (แทนที่จะเป็นเมทริกพูลพูล) ของการจำแนกประเภท . ส่วนนี้แก้ปัญหาแม้ว่าจะมีประสิทธิภาพน้อยกว่าใน QDA เพราะ - ดังที่ได้กล่าวไว้ - นี่คือเมทริกซ์ระหว่างการเลือกปฏิบัติและไม่ได้อยู่ระหว่างตัวแปรดั้งเดิม (ซึ่งเมทริกซ์ต่างกัน)

ให้ฉันวิเคราะห์ข้อมูลตัวอย่างของคุณเอง

ตอบกลับคำตอบและความคิดเห็นของ @ zyxue

LDA คือสิ่งที่คุณนิยาม FDA อยู่ในคำตอบของคุณ LDA แรกแยกการสร้างเชิงเส้น (เรียกว่า discriminants) ที่ขยายระหว่างและภายในให้มากที่สุดจากนั้นใช้การจัดหมวดหมู่เหล่านี้เพื่อดำเนินการ (gaussian) หาก (ตามที่คุณพูด) LDA ไม่ได้ผูกติดอยู่กับงานเพื่อแยกการแบ่งแยก LDA จะดูเหมือนเป็นลักษณนามของเกาส์เซียนจะไม่มีชื่อ "LDA" เลย

$S_w$$S_w$มีความเหมือนกันความแปรปรวนร่วมในระดับเดียวกันนั้นมีความเหมือนกัน สิทธิ์ที่จะใช้มันกลายเป็นความสมบูรณ์)

ลักษณนามแบบเกาส์ (ขั้นตอนที่สองของ LDA) ใช้กฎของเบย์เพื่อกำหนดการสังเกตการณ์ให้กับคลาสโดยผู้เลือกปฏิบัติ ผลลัพธ์เดียวกันนี้สามารถทำได้โดยใช้ฟังก์ชันการจัดหมวดหมู่เชิงเส้นฟิชเชอร์ซึ่งใช้คุณสมบัติดั้งเดิมโดยตรง อย่างไรก็ตามวิธีการของเบย์ตามการเลือกปฏิบัตินั้นค่อนข้างทั่วไปเล็กน้อยในการที่จะอนุญาตให้ใช้เมทริกซ์ความแปรปรวนร่วมแบบแยกชั้นได้เช่นกันนอกเหนือจากวิธีการเริ่มต้นที่จะใช้หนึ่ง นอกจากนี้ยังอนุญาตให้จำแนกพื้นฐานบนชุดย่อยของการเลือกปฏิบัติ

เมื่อมีเพียงสองคลาส LDA ทั้งสองขั้นตอนสามารถอธิบายร่วมกันในการส่งผ่านเพียงครั้งเดียวเพราะ "การแยกแฝง" และ "การจำแนกประเภทการสังเกต" จะลดลงเป็นงานเดียวกัน

ฉันพบว่ามันยากที่จะยอมรับว่า FDA เป็น LDA สำหรับสองชั้นตามที่ @ttnphns แนะนำ

ฉันขอแนะนำการบรรยายที่ให้ข้อมูลและสวยงามสองเรื่องในหัวข้อนี้โดยศาสตราจารย์ Ali Ghodsi:

1. LDA & QDA นอกจากนี้หน้า 108 ของหนังสือองค์ประกอบของการเรียนรู้ทางสถิติ ( pdf ) มีคำอธิบายของ LDA ที่สอดคล้องกับการบรรยาย
2. องค์การอาหารและยา

สำหรับฉัน LDA และ QDA มีความคล้ายคลึงกันเนื่องจากเป็นทั้งเทคนิคการจัดหมวดหมู่ที่มีสมมติฐาน Gaussian ความแตกต่างที่สำคัญระหว่างสองคือ LDA ถือว่าเมทริกซ์ความแปรปรวนร่วมของทั้งสองคลาสเหมือนกันซึ่งส่งผลให้มีขอบเขตการตัดสินใจเชิงเส้น ในทางตรงกันข้าม QDA นั้นมีความเข้มงวดน้อยกว่าและอนุญาตให้เมทริกซ์ความแปรปรวนร่วมคุณลักษณะที่แตกต่างกันสำหรับคลาสที่แตกต่างกันซึ่งนำไปสู่ขอบเขตการตัดสินใจกำลังสอง ดูรูปต่อไปนี้จากscikit เรียนรู้สำหรับแนวคิดว่าขอบเขตการตัดสินใจกำลังสองเป็นอย่างไร

ความคิดเห็นบางส่วนเกี่ยวกับแผนการย่อย :

• แถวบนสุด: เมื่อเมทริกซ์ความแปรปรวนร่วมแน่นอนเหมือนกันในข้อมูล LDA และ QDA นำไปสู่ขอบเขตการตัดสินใจเดียวกัน
• แถวล่าง: เมื่อเมทริกซ์ความแปรปรวนร่วมแตกต่างกัน LDA นำไปสู่ประสิทธิภาพที่ไม่ดีเนื่องจากสมมติฐานของมันไม่ถูกต้องในขณะที่ QDA ดำเนินการจำแนกได้ดีขึ้นมาก

ในทางตรงกันข้ามองค์การอาหารและยาเป็นสายพันธุ์ที่แตกต่างกันมากไม่มีอะไรเกี่ยวข้องกับสมมติฐาน Gaussion สิ่งที่องค์การอาหารและยาพยายามทำคือค้นหาการแปลงเชิงเส้นเพื่อเพิ่มระยะห่างระหว่างคลาสให้ได้มากที่สุดในขณะที่ลดความแปรปรวนภายในชั้นเรียนให้น้อยที่สุดน้อยที่สุด การบรรยายครั้งที่ 2 อธิบายความคิดนี้อย่างสวยงาม ตรงกันข้ามกับ LDA / QDA, FDA ไม่ได้จัดประเภทแม้ว่าคุณสมบัติที่ได้รับหลังจากการเปลี่ยนแปลงที่พบโดย FDA สามารถใช้สำหรับการจำแนกประเภทเช่นใช้ LDA / QDA หรือ SVM หรืออื่น ๆ