คำถามติดแท็ก discriminant-analysis

ฉันพยายามที่จะตัดหัวของฉันรอบความแตกต่างทางสถิติระหว่างการวิเคราะห์จำแนกเชิงเส้นและโลจิสติกการถดถอย ความเข้าใจของฉันถูกต้องหรือไม่สำหรับปัญหาการจำแนกประเภทสองชั้น LDA คาดการณ์ฟังก์ชันความหนาแน่นปกติสองฟังก์ชัน (หนึ่งรายการสำหรับแต่ละคลาส) ที่สร้างขอบเขตเชิงเส้นตรงที่พวกเขาตัดกันในขณะที่การถดถอยโลจิสติก สร้างขอบเขต แต่ไม่ถือว่าฟังก์ชันความหนาแน่นสำหรับแต่ละคลาสหรือไม่

36 regression  logistic  classification  discriminant-analysis 

ฉันใช้การวิเคราะห์เชิงเส้นตรง (LDA) จากไลบรารี่การscikit-learnเรียนรู้ของเครื่องจักร (Python) สำหรับการลดมิติข้อมูลและอยากรู้เกี่ยวกับผลลัพธ์เล็กน้อย ฉันสงสัยว่าตอนนี้สิ่งที่ LDA scikit-learnกำลังทำอยู่เพื่อให้ผลลัพธ์ดูแตกต่างจากเช่นวิธีการด้วยตนเองหรือ LDA ที่ทำใน R มันจะดีถ้ามีใครให้ข้อมูลเชิงลึกที่นี่ สิ่งที่สำคัญที่สุดคือการscikit-plotแสดงให้เห็นถึงความสัมพันธ์ระหว่างตัวแปรสองตัวที่ควรมีความสัมพันธ์ 0 สำหรับการทดสอบฉันใช้ชุดข้อมูลของ Iris และตัวจำแนกเชิงเส้น 2 ตัวแรกมีลักษณะดังนี้: IMG-1 LDA ผ่าน scikit เรียนรู้ สิ่งนี้สอดคล้องกับผลลัพธ์ที่พบในเอกสาร scikit-Learn ที่นี่ ตอนนี้ฉันผ่าน LDA ทีละขั้นตอนและได้ประมาณการที่แตกต่างกัน ฉันลองวิธีที่แตกต่างกันเพื่อค้นหาว่าเกิดอะไรขึ้น: IMG-2 LDA บนข้อมูลดิบ (ไม่มีการจัดกึ่งกลางไม่มีมาตรฐาน) และนี่คือแนวทางทีละขั้นตอนถ้าฉันสร้างมาตรฐาน (การทำให้เป็นมาตรฐาน z-score; ความแปรปรวนของหน่วย) ข้อมูลก่อน ฉันทำสิ่งเดียวกันโดยมีค่าเฉลี่ยอยู่กึ่งกลางเท่านั้นซึ่งควรนำไปสู่ภาพการฉายภาพแบบเดียวกัน (และสิ่งที่มันทำ) IMG-3 LDA ทีละขั้นตอนหลังจากการกำหนดค่าเฉลี่ยกึ่งกลางหรือกำหนดมาตรฐาน IMG-4 LDA ใน R (การตั้งค่าเริ่มต้น) …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd 

ใครสามารถอธิบายความแตกต่างและให้ตัวอย่างเฉพาะกับวิธีใช้การวิเคราะห์ทั้งสามนี้ได้หรือไม่ LDA - การวิเคราะห์จำแนกเชิงเส้น FDA - การวิเคราะห์จำแนกกลุ่มของชาวประมง การวิเคราะห์จำแนกประเภทกำลังสองแบบ QDA ฉันค้นหาทุกที่ แต่ไม่สามารถหาตัวอย่างจริงที่มีค่าจริงเพื่อดูว่ามีการใช้การวิเคราะห์เหล่านี้อย่างไรและมีการคำนวณข้อมูลมีเพียงสูตรจำนวนมากที่เข้าใจได้ยากโดยไม่มีตัวอย่างจริง ในขณะที่ฉันพยายามเข้าใจมันเป็นการยากที่จะแยกแยะว่าสมการ / สูตรใดเป็นของ LDA และของ FDA ตัวอย่างเช่นสมมติว่ามีข้อมูลดังกล่าว: x1 x2 class 1 2 a 1 3 a 2 3 a 3 3 a 1 0 b 2 1 b 2 2 b และสมมุติว่าข้อมูลการทดสอบบางอย่าง: x1 x2 2 4 3 5 3 …

26 classification  discriminant-analysis 

PCA, LDA, CCA และ PLS เกี่ยวข้องกันอย่างไร พวกเขาดูเหมือน "เชิงสเปกตรัม" และเชิงพีชคณิตเชิงเส้นและเข้าใจเป็นอย่างดี (พูดมากกว่า 50 ปีของทฤษฎีที่สร้างขึ้นรอบ ๆ พวกเขา) พวกเขาจะใช้สำหรับสิ่งที่แตกต่างกันมาก (PCA สำหรับการลดขนาด, LDA สำหรับการจัดหมวดหมู่, PLS สำหรับการถดถอย) แต่พวกเขาก็ยังรู้สึกเกี่ยวข้องอย่างใกล้ชิด

26 pca  discriminant-analysis  partial-least-squares  canonical-correlation 

สมมติว่าฉันมีชุดข้อมูลสำหรับงานการจัดหมวดหมู่ทางสถิติภายใต้การดูแลเช่นผ่านตัวจําแนกของ Bayes ชุดข้อมูลนี้ประกอบด้วย 20 ฟีเจอร์และฉันต้องการต้มให้เหลือ 2 ฟีเจอร์โดยใช้เทคนิคการลดขนาดเช่นการวิเคราะห์ส่วนประกอบหลัก (PCA) และ / หรือการวิเคราะห์เชิงเส้น (LDA) เทคนิคทั้งสองกำลังฉายข้อมูลลงในพื้นที่ย่อยขนาดเล็ก: ด้วย PCA ฉันจะหาทิศทาง (ส่วนประกอบ) ที่เพิ่มความแปรปรวนในชุดข้อมูล (โดยไม่คำนึงถึงคลาสฉลาก) และด้วย LDA ฉันจะมีส่วนประกอบที่ขยายระหว่าง - คลาสแยก ตอนนี้ฉันกำลังสงสัยว่าอย่างไรและทำไมเทคนิคเหล่านี้สามารถรวมกันและถ้ามันทำให้รู้สึก ตัวอย่างเช่น: แปลงชุดข้อมูลผ่าน PCA และฉายลงบนพื้นที่ว่างสองมิติใหม่ Transform (ชุด PCA-transformed) ชุดข้อมูลที่ผ่าน LDA เป็นค่าสูงสุด การแยกชั้นเรียน หรือ ข้ามขั้นตอน PCA และใช้ส่วนประกอบ 2 อันดับแรกจาก LDA หรือชุดค่าผสมอื่น ๆ ที่เหมาะสม

25 classification  pca  regularization  discriminant-analysis  overfitting 

มีความสัมพันธ์ระหว่างการถดถอยและการวิเคราะห์จำแนกเชิงเส้น (LDA) หรือไม่? ความคล้ายคลึงและความแตกต่างของพวกเขาคืออะไร มันสร้างความแตกต่างหรือไม่ถ้ามีสองคลาสหรือมากกว่าสองคลาส?

24 regression  logistic  discriminant-analysis  canonical-correlation  reduced-rank-regression 

ในบทความนี้ ผู้เขียนเชื่อมโยงการวิเคราะห์จำแนกเชิงเส้น (LDA) กับการวิเคราะห์องค์ประกอบหลัก (PCA) ด้วยความรู้ที่ จำกัด ของฉันฉันไม่สามารถทำตามวิธี LDA ได้ค่อนข้างคล้ายกับ PCA ฉันคิดเสมอว่า LDA เป็นรูปแบบของอัลกอริทึมการจำแนกประเภทซึ่งคล้ายกับการถดถอยโลจิสติก ฉันจะซาบซึ้งในความช่วยเหลือในการทำความเข้าใจว่า LDA คล้ายกับ PCA อย่างไรเช่นเป็นเทคนิคการลดขนาด

19 classification  pca  dimensionality-reduction  discriminant-analysis  canonical-correlation 

ฉันเห็นพล็อต LDA (การวิเคราะห์จำแนกเชิงเส้น) ที่มีขอบเขตการตัดสินใจจากองค์ประกอบของการเรียนรู้ทางสถิติ : ฉันเข้าใจว่ามีการฉายข้อมูลลงในพื้นที่ย่อยที่มีมิติน้อย อย่างไรก็ตามฉันต้องการทราบว่าเราจะได้รับขอบเขตการตัดสินใจในมิติเดิมอย่างไรเพื่อให้ฉันสามารถฉายขอบเขตการตัดสินใจลงในพื้นที่ย่อยที่มีมิติต่ำกว่า (ชอบเส้นสีดำในภาพด้านบน) มีสูตรที่ฉันสามารถใช้คำนวณขอบเขตการตัดสินใจในมิติเดิม (สูงกว่า) ได้หรือไม่ ถ้าใช่แล้วสูตรนี้ต้องการปัจจัยอะไร?

19 r  references  discriminant-analysis 

ในหลาย ๆ ที่ฉันเห็นการกล่าวอ้างว่า MANOVA เป็นเหมือน ANOVA บวกกับการวิเคราะห์จำแนกเชิงเส้น (LDA) แต่มันถูกสร้างขึ้นด้วยวิธีการโบกมือด้วยมือเสมอ ฉันอยากจะรู้ว่ามันควรจะหมายถึงอะไรกันแน่ ผมพบว่าตำราต่างๆที่อธิบายถึงรายละเอียดทั้งหมดของการคำนวณ MANOVA แต่มันดูเหมือนว่าจะเป็นเรื่องยากมากที่จะหาการอภิปรายทั่วไปดี (นับประสาภาพ ) เข้าถึงได้ให้กับคนที่ไม่ได้เป็นสถิติ

18 anova  discriminant-analysis  manova 

มีคำจาก "องค์ประกอบของการเรียนรู้ทางสถิติ" ที่หน้า 91: K centroids ในพื้นที่อินพุต p-dimension ขยายพื้นที่ส่วนใหญ่มิติ K-1 และถ้า p มีขนาดใหญ่กว่า K นี่จะเป็นมิติที่ลดลงอย่างมาก ฉันมีสองคำถาม: ทำไม K centroids ในพื้นที่อินพุต p-p ขยายที่พื้นที่ส่วนใหญ่ K-1 มิติ? K centroid เป็นอย่างไรบ้าง? ไม่มีคำอธิบายในหนังสือและฉันไม่พบคำตอบจากเอกสารที่เกี่ยวข้อง

18 machine-learning  discriminant-analysis 

ในRฉันใช้ldaฟังก์ชั่นจากห้องสมุดMASSเพื่อจัดหมวดหมู่ ตามที่ฉันเข้าใจ LDA แล้วอินพุตxxxจะได้รับการกำหนดเลเบลyyyซึ่งเพิ่มp(y|x)p(y|x)p(y|x)ได้สูงสุดใช่ไหม แต่เมื่อผมเหมาะสมกับรูปแบบซึ่งในx=(Lag1,Lag2)x=(Lag1,Lag2)x=(Lag1,Lag2)y=Direction,y=Direction,y=Direction,ฉันไม่เข้าใจเอาท์พุทจากlda, แก้ไข:เพื่อทำซ้ำผลลัพธ์ด้านล่างให้เรียกใช้ครั้งแรก: library(MASS) library(ISLR) train = subset(Smarket, Year < 2005) lda.fit = lda(Direction ~ Lag1 + Lag2, data = train) > lda.fit Call: lda(Direction ~ Lag1 + Lag2, data = train) Prior probabilities of groups: Down Up 0.491984 0.508016 Group means: Lag1 Lag2 Down 0.04279022 0.03389409 …

17 r  discriminant-analysis  inference 

ฉันฝึกอบรมลักษณนามหลายระดับ LDA กับ8 ชั้นเรียนของข้อมูล ขณะทำการฝึกซ้อมฉันได้รับคำเตือนว่า: " Variables are collinear " ฉันได้รับการฝึกอบรมมีความถูกต้องมากกว่า90% ฉันใช้ห้องสมุดscikits-LearnในPythonทำการฝึกอบรมและทดสอบข้อมูลหลายคลาส ฉันได้รับความแม่นยำในการทดสอบที่ดีเช่นกัน (ประมาณ85% -95% ) ฉันไม่เข้าใจว่าข้อผิดพลาด / คำเตือนหมายถึงอะไร กรุณาช่วยฉันออกไป.

16 machine-learning  classification  python  scikit-learn  discriminant-analysis 

ฉันพบข้อดีของการวิเคราะห์ที่แยกแยะและฉันมีคำถามเกี่ยวกับพวกเขา ดังนั้น: เมื่อชั้นเรียนมีการแยกกันอย่างดีพารามิเตอร์ประมาณการสำหรับการถดถอยโลจิสติกจะไม่เสถียรอย่างน่าประหลาดใจ ค่าสัมประสิทธิ์อาจไปไม่มีที่สิ้นสุด LDA ไม่ประสบปัญหานี้ ถ้าจำนวนของคุณลักษณะมีขนาดเล็กและการแจกแจงของตัวทำนาย XXXเป็นปกติโดยประมาณในแต่ละคลาสโมเดล discriminant เชิงเส้นจะมีเสถียรภาพมากกว่าแบบจำลองการถดถอยโลจิสติกอีกครั้ง เสถียรภาพคืออะไรและทำไมจึงสำคัญ (ถ้าการถดถอยโลจิสติกส์ให้พอดีกับหน้าที่การใช้งานแล้วทำไมฉันถึงต้องสนใจเรื่องเสถียรภาพ) LDA เป็นที่นิยมเมื่อเรามีคลาสการตอบสนองมากกว่าสองคลาสเนื่องจากยังให้มุมมองข้อมูลในระดับต่ำ ฉันแค่ไม่เข้าใจสิ่งนั้น LDA ให้มุมมองแบบมิติต่ำได้อย่างไร หากคุณสามารถตั้งชื่อข้อดีหรือข้อเสียได้มากกว่านี้ก็คงจะดี

16 regression  logistic  multivariate-analysis  discriminant-analysis 

ในการวิเคราะห์จำแนกจำแนกตัวแปรตามเป็นหมวด แต่ฉันสามารถใช้ตัวแปรเด็ดขาด (เช่นสถานะที่อยู่อาศัย: ชนบทเมือง) พร้อมกับตัวแปรต่อเนื่องอื่น ๆ เป็นตัวแปรอิสระในการวิเคราะห์จำแนกเชิงเส้น?

15 logistic  categorical-data  discriminant-analysis  regression-strategies 

ฉันเล่นซอกับวิธี PCA และ LDA และฉันติดอยู่ที่จุดหนึ่งฉันรู้สึกว่ามันง่ายมากจนฉันมองไม่เห็น เมทริกการกระจายแบบกระจายภายในคลาส ( ) และระหว่างคลาส ( ) ถูกกำหนดเป็น:S BSWSWS_WSBSBS_B SW=∑i=1C∑t=1N(xit−μi)(xit−μi)TSW=∑i=1C∑t=1N(xti−μi)(xti−μi)T S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T SB=∑i=1CN(μi−μ)(μi−μ)TSB=∑i=1CN(μi−μ)(μi−μ)T S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T เมทริกซ์การกระจายทั้งหมดถูกกำหนดเป็น:STSTS_T ST= ∑i = 1คΣt = 1ยังไม่มีข้อความ( xผมเสื้อ- μ ) ( xผมเสื้อ- μ )T= SW+ SBST=∑i=1C∑t=1N(xti−μ)(xti−μ)T=SW+SB S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W …

14 discriminant-analysis