คำถามติดแท็ก discriminant-analysis

ฉันมีชุดข้อมูลซึ่งประกอบด้วยตัวอย่างที่มีป้ายกำกับ 15K (จาก 10 กลุ่ม) ฉันต้องการนำการลดขนาดมาใช้เป็น 2 มิติโดยคำนึงถึงความรู้เกี่ยวกับฉลาก เมื่อฉันใช้เทคนิคการลดขนาดที่ไม่ได้รับอนุญาต "มาตรฐาน" เช่น PCA พล็อตกระจายดูเหมือนจะไม่มีส่วนเกี่ยวข้องกับฉลากที่รู้จัก สิ่งที่ฉันกำลังมองหามีชื่อหรือไม่? ฉันต้องการอ่านการอ้างอิงของการแก้ปัญหา

13 machine-learning  pca  dimensionality-reduction  supervised-learning  discriminant-analysis 

ฉันมักใช้ในการวิเคราะห์ข้อมูลหลายตัวแปรโดยใช้ PCA (ข้อมูล omics ที่มีตัวแปรนับแสนและตัวอย่างหลายสิบหรือหลายร้อย) ข้อมูลมักมาจากการทดลองกับตัวแปรอิสระหลายหมวดหมู่ที่กำหนดกลุ่มและฉันมักจะต้องผ่านองค์ประกอบบางอย่างก่อนที่ฉันจะสามารถหาคนที่แสดงการแยกระหว่างกลุ่มที่น่าสนใจ ฉันได้ค้นพบวิธีการดั้งเดิมในการค้นหาส่วนประกอบที่แบ่งแยกเช่นนั้นและฉันสงสัยว่า ขอบเขตนี้สมเหตุสมผล / สมเหตุสมผลและ ไม่ว่าจะมีวิธีที่ดีกว่าในการบรรลุเป้าหมายเดียวกัน โปรดทราบว่านี่คือการสำรวจ ก่อนที่จะโน้มน้าวใจคนอื่นฉันต้องการโน้มน้าวตัวเอง ถ้าฉันเห็นว่ามีส่วนประกอบที่แยกความแตกต่างของกลุ่มผลประโยชน์ (เช่นการควบคุมกับการรักษา) อย่างชัดเจนแม้ว่าพวกเขาจะรับผิดชอบส่วนย่อยของความแปรปรวนของการตอบสนองฉันก็เชื่อว่ามันเป็นผลมาจากการพูด การเรียนรู้ นี่คือแนวทางของฉัน ฉันจะใช้ชุดข้อมูลตัวอย่าง "metabo" จาก pca3d ใน R แนวคิดคือการประเมินความแปรปรวนของแต่ละองค์ประกอบที่สามารถอธิบายได้โดยตัวแปรอิสระ สำหรับสิ่งนี้ฉันคำนวณแบบจำลองอย่างง่ายสำหรับแต่ละองค์ประกอบและใช้R2R2R^2เป็นตัวชี้วัดในการสั่งซื้อส่วนประกอบจาก "ที่น่าสนใจที่สุด" ถึง "น่าสนใจน้อยที่สุด" require( pca3d ) # data on metabolic profiles of TB patients and controls data( metabo ) # first column is the …

13 pca  linear-model  r-squared  discriminant-analysis 

เห็นได้ชัดว่า การวิเคราะห์แบบฟิชเชอร์มีจุดมุ่งหมายที่จะเพิ่มการแยกระหว่างคลาสให้สูงสุดพร้อม ๆ กับลดการกระจายตัวของคลาสภายใน วัดที่มีประโยชน์ของอำนาจจำแนกของตัวแปรจึงจะได้รับโดยปริมาณเส้นทแยงมุม: ฉันBฉันฉัน/ WฉันฉันBii/WiiB_{ii}/W_{ii} http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html ผมเข้าใจว่าขนาด ( p x p) ของระหว่าง ( B ) และภายใน-Class ( W ) pการฝึกอบรมจะได้รับจากจำนวนของตัวแปรการป้อนข้อมูล ให้นี้วิธีที่สามารถจะเป็น "วัดที่มีประโยชน์ของอำนาจจำแนก" ของตัวแปรเดียว? ต้องมีตัวแปรอย่างน้อยสองตัวในการสร้างเมทริกซ์ B และ W ดังนั้นการติดตามที่เกี่ยวข้องจะเป็นตัวแทนของตัวแปรมากกว่าหนึ่งตัวBฉันฉัน/ WฉันฉันBii/WiiB_{ii}/W_{ii} ปรับปรุง: ฉันขวาในการคิดว่าไม่ได้เป็นร่องรอยกว่าร่องรอยที่รวมเป็นนัย แต่องค์ประกอบเมทริกซ์B ฉันฉันBฉันฉัน/ WฉันฉันBii/WiiB_{ii}/W_{ii}BฉันฉันBiiB_{ii}หารด้วย ? ปัจจุบันเป็นวิธีเดียวที่ฉันสามารถปรับการแสดงออกด้วยแนวคิดWฉันฉันWiiW_{ii}

13 algorithms  dimensionality-reduction  discriminant-analysis  sums-of-squares 

แบบจำลองการวิเคราะห์จำแนกแบบเกาส์เรียนรู้แล้วใช้กฎ Bayes เพื่อประเมิน ดังนั้นพวกเขาเป็นแบบจำลองกำเนิด ทำไมจึงเรียกว่าการวิเคราะห์จำแนก ถ้าเป็นเพราะในที่สุดเราก็ได้เส้นโค้งที่แยกแยะระหว่างชั้นเรียนนั่นก็เกิดขึ้นสำหรับทุกรุ่นกำเนิดP ( y | x ) = P ( x | y ) P p r i o r ( y )P( x | y)P(x|y)P(x|y)P( y| x)= P( x | y) Pp r i o r( y)Σก.∈ YP( x | g) Pp r i o …

13 normal-distribution  discriminant-analysis  generative-models 

ฉันกำลังศึกษาการจดจำรูปแบบและการเรียนรู้ของเครื่องและฉันพบคำถามต่อไปนี้ พิจารณาปัญหาการจำแนกประเภทสองระดับที่มีความน่าจะเป็นคลาสก่อนหน้าเท่ากับP(D1)=P(D2)=12P(D1)=P(D2)=12P(D_1)=P(D_2)= \frac{1}{2} และการแจกแจงอินสแตนซ์ในแต่ละคลาสที่กำหนดโดย p(x|D1)=N([00],[2001]),p(x|D1)=N([00],[2001]), p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right), p(x|D2)=N([44],[1001]).p(x|D2)=N([44],[1001]). p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right). วิธีการคำนวณน้ำหนักเกณฑ์ฟิชเชอร์ อัปเดต 2:น้ำหนักที่คำนวณได้จากหนังสือของฉันคือ: W=[−43−29]W=[−43−29]W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} …

12 machine-learning  self-study  classification  discriminant-analysis 

ความสัมพันธ์ระหว่างการวิเคราะห์จำแนกเชิงเส้นและกฎเบย์คืออะไร? ฉันเข้าใจว่า LDA ถูกใช้ในการจัดหมวดหมู่โดยพยายามลดอัตราส่วนความแปรปรวนภายในกลุ่มและระหว่างความแปรปรวนกลุ่ม แต่ฉันไม่ทราบว่ากฎของ Bayes ใช้งานอย่างไร

12 classification  discriminant-analysis  bayes 

ตัวอย่างของการวัดความสามารถในการแบ่งแยกชั้นเรียนที่ดีในผู้เรียนที่เลือกปฏิบัติแบบเส้นตรงคืออัตราส่วนการจำแนกเชิงเส้นของฟิชเชอร์ มีตัวชี้วัดที่มีประโยชน์อื่น ๆ หรือไม่ในการพิจารณาว่าชุดคุณลักษณะให้การแยกคลาสที่ดีระหว่างตัวแปรเป้าหมายหรือไม่ โดยเฉพาะอย่างยิ่งฉันสนใจในการค้นหาแอตทริบิวต์อินพุตหลายตัวแปรที่ดีสำหรับการเพิ่มการแยกชั้นเป้าหมายและมันจะดีถ้ามีการวัดแบบไม่เชิงเส้น / ไม่อิงพารามิเตอร์เพื่อกำหนดว่าการแยกนั้นดีหรือไม่

11 machine-learning  classification  feature-selection  discriminant-analysis 

การใช้ biplot ของค่าที่ได้จากการวิเคราะห์องค์ประกอบหลักเป็นไปได้ที่จะสำรวจตัวแปรอธิบายที่ประกอบกันเป็นองค์ประกอบหลัก นี่เป็นไปได้ไหมกับการวิเคราะห์จำแนกเชิงเส้น? ตัวอย่างที่มีให้ใช้ข้อมูลคือ "ข้อมูล Iris Data ของ Edgar Anderson" ( http://en.wikipedia.org/wiki/Iris_flower_data_set ) นี่คือข้อมูลม่านตา : id SLength SWidth PLength PWidth species 1 5.1 3.5 1.4 .2 setosa 2 4.9 3.0 1.4 .2 setosa 3 4.7 3.2 1.3 .2 setosa 4 4.6 3.1 1.5 .2 setosa 5 5.0 3.6 1.4 …

11 r  pca  multivariate-analysis  discriminant-analysis  biplot 

ฉันกำลังอ่านบทความนี้เกี่ยวกับความแตกต่างระหว่างการวิเคราะห์องค์ประกอบหลักและการวิเคราะห์จำแนกหลายอย่าง (การวิเคราะห์จำแนกเชิงเส้น) และฉันพยายามเข้าใจว่าทำไมคุณถึงใช้ PCA แทน MDA / LDA คำอธิบายสรุปได้ดังนี้ การพูดอย่างคร่าวๆใน PCA เรากำลังพยายามหาแกนที่มีความแปรปรวนสูงสุดซึ่งเป็นข้อมูลที่แพร่กระจายมากที่สุด (ภายในคลาสเนื่องจาก PCA ปฏิบัติต่อชุดข้อมูลทั้งหมดเป็นหนึ่งคลาส) และใน MDA เรายังเพิ่มการแพร่กระจายระหว่างชั้นเรียนเพิ่มเติม คุณไม่ต้องการที่จะเพิ่มความแปรปรวนสูงสุดและเพิ่มการแพร่กระจายระหว่างคลาสให้สูงสุดหรือไม่?

10 classification  pca  dimensionality-reduction  discriminant-analysis 

ฉันรู้ 2 วิธีในการทำ LDA แนวทาง BayesianและวิธีของFisherวิธีการฟิชเชอร์ สมมติว่าเรามีข้อมูลโดยที่xคือตัวทำนายp -dimensional และyเป็นตัวแปรตามของK(x,y)(x,Y)(x,y)xxxpพีpyYyKKKคลาส โดยวิธี Bayesianเราคำนวณหลังและในขณะที่กล่าวในหนังสือสมมติP(x|Yk)เป็นเสียนตอนนี้เรามีฟังก์ชั่นการจำแนกสำหรับkระดับ TH เป็นฉk ( x )p(yk|x)=p(x|yk)p(yk)p(x)∝p(x|yk)p(yk)p(yk|x)=p(x|yk)p(yk)p(x)∝p(x|yk)p(yk)p(y_k|x)=\frac{p(x|y_k)p(y_k)}{p(x)}\propto p(x|y_k)p(y_k)p(x|yk)p(x|yk)p(x|y_k)kkkฉันสามารถเห็นfk(x)เป็นฟังก์ชันเชิงเส้นของxดังนั้นสำหรับคลาสKทั้งหมดที่เรามีฟังก์ชัน discriminant แบบเชิงเส้นKfk(x)=lnp(x|yk)+lnp(yk)=ln[1(2π)p/2|Σ|1/2ประสบการณ์( - 12( x - μk)TΣ- 1( x - μk) ) ] +lnp ( yk)= xTΣ- 1μk- 12μTkΣ- 1μk+ lnp ( yk)ฉk(x)=LN⁡พี(x|Yk)+LN⁡พี(Yk)=LN⁡[1(2π)พี/2|Σ|1/2ประสบการณ์⁡(-12(x-μk)TΣ-1(x-μk))]+LN⁡พี(Yk)=xTΣ-1μk-12μkTΣ-1μk+LN⁡พี(Yk)\begin{align*}f_k(x)&=\ln p(x|y_k)+\ln p(y_k)\\&=\ln\left[\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)\right)\right]+\ln p(y_k)\\&=x^T\Sigma^{-1}\mu_k-\frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k+\ln p(y_k)\end{align*}ฉk( x )ฉk(x)f_k(x)xxxKKKKKK อย่างไรก็ตามด้วยวิธีของฟิชเชอร์เราพยายามฉายถึง( K - 1 …

10 discriminant-analysis 

ฉันสงสัยว่าใครสามารถช่วยฉันเกี่ยวกับข้อมูลเกี่ยวกับ Kurtosis (เช่นมีวิธีแปลงข้อมูลของคุณเพื่อลดหรือไม่) ฉันมีชุดข้อมูลแบบสอบถามที่มีเคสและตัวแปรจำนวนมาก สำหรับตัวแปรบางตัวของฉันข้อมูลแสดงค่า kurtosis ที่ค่อนข้างสูง (เช่นการกระจายตัวของเลปโตคูเทอริก) ซึ่งมาจากข้อเท็จจริงที่ว่าผู้เข้าร่วมจำนวนมากให้คะแนนเดียวกันกับตัวแปร ฉันมีขนาดตัวอย่างขนาดใหญ่เป็นพิเศษดังนั้นตามทฤษฎีบทขีด จำกัด กลางการฝ่าฝืนกฎเกณฑ์ก็ควรจะดี อย่างไรก็ตามปัญหาคือความจริงที่ว่าระดับสูงโดยเฉพาะอย่างยิ่งของ Kurtosis กำลังผลิตจำนวนของค่าผิดปกติที่ไม่เปลี่ยนแปลงในชุดข้อมูลของฉัน ดังนั้นแม้ว่าฉันจะแปลงข้อมูลหรือลบ / ปรับค่าผิดปกติระดับสูงของ kurtosis หมายความว่าคะแนนสูงสุดต่อไปจะกลายเป็นค่าผิดปกติโดยอัตโนมัติ ฉันมุ่งหวังที่จะใช้ (การวิเคราะห์ฟังก์ชั่นจำแนก) DFA นั้นมีความแข็งแกร่งในการออกจากภาวะปกติหากการละเมิดนั้นเกิดจากความเบ้และไม่ใช่ค่าผิดปกติ นอกจากนี้ DFA ยังได้รับการกล่าวถึงว่าได้รับอิทธิพลจากค่าผิดปกติในข้อมูล (Tabachnick & Fidel) โดยเฉพาะ มีความคิดเห็นเกี่ยวกับวิธีแก้ไขปัญหานี้อย่างไร? (ความคิดเริ่มต้นของฉันคือวิธีการควบคุม Kurtosis แต่มันไม่ได้เป็นสิ่งที่ดีถ้าตัวอย่างส่วนใหญ่ของฉันให้คะแนนคล้ายกัน?)

10 distributions  assumptions  kurtosis  discriminant-analysis  parametric 

เหตุผลถ้ามีการใช้การวิเคราะห์การจำแนก (DA) ในผลลัพธ์ของอัลกอริทึมการจัดกลุ่มเช่น k- หมายถึงเท่าที่ฉันเห็นมันเป็นครั้งคราวในวรรณคดี โดยทั่วไปจะไม่แนะนำให้ทดสอบความแตกต่างของกลุ่มในตัวแปรที่ใช้ในระหว่างการสร้างคลัสเตอร์เนื่องจากพวกเขาสนับสนุนการขยายใหญ่สุด (resp. minimization) ระหว่างคลาส (resp. ภายในคลาส) ความเฉื่อย ดังนั้นฉันไม่แน่ใจว่าจะชื่นชมคุณค่าที่เพิ่มขึ้นของ DA ที่คาดการณ์ได้อย่างเต็มที่เว้นแต่เราจะพยายามฝังบุคคลในพื้นที่แฟคทอเรียลในมิติที่ต่ำกว่าและรับแนวคิด "generalizability" ของพาร์ติชันดังกล่าว แต่แม้ในกรณีนี้การวิเคราะห์กลุ่มยังคงเป็นเครื่องมือพื้นฐานดังนั้นการใช้ความเป็นสมาชิกในชั้นเรียนคำนวณด้วยวิธีนี้เพื่อให้ได้กฎการให้คะแนนที่ดูแปลก ๆ ตั้งแต่แรกเห็น คำแนะนำแนวคิดหรือพอยน์เตอร์ไปยังเอกสารที่เกี่ยวข้อง?

10 clustering  discriminant-analysis 

ฉันกำลังศึกษาวิเคราะห์พินิจพิเคราะห์ แต่ฉันมีช่วงเวลาที่ยากลำบากในการปรับคำอธิบายที่แตกต่างกันหลายอย่าง ฉันเชื่อว่าฉันต้องพลาดบางสิ่งบางอย่างเพราะฉันไม่เคยพบกับความแตกต่างในระดับนี้ (ดู) มาก่อน ดังที่กล่าวไปแล้วจำนวนคำถามเกี่ยวกับการวิเคราะห์การเลือกปฏิบัติบนเว็บไซต์นี้ดูเหมือนจะเป็นเครื่องยืนยันถึงความซับซ้อน LDA และ QDA สำหรับหลายคลาส หนังสือข้อความหลักของฉันคือ Johnson & Wichern ประยุกต์การวิเคราะห์เชิงสถิติหลายตัวแปร (AMSA) และบันทึกของครูตามสิ่งนี้ ฉันจะเพิกเฉยต่อการตั้งค่าทั้งสองกลุ่มเพราะฉันเชื่อว่าสูตรง่าย ๆ ของการตั้งค่านี้ทำให้เกิดความสับสนอย่างน้อย แหล่งอ้างอิง LDA และ QDA นี้ถูกกำหนดให้เป็นส่วนขยายแบบ Parametric (สมมติว่ามีภาวะปกติหลายตัวแปร) ของกฎการจำแนกประเภทตามค่าใช้จ่ายที่คาดหวังของการจำแนกประเภท (ECM) ECM จะรวมกับค่าใช้จ่ายที่คาดหวังตามเงื่อนไขสำหรับการจำแนกการสังเกตการณ์ x ใหม่ให้กับกลุ่มใด ๆ (รวมค่าการแบ่งประเภทและความน่าจะเป็นก่อนหน้านี้) และเราเลือกภูมิภาคการจำแนกที่ลดสิ่งนี้ลง ที่ไหนECM=∑i=1groupspi[∑k=1; i≠kgroupsP(k|i)c(k|i)]ECM=∑i=1groupspi[∑k=1; i≠kgroupsP(k|i)c(k|i)]ECM = \sum_{i=1}^{groups} p_i [\sum_{k=1;\space i \ne k}^{groups}P(k|i)c(k|i)]P(k|i)=P(classifying item as group k …

10 multivariate-analysis  discriminant-analysis 

หากมีการใช้การวิเคราะห์เชิงเส้นหลายชั้น (หรือฉันยังอ่านการวิเคราะห์การจำแนกหลาย ๆ ครั้ง) ใช้สำหรับการลดขนาด (หรือการเปลี่ยนแปลงหลังจากการลดมิติผ่าน PCA) ฉันเข้าใจว่าโดยทั่วไปคือ "การทำให้เป็นมาตรฐานของคะแนน Z" (หรือมาตรฐาน) ไม่จำเป็นต้องใช้ฟีเจอร์แม้ว่าจะทำการวัดด้วยเครื่องชั่งที่แตกต่างกันอย่างสมบูรณ์ถูกต้องหรือไม่ เนื่องจาก LDA มีคำที่คล้ายกับระยะทาง Mahalanobis ซึ่งหมายถึงระยะทางแบบยุคลิดแบบดั้งเดิมหรือไม่? ดังนั้นจึงไม่เพียง แต่ไม่จำเป็นเท่านั้น แต่ผลลัพธ์ที่ได้หลังจาก LDA สำหรับคุณสมบัติที่เป็นมาตรฐานและไม่ได้มาตรฐานควรจะเหมือนกันทุกประการ!

9 classification  data-transformation  normalization  standardization  discriminant-analysis 

ฉันพยายามเข้าใจว่า LDA เหมาะสมกับเทคนิคการเรียนรู้แบบมีผู้สอนอื่น ๆ อย่างไร ฉันได้อ่านโพสต์ LDA-esque บางส่วนเกี่ยวกับ LDA ที่นี่แล้ว ฉันคุ้นเคยกับ perceptron แล้ว แต่เพิ่งเรียนรู้ LDA ในตอนนี้ LDA 'เหมาะสม' ในครอบครัวของอัลกอริทึมการเรียนรู้ภายใต้การดูแลอย่างไร สิ่งที่อาจเป็นข้อเสียของมันเทียบกับวิธีการอื่น ๆ เหล่านั้นและสิ่งที่มันอาจจะใช้ที่ดีกว่าสำหรับ? ทำไมต้องใช้ LDA เมื่อมีใครสามารถใช้พูด perceptron เป็นต้น

9 machine-learning  classification  discriminant-analysis  supervised-learning