คำถามติดแท็ก pca

ฉันมีชุดของจุดข้อมูลในช่องว่าง N- มิติ นอกจากนี้ฉันยังมีเซนทรอยด์ในพื้นที่ N-มิติเดียวกัน มีวิธีใดบ้างที่อนุญาตให้ฉันฉายจุดข้อมูลเหล่านี้ลงในพื้นที่สองมิติในขณะที่เก็บข้อมูลระยะทางสัมพัทธ์ไว้ในพื้นที่เดิม PCA ถูกต้องหรือไม่

11 data-visualization  pca  multidimensional-scaling 

แอปพลิเคชันหรือข้อดีของการลดขนาดแบบถดถอย (DRR) หรือเทคนิคการลดขนาดแบบมิติ (SDR) ภายใต้เทคนิคแบบการถดถอยแบบดั้งเดิม (ไม่มีการลดขนาดแบบมิติ) คืออะไร? ระดับเทคนิคเหล่านี้ค้นหาการแทนค่ามิติต่ำของชุดคุณลักษณะสำหรับปัญหาการถดถอย ตัวอย่างของเทคนิคดังกล่าว ได้แก่ การถดถอยแบบผกผันแบบแบ่งส่วน, วิธีการหลักของ Hessian, การประมาณค่าความแปรปรวนเฉลี่ยแบบแบ่งส่วน, การถดถอยแบบผกผันเคอร์เนลแบบเคอร์เนล, การถดถอยส่วนประกอบหลักเป็นต้น ในแง่ของ RMSE ที่ผ่านการตรวจสอบความถูกต้องแล้วหากอัลกอริทึมทำงานได้ดีขึ้นในงานการถดถอยโดยไม่ลดมิติใด ๆ แล้วการใช้มิติลดจริงสำหรับการถดถอยคืออะไร? ฉันไม่เข้าใจเทคนิคเหล่านี้ เทคนิคเหล่านี้มีโอกาสใช้เพื่อลดความซับซ้อนของพื้นที่และเวลาสำหรับการถดถอยหรือไม่? หากเป็นข้อได้เปรียบหลักทรัพยากรบางอย่างเกี่ยวกับการลดความซับซ้อนสำหรับชุดข้อมูลมิติสูงเมื่อใช้เทคนิคนี้จะมีประโยชน์ ฉันถกเถียงเรื่องนี้กับข้อเท็จจริงที่ว่าการใช้เทคนิค DRR หรือ SDR นั้นต้องใช้เวลาและพื้นที่ SDR / DRR + Regression นี้บนชุดข้อมูลที่มีความสลัวต่ำกว่าเร็วกว่าเฉพาะชุดข้อมูลที่มีความสลัวสูงหรือไม่ การตั้งค่านี้ได้รับการพิจารณาจากความสนใจเชิงนามธรรมเท่านั้นและไม่มีแอปพลิเคชันที่ใช้งานได้จริงหรือไม่? ตามความคิดด้านข้าง: บางครั้งมีข้อสันนิษฐานว่าการกระจายตัวของคุณสมบัติและการตอบสนองอยู่บนความหลากหลาย มันทำให้รู้สึกถึงการเรียนรู้หลากหลายจากตัวอย่างที่สังเกตในบริบทนี้สำหรับการแก้ปัญหาการถดถอยYXXXYYY

11 regression  machine-learning  pca  dimensionality-reduction 

การค้นหาอินเทอร์เน็ตสำหรับการสอนแบบ PCA ให้ผลลัพธ์นับพันรายการ (แม้แต่วิดีโอ) บทเรียนจำนวนมากดีมาก แต่ฉันไม่สามารถหาตัวอย่างที่ใช้งานได้จริงใด ๆ ที่มีการอธิบาย PCA โดยใช้ชุดข้อมูลบางอย่างที่ฉันสามารถใช้สำหรับการสาธิต ฉันต้องการการสอนที่มีชุดข้อมูลขนาดเล็กซึ่งง่ายต่อการพล็อต (ไม่ใช่ 10,000 บรรทัดของข้อมูลที่มีมิติ 100s) ก่อนและหลังการวิเคราะห์ PCA และสามารถแสดงความแตกต่าง / ผลลัพธ์ได้อย่างชัดเจน (ฉันคิดว่าตัวอย่างการใช้งานจริงแบบทีละขั้นตอนโดยมีข้อมูลที่มีประมาณ 100 บรรทัดและ 3 มิตินั้นยอดเยี่ยม) คุณมีข้อเสนอแนะหรือไม่?

11 data-visualization  dataset  pca  data-mining 

ฉันสอนวิชาภูมิศาสตร์เศรษฐศาสตร์เบื้องต้น เพื่อช่วยให้นักเรียนของฉันพัฒนาความเข้าใจที่ดีขึ้นเกี่ยวกับประเภทของประเทศที่พบในเศรษฐกิจโลกร่วมสมัยและการชื่นชมเทคนิคการลดข้อมูลฉันต้องการสร้างงานที่ทำให้เกิดความแตกต่างของประเทศต่างๆ (เช่นรายได้สูง - มูลค่าเพิ่ม mfg อายุการใช้งานยาวนานรายได้สูงผู้ส่งออกทรัพยากรธรรมชาติอายุขัยกลางถึงสูงโดยเยอรมนีเป็นองค์ประกอบของประเภทแรกและเยเมนเป็นตัวอย่างของประเภทที่สอง) สิ่งนี้จะใช้ข้อมูล UNDP ที่เปิดเผยต่อสาธารณชน (ซึ่งหากฉันจำได้อย่างถูกต้องว่ามีข้อมูลทางสังคมและเศรษฐกิจในน้อยกว่า 200 ประเทศขออภัยด้วยไม่มีข้อมูลภูมิภาค) ก่อนที่จะมีการมอบหมายนี้จะเป็นอีกสิ่งหนึ่งที่ขอให้พวกเขา (ใช้ --- ส่วนใหญ่ช่วงเวลาหรือระดับอัตราส่วน --- ข้อมูล) เพื่อตรวจสอบความสัมพันธ์ระหว่างตัวแปรเดียวกันเหล่านี้ ความหวังของฉันคือพวกเขาจะพัฒนาสัญชาตญาณสำหรับชนิดของความสัมพันธ์ระหว่างตัวแปรต่าง ๆ (เช่นความสัมพันธ์เชิงบวกระหว่างอายุขัยและ [ตัวบ่งชี้ต่าง ๆ ของความมั่งคั่ง] ความสัมพันธ์เชิงบวกระหว่างความมั่งคั่งและความหลากหลายในการส่งออก) จากนั้นเมื่อใช้เทคนิคการลดข้อมูลส่วนประกอบหรือปัจจัยจะทำให้เกิดความรู้สึกหยั่งรู้ (เช่นปัจจัย / องค์ประกอบที่ 1 ให้ความสำคัญกับความมั่งคั่ง; ปัจจัย / องค์ประกอบที่ 2 ให้ความสำคัญกับการศึกษา) ระบุว่าสิ่งเหล่านี้เป็นนักเรียนปีที่สองถึงสี่ซึ่งบ่อยครั้งที่มีการเปิดรับความคิดในการวิเคราะห์มากกว่าปกติคุณจะแนะนำเทคนิคการลดข้อมูลใดที่เหมาะสมที่สุดสำหรับการมอบหมายครั้งที่สอง นี่คือข้อมูลประชากรสถิติเชิงอนุมาน (p-vlaues ฯลฯ ) จึงไม่จำเป็นจริงๆ

11 pca  factor-analysis  dimensionality-reduction 

รหัสตัวอย่าง: (pc.cr <- princomp(USArrests)) summary(pc.cr) loadings(pc.cr) ## note that blank entries are small but not zero ฉันได้รับผลต่างกันออกไปและฉันไม่แน่ใจว่าฉันเข้าใจความแตกต่างอะไร นี่คือผลลัพธ์: > summary(pc.cr) Importance of components: Comp.1 Comp.2 Comp.3 Comp.4 Standard deviation 82.8908472 14.06956001 6.424204055 2.4578367034 Proportion of Variance 0.9655342 0.02781734 0.005799535 0.0008489079 Cumulative Proportion 0.9655342 0.99335156 0.999151092 1.0000000000 > loadings(pc.cr) ## note …

11 r  pca 

ด้วยความเสี่ยงในการสร้างคำถามเฉพาะซอฟต์แวร์และด้วยข้ออ้างเกี่ยวกับความแพร่หลายและความแปลกประหลาดของมันฉันต้องการถามเกี่ยวกับฟังก์ชั่นbiplot()ใน R และโดยเฉพาะอย่างยิ่งมากขึ้นเกี่ยวกับการคำนวณและการวางแผนของลูกศรสีแดงซ้อน ไปยังตัวแปรพื้นฐาน [เพื่อให้เข้าใจถึงความคิดเห็นบางส่วนในตอนแรกแผนการที่โพสต์มีปัญหาที่น่าสนใจอย่างมากและตอนนี้ถูกลบไปแล้ว]

11 r  pca  biplot 

mgcvแพคเกจสำหรับการRมีสองฟังก์ชั่นสำหรับการปฏิสัมพันธ์กระชับเมตริกซ์ผลิตภัณฑ์: และte() ti()ฉันเข้าใจการแบ่งขั้นพื้นฐานของการใช้แรงงานระหว่างคนทั้งสอง (ปรับให้เหมาะสมกับการทำงานแบบไม่เป็นเชิงเส้นเปรียบเทียบกับการย่อยสลายการโต้ตอบนี้เป็นผลกระทบหลักและการโต้ตอบ) สิ่งที่ฉันไม่เข้าใจคือสาเหตุte(x1, x2)และti(x1) + ti(x2) + ti(x1, x2)อาจให้ผลลัพธ์ที่แตกต่าง (เล็กน้อย) MWE (ดัดแปลงมาจาก?ti): require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

ฉันใหม่มากที่จะแต่งงานคำ ฉันต้องการเห็นภาพว่าเอกสารกำลังเรียนรู้อย่างไร ฉันอ่านว่า t-SNE เป็นวิธีการที่จะทำ ฉันมีเอกสาร 100K ขนาด 250 เท่าของการฝัง มีหลายแพ็คเกจเช่นกัน อย่างไรก็ตามสำหรับ t-SNE ฉันไม่ทราบว่าการวนซ้ำหรือค่าของ alpha หรือค่า perpexility ที่ฉันควรเรียนรู้มากขึ้นเท่าไร พารามิเตอร์ไฮเปอร์เหล่านี้หรืออาจถูกกำหนดโดยคุณลักษณะบางอย่าง?

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

ฉันใช้ PCA ใน 17 ตัวแปรเชิงปริมาณเพื่อให้ได้ชุดของตัวแปรที่มีขนาดเล็กลงซึ่งเป็นองค์ประกอบหลักที่จะใช้ในการเรียนรู้ของเครื่องภายใต้การดูแลเพื่อแบ่งอินสแตนซ์ออกเป็นสองชั้น หลังจาก PCA บัญชี PC1 คิดเป็น 31% ของความแปรปรวนของข้อมูล PC2 คิดเป็น 17%, PC3 คิดเป็น 10%, PC4 คิดเป็น 8%, PC5 คิดเป็น 7% และ PC6 คิดเป็น 6% อย่างไรก็ตามเมื่อฉันดูความแตกต่างของพีซีระหว่างสองคลาสน่าประหลาดใจที่ PC1 ไม่ได้แยกแยะระหว่างสองคลาสได้ดี พีซีที่เหลืออยู่เป็นตัวเลือกที่ดี นอกจากนี้ PC1 จะไม่เกี่ยวข้องเมื่อใช้ในต้นไม้ตัดสินใจซึ่งหมายความว่าหลังจากตัดแต่งกิ่งต้นไม้มันจะไม่ปรากฏแม้แต่ในต้นไม้ แผนผังประกอบด้วย PC2-PC6 มีคำอธิบายใด ๆ สำหรับปรากฏการณ์นี้หรือไม่? มันเป็นสิ่งที่ผิดปกติกับตัวแปรที่ได้รับหรือไม่?

11 machine-learning  classification  pca  dimensionality-reduction 

ฉันกำลังพยายามหาวิธีที่จะสร้างผลงานใน Python ที่ฉันทำใน SAS การใช้ชุดข้อมูลนี้ซึ่งมีปัญหาความหลากหลายทางหลายระดับฉันต้องการทำการวิเคราะห์องค์ประกอบหลักใน Python ฉันได้ดู scikit-learn และ statsmodels แต่ฉันไม่แน่ใจว่าจะเอาท์พุทของพวกเขาและแปลงเป็นโครงสร้างผลลัพธ์เดียวกันกับ SAS สำหรับสิ่งหนึ่ง SAS ดูเหมือนว่าจะดำเนินการ PCA บนเมทริกซ์สหสัมพันธ์เมื่อคุณใช้PROC PRINCOMPแต่ส่วนใหญ่ (ทั้งหมด?) ของไลบรารี Python ดูเหมือนจะใช้ SVD ในชุดข้อมูลคอลัมน์แรกคือตัวแปรตอบกลับและอีก 5 รายการถัดไปคือตัวแปรทำนายที่เรียกว่า pred1-pred5 ใน SAS เวิร์กโฟลว์ทั่วไปคือ: /* Get the PCs */ proc princomp data=indata out=pcdata; var pred1 pred2 pred3 pred4 pred5; run; /* Standardize the response …

11 pca  python  scikit-learn 

Christopher Bishop เขียนในการจดจำรูปแบบในหนังสือของเขาและการเรียนรู้ของเครื่องเพื่อพิสูจน์ว่าแต่ละองค์ประกอบหลักติดต่อกันช่วยเพิ่มความแปรปรวนของการฉายภาพให้เป็นมิติหนึ่งหลังจากข้อมูลถูกฉายไปยังพื้นที่มุมฉากกับองค์ประกอบที่เลือกไว้ก่อนหน้านี้ คนอื่น ๆ แสดงหลักฐานที่คล้ายกัน อย่างไรก็ตามสิ่งนี้พิสูจน์ให้เห็นว่าแต่ละองค์ประกอบที่ต่อเนื่องกันเป็นโครงที่ดีที่สุดสำหรับหนึ่งมิติในแง่ของการเพิ่มความแปรปรวนให้สูงสุด เหตุใดสิ่งนี้จึงบอกเป็นนัยถึงความแปรปรวนของการฉายภาพที่จะบอกว่า 5 มิตินั้นถูกเลือกให้มากที่สุดสำหรับส่วนประกอบแรก

11 machine-learning  variance  pca  dimensionality-reduction  eigenvalues 

การใช้ biplot ของค่าที่ได้จากการวิเคราะห์องค์ประกอบหลักเป็นไปได้ที่จะสำรวจตัวแปรอธิบายที่ประกอบกันเป็นองค์ประกอบหลัก นี่เป็นไปได้ไหมกับการวิเคราะห์จำแนกเชิงเส้น? ตัวอย่างที่มีให้ใช้ข้อมูลคือ "ข้อมูล Iris Data ของ Edgar Anderson" ( http://en.wikipedia.org/wiki/Iris_flower_data_set ) นี่คือข้อมูลม่านตา : id SLength SWidth PLength PWidth species 1 5.1 3.5 1.4 .2 setosa 2 4.9 3.0 1.4 .2 setosa 3 4.7 3.2 1.3 .2 setosa 4 4.6 3.1 1.5 .2 setosa 5 5.0 3.6 1.4 …

11 r  pca  multivariate-analysis  discriminant-analysis  biplot 

คำถาม ฉันสนใจวิธีการ Laplacian Eigenmaps มาก ขณะนี้ฉันกำลังใช้เพื่อทำการลดขนาดของชุดข้อมูลทางการแพทย์ของฉัน อย่างไรก็ตามฉันพบปัญหาโดยใช้วิธีการ ตัวอย่างเช่นฉันมีข้อมูลบางอย่าง (สัญญาณสเปกตรัม) และฉันสามารถใช้ PCA (หรือ ICA) เพื่อรับพีซี (หรือไอซี) บางอย่าง ปัญหาคือวิธีการรับมิติที่คล้ายกันลดองค์ประกอบของข้อมูลต้นฉบับโดยใช้ LE? จากวิธีการของไอแลปแมชีทแลปเลียนเราจำเป็นต้องแก้ปัญหาค่าลักษณะเฉพาะทั่วไปซึ่งก็คือ L Y= λ D yLy=λDyL y = \lambda D y ที่นี่ Yyyเป็นไอเกนวีค ถ้าฉันพล็อตเช่น eigenvector 3 อันดับแรก (การแก้ปัญหาตาม 3 eigenvalues) ผลลัพธ์จะไม่สามารถตีความได้ อย่างไรก็ตามเมื่อฉันพล็อตพีซี 3 อันดับแรกและไอซี 3 อันดับแรกผลลัพธ์ดูเหมือนจะชัดเจน (มองเห็น) แสดงข้อมูลต้นฉบับ xxx. ฉันถือว่าเหตุผลเป็นเพราะเมทริกซ์ LLL ถูกกำหนดโดยเมทริกซ์น้ำหนัก …

11 pca  ica 

ฉันกำลังอ่านบทความนี้เกี่ยวกับความแตกต่างระหว่างการวิเคราะห์องค์ประกอบหลักและการวิเคราะห์จำแนกหลายอย่าง (การวิเคราะห์จำแนกเชิงเส้น) และฉันพยายามเข้าใจว่าทำไมคุณถึงใช้ PCA แทน MDA / LDA คำอธิบายสรุปได้ดังนี้ การพูดอย่างคร่าวๆใน PCA เรากำลังพยายามหาแกนที่มีความแปรปรวนสูงสุดซึ่งเป็นข้อมูลที่แพร่กระจายมากที่สุด (ภายในคลาสเนื่องจาก PCA ปฏิบัติต่อชุดข้อมูลทั้งหมดเป็นหนึ่งคลาส) และใน MDA เรายังเพิ่มการแพร่กระจายระหว่างชั้นเรียนเพิ่มเติม คุณไม่ต้องการที่จะเพิ่มความแปรปรวนสูงสุดและเพิ่มการแพร่กระจายระหว่างคลาสให้สูงสุดหรือไม่?

10 classification  pca  dimensionality-reduction  discriminant-analysis 

ฉันต้องการที่จะเข้าใจว่าฉันจะได้รับเปอร์เซ็นต์ความแปรปรวนของชุดข้อมูลไม่ใช่ในพื้นที่พิกัดที่จัดทำโดย PCA แต่เทียบกับเวกเตอร์ (หมุน) ชุดที่แตกต่างกันเล็กน้อย set.seed(1234) xx <- rnorm(1000) yy <- xx * 0.5 + rnorm(1000, sd = 0.6) vecs <- cbind(xx, yy) plot(vecs, xlim = c(-4, 4), ylim = c(-4, 4)) vv <- eigen(cov(vecs))$vectors ee <- eigen(cov(vecs))$values a1 <- vv[, 1] a2 <- vv[, 2] theta = pi/10 rotmat …

10 r  variance  pca  linear-algebra