คำถามติดแท็ก dimensionality-reduction

การตั้งค่าปัญหา ฉันมีจุดข้อมูล (ภาพ) ที่มีมิติสูง (4096) ซึ่งฉันกำลังพยายามมองเห็นเป็น 2D ด้วยเหตุนี้ผมใช้เสื้อ sne ในลักษณะที่คล้ายกับต่อไปนี้โค้ดตัวอย่างโดย Karpathy เอกสาร scikit เรียนรู้แนะนำให้ใช้ PCA แรกลดขนาดของข้อมูล: ขอแนะนำให้ใช้วิธีการลดขนาดแบบอื่น (เช่น PCA สำหรับข้อมูลหนาแน่นหรือ TruncatedSVD สำหรับข้อมูลแบบเบาบาง) เพื่อลดจำนวนมิติเป็นจำนวนที่เหมาะสม (เช่น 50) หากจำนวนคุณลักษณะสูงมาก ฉันใช้รหัสนี้โดย Darks.Liu เพื่อดำเนินการ PCA ใน Java: //C=X*X^t / m DoubleMatrix covMatrix = source.mmul(source.transpose()).div(source.columns); ComplexDoubleMatrix eigVal = Eigen.eigenvalues(covMatrix); ComplexDoubleMatrix[] eigVectorsVal = Eigen.eigenvectors(covMatrix); ComplexDoubleMatrix eigVectors = …

9 pca  dimensionality-reduction  high-dimensional  java  tsne 

อะไรคือความแตกต่างระหว่างการเรียนรู้ที่หลากหลายและการลดมิติที่ไม่ใช่เชิงเส้น ? ฉันได้เห็นคำสองคำนี้ถูกใช้แทนกันได้ ตัวอย่างเช่น: http://www.cs.cornell.edu/~kilian/research/manifold/manifold.html : การเรียนรู้ Manifold (มักเรียกว่าการลดมิติที่ไม่เป็นเชิงเส้น) แสวงหาเป้าหมายเพื่อฝังข้อมูลที่เดิมอยู่ในพื้นที่มิติสูงในพื้นที่มิติต่ำกว่าในขณะที่รักษาคุณสมบัติของลักษณะ http://www.stat.washington.edu/courses/stat539/spring14/Resources/tutorial_nonlin-dim-red.pdf : ในบทช่วยสอนนี้ 'การเรียนรู้ที่หลากหลาย' และ 'การลดมิติ' ที่ใช้แทนกันได้ https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3337666/ : วิธีการลดขนาดเป็นคลาสของอัลกอริทึมที่ใช้ทางคณิตศาสตร์ที่กำหนดไว้สำหรับการสุ่มตัวอย่างทางสถิติของคลาสหลายมิติเพื่อสร้างกฎการเลือกปฏิบัติที่รับประกันความถูกต้องทางสถิติ อย่างไรก็ตามhttp://scikit-learn.org/stable/modules/manifold.htmlมีความเหมาะสมยิ่งขึ้น: การเรียนรู้ที่หลากหลายเป็นวิธีการลดมิติที่ไม่เป็นเชิงเส้น หนึ่งความแตกต่างครั้งแรกที่ฉันสามารถดูว่าท่อสามารถเป็นเชิงเส้นหนึ่งจึงควรเปรียบเทียบที่ไม่ใช่เชิงเส้นการเรียนรู้ต่าง ๆ นานาและการลดมิติที่ไม่ใช่เชิงเส้น

9 terminology  dimensionality-reduction  manifold-learning 

ฉันกำลังใช้ข้อมูลหุ่นจำลองของอุณหภูมิเทียบกับการขายไอศกรีมและจัดหมวดหมู่โดยใช้ K หมายถึง (n กลุ่ม = 2) เพื่อแยกแยะความแตกต่าง 2 ประเภท (หุ่นจำลองทั้งหมด) ตอนนี้ฉันกำลังทำการวิเคราะห์ส่วนประกอบหลักในข้อมูลนี้และเป้าหมายของฉันคือเข้าใจสิ่งที่ฉันเห็น ฉันรู้ว่าวัตถุประสงค์ PCA คือการลดมิติ (ไม่ชัดเจนในกรณีนี้) และแสดงความแปรปรวนขององค์ประกอบ แต่คุณจะอ่านพล็อต PCA ด้านล่างได้อย่างไรนั่นคือเรื่องราวที่คุณสามารถบอกเกี่ยวกับอุณหภูมิเทียบกับไอศกรีมในพล็อต PCA ได้อย่างไร พีซีรุ่น 1 (X) และ 2nd (Y) หมายถึงอะไร?

9 pca  interpretation  k-means  dimensionality-reduction 

พิจารณาจำนวนของคุณสมบัติคงที่บาร์นส์ฮัทเสื้อ SNEมีความซับซ้อนของ , ประมาณการสุ่มและ PCA มีความซับซ้อนของทำให้พวกเขา "แพง" สำหรับชุดข้อมูลขนาดใหญ่มากO ( n บันทึกn )O(nเข้าสู่ระบบ⁡n)O(n\log n)O ( n )O(n)O(n) ในทางกลับกันวิธีการที่ใช้การวัดหลายมิติมีความซับซ้อนโอ (n2)O(n2)O(n^2) มีเทคนิคการลดขนาดอื่น ๆ (นอกเหนือจากสิ่งเล็กน้อยเช่นการดูคอลัมน์แรก) ซึ่งมีความซับซ้อนต่ำกว่าหรือไม่kkkO ( n บันทึกn )O(nเข้าสู่ระบบ⁡n)O(n\log n)

9 pca  dimensionality-reduction  large-data  multidimensional-scaling  tsne 

เครือข่ายAutoencoderดูเหมือนจะมีความซับซ้อนกว่าเครือข่าย MLP ลักษณนามทั่วไป หลังจากความพยายามหลายครั้งในการใช้Lasagneทุกสิ่งที่ฉันได้รับในผลลัพธ์ที่สร้างขึ้นใหม่นั้นเป็นสิ่งที่คล้ายกับค่าเฉลี่ยที่เบลอที่สุดของภาพทั้งหมดของฐานข้อมูลMNISTโดยไม่แยกแยะว่าตัวเลขที่ป้อนเข้านั้นคืออะไร โครงสร้างเครือข่ายที่ฉันเลือกคือเลเยอร์น้ำตกต่อไปนี้: ชั้นอินพุต (28x28) 2D convolutional layer ขนาดตัวกรอง 7x7 Max Pooling layer, ขนาด 3x3, stride 2x2 ชั้นแบนราบหนาแน่น (เชื่อมต่ออย่างเต็มที่) 10 ยูนิต (นี่คือคอขวด) ชั้นหนาแน่น (เชื่อมต่ออย่างเต็มที่) 121 หน่วย ปรับขนาดเลเยอร์เป็น 11x11 2D convolutional layer ขนาดตัวกรอง 3x3 ตัวคูณยกระดับ 2D 2 2D convolutional layer ขนาดตัวกรอง 3x3 ตัวคูณยกระดับ 2D 2 2D convolutional layer ขนาดตัวกรอง …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders 

ในการเรียนรู้ของเครื่องมันมักจะสันนิษฐานว่าชุดข้อมูลอยู่บนท่อร่วมที่มีมิติต่ำเรียบ (สมมติฐานของท่อร่วม) แต่มีวิธีใดที่จะพิสูจน์ว่าสมมติว่าเงื่อนไขเป็นที่พอใจแล้วชุดข้อมูลจะถูกสร้างขึ้นโดยประมาณ จากท่อเรียบแบบมิติต่ำ? ตัวอย่างเช่นกำหนดลำดับข้อมูล {X1...Xn}{X1…Xn}\{\mathbf{X}_1 \ldots \mathbf{X}_n\} ที่ไหน Xi∈RdXi∈Rd\mathbf X_i \in \mathbb{R}^d (พูดลำดับของภาพใบหน้าที่มีมุมต่างกัน) และลำดับฉลากที่เกี่ยวข้อง {y1…yn}{y1…yn}\{ y_1 \ldots y_n\} ที่ไหน y1⪯y2…⪯yny1⪯y2…⪯yny_1 \preceq y_2 \ldots \preceq y_n (พูดมุมของลำดับใบหน้า) สมมติว่าเมื่อXiXiX_i และ Xi+1Xi+1X_{i+1} อยู่ใกล้มากป้ายกำกับของพวกเขา yiyiy_i และ yi+1yi+1y_{i+1} อยู่ใกล้มากเราสามารถจินตนาการได้ว่ามันเป็นไปได้ว่า {X1…Xn}{X1…Xn}\{\mathbf{X}_1 \ldots \mathbf{X}_n\}นอนบนหลากหลายมิติ มันเป็นเรื่องจริงเหรอ? ถ้าเป็นเช่นนั้นเราจะพิสูจน์มันได้อย่างไร? หรือเงื่อนไขใดที่จำเป็นต้องมีการจัดลำดับเพื่อให้สมมติฐานที่หลากหลายสามารถพิสูจน์ได้ว่าเป็นจริง

9 machine-learning  dimensionality-reduction  manifold-learning 

ฉันตรวจสอบเอกสารที่ใช้แอปพลิเคชันโดยบอกว่าใช้ PCA ก่อนที่จะใช้ ICA (ใช้แพ็คเกจ FastICA) คำถามของฉันคือ ICA (fastICA) ต้องการให้ PCA ทำงานก่อนหรือไม่ บทความนี้กล่าวถึง ... มันยังเป็นที่ถกเถียงกันอยู่ว่าการใช้ PCA ล่วงหน้าจะช่วยเพิ่มประสิทธิภาพการทำงานของ ICA โดย (1) การละทิ้งค่าลักษณะเฉพาะขนาดเล็กก่อนที่จะฟอกสีฟันและ (2) ลดความซับซ้อนในการคำนวณโดยลดการพึ่งพาคู่ PCA decorrelates ข้อมูลอินพุต; การพึ่งพาการสั่งซื้อที่สูงขึ้นที่เหลืออยู่จะถูกคั่นด้วย ICA นอกจากนี้ยังมีเอกสารอื่น ๆ จะใช้ PCA ก่อน ICA เช่นนี้ มีข้อดีและข้อเสียอื่น ๆ ในการใช้งาน PCA ก่อน ICA หรือไม่ โปรดระบุทฤษฎีพร้อมด้วยการอ้างอิง

9 pca  dimensionality-reduction  pattern-recognition  ica 

สมมติว่าฉันมีชุดข้อมูลจุด 2D และฉันต้องการตรวจสอบทิศทางของความแปรปรวนสูงสุดในท้องถิ่นของข้อมูลตัวอย่างเช่น: PCA ไม่ได้ช่วยในสถานการณ์นี้เนื่องจากเป็นการสลายตัวแบบมุมฉากดังนั้นจึงไม่สามารถตรวจจับทั้งสองเส้นที่ฉันระบุเป็นสีน้ำเงินได้ แต่เอาต์พุตอาจมีลักษณะเหมือนเส้นที่แสดงโดยเส้นสีเขียว กรุณาแนะนำเทคนิคใด ๆ ที่อาจเหมาะสำหรับวัตถุประสงค์นี้ ขอบคุณ

9 pca  dimensionality-reduction 

ฉันต้องการทำการวิเคราะห์องค์ประกอบหลัก (การวิเคราะห์ปัจจัย) บน SPSS โดยใช้ตัวแปร 22 ตัว อย่างไรก็ตามตัวแปรบางตัวของฉันเบ้มาก (ความเบ้คำนวณจาก SPSS อยู่ในช่วง 2-80!) ดังนั้นนี่คือคำถามของฉัน: ฉันควรเก็บตัวแปรที่เอียงเหล่านั้นไว้หรือฉันสามารถเปลี่ยนตัวแปรในการวิเคราะห์องค์ประกอบหลักได้หรือไม่ ถ้าใช่ฉันจะตีความคะแนนตัวประกอบอย่างไร ฉันควรเปลี่ยนรูปแบบใด log10 หรือ ln เดิมที KMO ของฉัน (Kaiser – Meyer – Olkin) คือ 0.413 วรรณกรรมจำนวนมากแนะนำขั้นต่ำ 0.5 ฉันยังคงทำการวิเคราะห์ปัจจัยหรือฉันต้องลบตัวแปรเพื่อเพิ่ม KMO ของฉันเป็น 0.5 หรือไม่

9 pca  factor-analysis  dimensionality-reduction  skewness 

ฉันไม่เข้าใจว่าทำไมการลดขนาดจึงสำคัญ ประโยชน์ของการเก็บข้อมูลและลดขนาดของพวกเขาคืออะไร?

9 dimensionality-reduction  svd 

ฉันทำการแยกย่อย SVD และมาตราส่วนหลายมิติของเมทริกซ์ข้อมูล 6 มิติเพื่อทำความเข้าใจโครงสร้างของข้อมูลให้ดีขึ้น น่าเสียดายที่ค่าเอกพจน์ทั้งหมดนั้นอยู่ในลำดับเดียวกันซึ่งหมายความว่าขนาดของข้อมูลเป็นจริง 6 อย่างไรก็ตามฉันอยากจะตีความค่าของเวกเตอร์เอกพจน์ได้ ตัวอย่างเช่นคนแรกดูเหมือนจะมากหรือน้อยเท่ากันในแต่ละมิติ (เช่น(1,1,1,1,1,1)) และที่สองก็มีโครงสร้างที่น่าสนใจ (เช่น(1,-1,1,-1,-1,1)) ฉันจะตีความเวกเตอร์เหล่านี้ได้อย่างไร คุณช่วยชี้ให้ฉันดูวรรณกรรมในเรื่องนี้ได้ไหม

9 pca  interpretation  dimensionality-reduction  svd