คำถามติดแท็ก svd

ฉันกำลังตรวจสอบเทคนิคต่าง ๆ ที่ใช้ในการจัดกลุ่มเอกสารและฉันต้องการที่จะขจัดข้อสงสัยเกี่ยวกับ PCA (การวิเคราะห์องค์ประกอบหลัก) และ LSA (การวิเคราะห์ความหมายแฝง) สิ่งแรก - อะไรคือความแตกต่างระหว่างพวกเขา? ฉันรู้ว่าใน PCA การสลายตัว SVD ถูกนำไปใช้กับเมทริกซ์ความแปรปรวนร่วมในขณะที่ LSA เป็นเมทริกซ์เอกสารระยะ มีอะไรอีกไหม? สอง - บทบาทของพวกเขาในขั้นตอนการจัดกลุ่มเอกสารคืออะไร จากสิ่งที่ฉันได้อ่านจนถึงตอนนี้ฉันอนุมานได้ว่าจุดประสงค์ของพวกเขาคือการลดมิติการลดเสียงรบกวนและการรวมความสัมพันธ์ระหว่างคำต่างๆเข้าด้วยกัน หลังจากดำเนินการ PCA หรือ LSA อัลกอริธึมแบบดั้งเดิมเช่นวิธี k- หมายถึงหรือ agglomerative ถูกนำมาใช้ในพื้นที่ระยะลดลงและการวัดความคล้ายคลึงกันทั่วไปเช่นระยะทางโคไซน์ถูกนำมาใช้ โปรดแก้ไขฉันหากฉันผิด ประการที่สาม - เป็นเรื่องสำคัญหรือไม่หากเวกเตอร์คำศัพท์ TF / IDF ถูกทำให้เป็นมาตรฐานก่อนใช้ PCA / LSA หรือไม่ และพวกเขาควรจะกลับสู่ภาวะปกติอีกครั้งหลังจากนั้น? ข้อที่สี่ - สมมติว่าฉันได้ทำการจัดกลุ่มบางส่วนเกี่ยวกับพื้นที่คำที่ลดลงโดย LSA / …

25 clustering  pca  data-mining  svd  lsa 

คำถามนี้เกี่ยวกับวิธีที่มีประสิทธิภาพในการคำนวณส่วนประกอบหลัก ตำราจำนวนมากในการสนับสนุน PCA เชิงเส้นโดยใช้การสลายตัวเอกพจน์มูลค่าของข้อมูล Casewise นั่นคือถ้าเรามี dataและต้องการแทนที่ตัวแปร ( คอลัมน์ของมัน) ด้วยองค์ประกอบหลักเราจะทำ SVD: , ค่าเอกพจน์ (sq. รากของค่าลักษณะเฉพาะ) ครอบครองเส้นทแยงมุมหลักของ , ขวา eigenvectorเป็นเมทริกซ์การหมุนแบบมุมฉากของแกน - ตัวแปรเป็นแกน - องค์ประกอบ, ซ้าย eigenvectorเป็นเช่น , เฉพาะสำหรับกรณี จากนั้นเราสามารถคำนวณค่าองค์ประกอบเป็นCXX\bf X S V U V C = X V = U SX=USV′X=ยูSV'\bf X=USV'SS\bf SVV\bf VUยู\bf UVV\bf VC=XV=USC=XV=ยูS \bf C=XV=US อีกวิธีหนึ่งในการทำ PCA ของตัวแปรก็คือการสลายตัวของ …

22 pca  algorithms  svd  matrix-decomposition 

ในการกรองร่วมกันเรามีค่าที่ไม่ได้กรอกหากผู้ใช้ไม่ได้ดูภาพยนตร์แล้วเราต้องใส่ 'na' ลงไปที่นั่น ถ้าฉันจะใช้ SVD ของเมทริกซ์นี้จากนั้นฉันต้องใส่ตัวเลขลงไปที่นั่น - บอก 0 ตอนนี้ถ้าฉันแยกเมทริกซ์เมทริกซ์ฉันมีวิธีหาผู้ใช้ที่คล้ายกัน พื้นที่มิติลดลง) แต่การตั้งค่าที่คาดการณ์เอง - สำหรับผู้ใช้รายการจะเป็นศูนย์ (เพราะนั่นคือสิ่งที่เราป้อนในคอลัมน์ที่ไม่รู้จัก) ดังนั้นฉันจึงติดอยู่กับปัญหาของการกรองการทำงานร่วมกันกับ SVD พวกเขาดูเหมือนจะเกือบจะเหมือนกัน แต่ไม่มาก อะไรคือความแตกต่างระหว่างสิ่งเหล่านี้กับสิ่งที่เกิดขึ้นเมื่อฉันใช้ SVD กับปัญหาการกรองแบบทำงานร่วมกัน ฉันทำแล้วและผลลัพธ์ดูเหมือนจะยอมรับได้ในแง่ของการค้นหาผู้ใช้ใกล้เคียงซึ่งยอดเยี่ยม แต่อย่างไร

21 machine-learning  svd  recommender-system 

ฉันเจอสถานการณ์ที่ฉันมี 10 สัญญาณ / คนสำหรับ 10 คน (ตัวอย่าง 100 ตัวอย่าง) ที่มีจุดข้อมูล 14,000 (มิติ) ที่ฉันต้องผ่านไปยังตัวจําแนก ฉันต้องการลดขนาดของข้อมูลนี้และ PCA น่าจะเป็นวิธีที่ทำได้ อย่างไรก็ตามฉันสามารถค้นหาตัวอย่างของ PCA ที่มีจำนวนตัวอย่างมากกว่าจำนวนมิติเท่านั้น ฉันใช้แอปพลิเคชัน PCA ที่ค้นหาพีซีที่ใช้ SVD เมื่อฉันผ่านชุดข้อมูล 100x14000 ชุดของฉันมี 101 ชิ้นที่ส่งคืนดังนั้นขนาดส่วนใหญ่จะถูกมองข้ามอย่างชัดเจน โปรแกรมระบุว่าพีซี 6 เครื่องแรกมีความแปรปรวน 90% เป็นสมมติฐานที่สมเหตุสมผลหรือไม่ว่าพีซี 101 เครื่องเหล่านี้มีความแปรปรวนทั้งหมดและขนาดที่เหลืออยู่นั้นไม่สามารถละเลยได้? หนึ่งในเอกสารที่ฉันได้อ่านอ้างว่าด้วยชุดข้อมูลที่คล้ายกัน (แต่คุณภาพต่ำกว่าเล็กน้อย) กว่าของฉันพวกเขาสามารถลดขนาด 4500 มิติลงเหลือ 80 เก็บข้อมูล 96% ของข้อมูลต้นฉบับ คลื่นกระดาษผ่านรายละเอียดของเทคนิค PCA ที่ใช้มีเพียง 3100 ตัวอย่างเท่านั้นและฉันมีเหตุผลที่จะเชื่อว่าตัวอย่างน้อยกว่าที่ใช้ในการปฏิบัติ …

21 pca  dimensionality-reduction  svd 

ฉันสังเกตพฤติกรรมที่แปลกประหลาดมากในผลลัพธ์ SVD ของข้อมูลแบบสุ่มซึ่งฉันสามารถทำซ้ำได้ทั้งใน Matlab และ R ดูเหมือนว่าปัญหาตัวเลขในห้องสมุด LAPACK ใช่ไหม? ผมวาดn=1000n=1000n=1000ตัวอย่างจากk=2k=2k=2มิติแบบเกาส์กับศูนย์เฉลี่ยและเอกลักษณ์ของความแปรปรวน: X∼N(0,I)X∼N(0,I)X\sim \mathcal N (0, \mathbf I) ) ฉันรวบรวมพวกเขาใน1000×21000×21000 \times 2 Data Matrix XXX\mathbf X(ฉันสามารถเลือกศูนย์XX\mathbf Xหรือไม่ก็ไม่ได้มีผลต่อการต่อไป.) แล้วฉันจะดำเนินการสลายตัวมูลค่าเอกพจน์ (SVD) เพื่อให้ได้X=USV⊤X=USV⊤\mathbf X=\mathbf{USV}^\top ⊤ ลองหาองค์ประกอบสองอย่างของUU\mathbf Uเช่นU11U11U_{11}และและขอให้สิ่งที่เป็นความสัมพันธ์ระหว่างพวกเขาข้ามที่แตกต่างกันดึงของX ผมจะคาดหวังว่าถ้าจำนวน N R อีพีของดึงมีขนาดใหญ่พอสมควรแล้วทั้งหมดความสัมพันธ์ดังกล่าวควรจะเป็นรอบศูนย์ (เช่นความสัมพันธ์ของประชากรควรจะเป็นศูนย์และความสัมพันธ์ของกลุ่มตัวอย่างจะมีขนาดเล็ก)U22U22U_{22}XX\mathbf XNrepNrepN_\mathrm{rep} แต่ผมสังเกตเห็นบางความสัมพันธ์ที่แข็งแกร่งวิจิตรพิสดาร (ประมาณ ) ระหว่างU 11 , U 12 , U 21และU 22และเฉพาะระหว่างองค์ประกอบเหล่านี้ …

21 pca  svd  linear-algebra  numerics 

ฉันเข้าใจว่าการถดถอยของสันเขาลดค่าสัมประสิทธิ์ไปสู่ศูนย์ทางเรขาคณิต ยิ่งไปกว่านั้นฉันรู้วิธีที่จะพิสูจน์ว่าในกรณีพิเศษ "Orthonormal" แต่ฉันสับสนว่ามันทำงานอย่างไรในกรณีทั่วไปผ่าน "การสลายตัวทางสเปกตรัม"

20 regression  multiple-regression  regularization  ridge-regression  svd 

ฉันรู้วิธีการคำนวณ PCA และ SVD ทางคณิตศาสตร์และฉันรู้ว่าทั้งสองสามารถนำไปใช้กับการถดถอยเชิงเส้นสแควร์น้อยที่สุด ข้อได้เปรียบหลักของ SVD ในทางคณิตศาสตร์ดูเหมือนว่าสามารถนำไปใช้กับเมทริกซ์ที่ไม่ได้เป็นแบบสแควร์ได้ ทั้งสองมุ่งเน้นไปที่การสลายตัวของเมทริกซ์นอกเหนือจากข้อได้เปรียบของ SVD ที่กล่าวมามีข้อได้เปรียบหรือข้อมูลเชิงลึกเพิ่มเติมใด ๆ จากการใช้ SVD ผ่าน PCA หรือไม่X⊤XX⊤XX^\top X ฉันกำลังมองหาสัญชาตญาณมากกว่าความแตกต่างทางคณิตศาสตร์

20 pca  least-squares  svd 

ฉันมีคำถามสองสามข้อเกี่ยวกับ PCA: PCA คิดว่าชุดข้อมูลเป็น Gaussian หรือไม่ จะเกิดอะไรขึ้นเมื่อฉันใช้ PCA กับข้อมูลที่ไม่ใช่เชิงเส้นโดยเนื้อแท้ ให้ชุดข้อมูลกระบวนการคือการทำให้ค่าเฉลี่ย - ปกติแรกตั้งค่าความแปรปรวนเป็น 1 รับ SVD ลดอันดับและสุดท้ายแมปชุดข้อมูลลงในพื้นที่ลดอันดับใหม่ ในพื้นที่ใหม่แต่ละมิติสอดคล้องกับ "ทิศทาง" ของความแปรปรวนสูงสุด แต่ความสัมพันธ์ของชุดข้อมูลนั้นในพื้นที่ใหม่เป็นศูนย์เสมอหรือเป็นจริงสำหรับข้อมูลที่เป็นแบบเกาส์โดยเนื้อแท้ สมมติว่าฉันมีชุดข้อมูลสองชุดคือ "A" และ "B" โดยที่ "A" ตรงกับจุดสุ่มตัวอย่างที่นำมาจาก Gaussian ในขณะที่ "B" ตรงกับจุดสุ่มตัวอย่างจากการแจกแจงแบบอื่น (พูดปัวซอง) PCA (A) เปรียบเทียบกับ PCA (B) อย่างไร โดยการดูที่จุดในพื้นที่ใหม่ฉันจะพิจารณาได้อย่างไรว่า PCA (A) ตรงกับจุดที่สุ่มตัวอย่างจาก Gaussian ในขณะที่ PCA (B) ตรงกับจุดที่สุ่มตัวอย่างจาก Poisson ความสัมพันธ์ของคะแนนใน "A" …

20 pca  svd 

ฉันต้องการใช้ biplot สำหรับการวิเคราะห์องค์ประกอบหลัก (PCA) ใน JavaScript คำถามของฉันคือฉันจะกำหนดพิกัดของลูกศรจากเอาต์พุตของการแยกสลายเวกเตอร์เอกพจน์ (SVD) ของเมทริกซ์ข้อมูลได้อย่างไรU,V,DU,V,DU,V,D นี่คือตัวอย่าง biplot ที่ผลิตโดย R: biplot(prcomp(iris[,1:4])) ฉันลองค้นหามันในบทความ Wikipedia บน biplotแต่มันไม่มีประโยชน์มาก หรือถูกต้อง ไม่แน่ใจว่าอันไหน

18 pca  svd  biplot 

ฉันเพิ่งอ่านหนังสือของ Skillicorn เกี่ยวกับการย่อยสลายเมทริกซ์และผิดหวังเล็กน้อยเนื่องจากเป็นเป้าหมายสำหรับผู้ชมระดับปริญญาตรี ฉันต้องการรวบรวม (สำหรับตัวฉันเองและคนอื่น ๆ ) โดยสังเขปสั้น ๆ เกี่ยวกับเอกสารสำคัญ (การสำรวจ แต่ยังรวมถึงเอกสารที่ก้าวหน้า) เกี่ยวกับการย่อยสลายเมทริกซ์ สิ่งที่ฉันมีอยู่ในใจเป็นหลักคือบางสิ่งบางอย่างใน SVD / PCA (และตัวแปรที่แข็งแกร่ง / กระจัดกระจาย) และ NNMF เนื่องจากมีการใช้งานมากที่สุด คุณมีคำแนะนำ / ข้อเสนอแนะหรือไม่? ฉันถือของฉันไม่อคติคำตอบ ฉันขอให้ จำกัด คำตอบให้กับกระดาษ 2-3 ข้อ PS: ผมหมายถึงทั้งสอง decompositions เป็นที่ใช้มากที่สุดในการวิเคราะห์ข้อมูล แน่นอนว่า QR, Cholesky, LU และ polar มีความสำคัญมากในการวิเคราะห์เชิงตัวเลข นั่นไม่ใช่จุดเน้นของคำถามของฉัน

18 matrix-decomposition  svd  numerics 

ฉันต้องการใช้อัลกอริทึมในกระดาษซึ่งใช้เคอร์เนล SVD เพื่อแยกเมทริกซ์ข้อมูล ดังนั้นฉันได้อ่านเนื้อหาเกี่ยวกับวิธีเคอร์เนลและเคอร์เนล PCA เป็นต้น แต่มันก็ยังคลุมเครือสำหรับฉันโดยเฉพาะเมื่อพูดถึงรายละเอียดทางคณิตศาสตร์และฉันมีคำถามสองสามข้อ ทำไมวิธีเคอร์เนล หรือประโยชน์ของวิธีการเคอร์เนลคืออะไร? จุดประสงค์ที่เข้าใจง่ายคืออะไร? มันสมมติว่าพื้นที่มิติที่สูงขึ้นมากเป็นจริงในปัญหาโลกแห่งความจริงและสามารถเปิดเผยความสัมพันธ์ที่ไม่เชิงเส้นในข้อมูลเมื่อเทียบกับวิธีการที่ไม่ใช่เคอร์เนล? ตามวัสดุวิธีการเคอร์เนลฉายข้อมูลลงในพื้นที่คุณลักษณะมิติสูง แต่พวกเขาไม่จำเป็นต้องคำนวณพื้นที่คุณลักษณะใหม่อย่างชัดเจน แต่ก็เพียงพอที่จะคำนวณเฉพาะผลิตภัณฑ์ภายในระหว่างรูปภาพของจุดข้อมูลทั้งหมดในพื้นที่คุณลักษณะ เหตุใดจึงต้องฉายลงในพื้นที่มิติที่สูงขึ้น ในทางตรงกันข้าม SVD ลดพื้นที่คุณสมบัติ ทำไมพวกเขาทำมันในทิศทางที่แตกต่างกัน? วิธีการเคอร์เนลค้นหาขนาดที่สูงขึ้นในขณะที่ SVD แสวงหามิติที่ต่ำกว่า สำหรับฉันมันฟังดูแปลก ๆ ที่จะรวมมันเข้าด้วยกัน จากบทความที่ฉันกำลังอ่าน ( Symeonidis et al. 2010 ) การแนะนำ Kernel SVD แทน SVD สามารถแก้ไขปัญหาการกระจัดกระจายในข้อมูลและปรับปรุงผลลัพธ์ จากการเปรียบเทียบในรูปเราจะเห็นว่า KPCA ได้รับ eigenvector ที่มีความแปรปรวนสูงกว่า (eigenvalue) มากกว่า PCA ฉันคิดว่า? เนื่องจากความแตกต่างที่ใหญ่ที่สุดของการประมาณค่าของจุดบน eigenvector (พิกัดใหม่) …

18 pca  svd  kernel-trick 

สมมติว่าผมมีความหนาแน่นเมทริกซ์ของขนาดที่มีการสลายตัว SVDในฉันสามารถคำนวณ SVD ได้ดังนี้: .AA \textbf{A}m × nม.×nm \times nA = U S V⊤.A=ยูSV⊤.\mathbf{A}=\mathbf{USV}^\top.Rsvd(A) หากมีการเพิ่ม -th ใหม่ลงในสามารถคำนวณการแยกย่อย SVD ใหม่ตามแบบเก่า (เช่นโดยใช้ , , และ ) โดยไม่ต้องคำนวณใหม่ SVD ตั้งแต่ต้น?( m + 1 )(ม.+1)(m+1)AA\mathbf Aยูยู\mathbf USS\mathbf SVV\mathbf V

17 algorithms  svd  linear-algebra  matrix-decomposition  numerics 

บทความ Wikipedia เกี่ยวกับการวิเคราะห์องค์ประกอบหลักระบุว่า อัลกอริธึมที่มีประสิทธิภาพมีอยู่ในการคำนวณ SVD ของโดยไม่ต้องสร้างเมทริกซ์ดังนั้นการคำนวณ SVD จึงเป็นวิธีมาตรฐานในการคำนวณการวิเคราะห์องค์ประกอบหลักจากเมทริกซ์ข้อมูลXXXXTXXTXX^TX มีคนบอกฉันว่าอัลกอริทึมที่มีประสิทธิภาพซึ่งบทความกำลังพูดถึงคืออะไร ไม่มีการอ้างอิงที่ได้รับ (URL หรือการอ้างอิงถึงบทความที่เสนอวิธีการคำนวณแบบนี้น่าจะดี)

17 pca  algorithms  svd  numerics 

สมมติว่าเรามีตัวแปรNNNวัดได้(a1,a2,…,aN)(a1,a2,…,aN)(a_1, a_2, \ldots, a_N)เราทำการวัดจำนวนM>NM>NM > Nของการวัดแล้วต้องการทำการแยกสลายค่าเอกพจน์บนผลลัพธ์เพื่อค้นหาแกนของความแปรปรวนสูงสุดสำหรับMMM points ในช่องว่างมิติNNN( หมายเหตุ:คิดว่าวิธีการของฉันได้รับการหักออกเพื่อ⟨ ฉัน ⟩ = 0สำหรับทุกฉัน .)aiaia_i⟨ai⟩=0⟨ai⟩=0\langle a_i \rangle = 0iii ทีนี้สมมติว่าตัวแปรหนึ่งตัว (หรือมากกว่า) มีขนาดลักษณะแตกต่างกันอย่างมีนัยสำคัญมากกว่าส่วนที่เหลือ เช่น1อาจมีค่าอยู่ในช่วง10 - 100ในขณะที่ส่วนที่เหลืออาจจะอยู่ที่ประมาณ0.1 - 1 นี้จะเอียงแกนของความแปรปรวนสูงสุดต่อ1ของแกนมากa1a1a_110−10010−10010-1000.1−10.1−10.1-1a1a1a_1 ความแตกต่างของขนาดอาจเป็นเพราะตัวเลือกการวัดที่โชคร้าย (ถ้าเรากำลังพูดถึงข้อมูลทางกายภาพเช่นกิโลเมตรเทียบกับเมตร) แต่ที่จริงแล้วตัวแปรที่แตกต่างกันอาจมีมิติที่แตกต่างกันโดยสิ้นเชิง (เช่นน้ำหนักเทียบกับปริมาตร) อาจไม่มีวิธีที่ชัดเจนในการเลือกหน่วย "เปรียบได้" สำหรับพวกเขา คำถาม: ฉันต้องการทราบว่ามีวิธีการมาตรฐาน / ทั่วไปในการทำให้ข้อมูลเป็นมาตรฐานเพื่อหลีกเลี่ยงปัญหานี้หรือไม่ ผมสนใจในเทคนิคมาตรฐานที่ผลิตขนาดเทียบเคียง1 - Nเพื่อจุดประสงค์นี้มากกว่าขึ้นมาพร้อมกับสิ่งใหม่ ๆa1−aNa1−aNa_1 - a_N แก้ไข: ความเป็นไปได้อย่างหนึ่งคือทำให้ตัวแปรแต่ละตัวเป็นปกติโดยค่าเบี่ยงเบนมาตรฐานหรือสิ่งที่คล้ายกัน อย่างไรก็ตามปัญหาต่อไปนี้จะปรากฏขึ้น: ลองตีความข้อมูลเป็น cloud point …

17 pca  data-transformation  normalization  dimensionality-reduction  svd 

ส่วนประกอบ PCA (ในการวิเคราะห์องค์ประกอบหลัก) มีความเป็นอิสระทางสถิติหรือไม่หากข้อมูลของเรามีการกระจายหลายตัวแปรตามปกติ ถ้าเป็นเช่นนั้นสิ่งนี้สามารถแสดง / พิสูจน์ได้อย่างไร? ฉันถามเพราะฉันเห็นโพสต์นี้ซึ่งคำตอบยอดนิยมระบุไว้: PCA ไม่ได้ทำการตั้งสมมติฐาน Gaussianity ที่ชัดเจน พบว่าค่าไอเกนที่ผู้ใช้อธิบายความแปรปรวนสูงสุดในข้อมูล orthogonality ขององค์ประกอบหลักหมายความว่าจะพบส่วนประกอบที่ไม่เกี่ยวข้องมากที่สุดเพื่ออธิบายความแปรปรวนของข้อมูลให้มากที่สุด สำหรับการแจกแจงแบบเกาส์หลายตัวแปรความสัมพันธ์แบบไม่มีศูนย์ระหว่างส่วนประกอบหมายถึงความเป็นอิสระซึ่งไม่เป็นความจริงสำหรับการแจกแจงส่วนใหญ่ คำตอบจะถูกระบุโดยไม่มีการพิสูจน์และดูเหมือนจะบอกเป็นนัยว่า PCA ผลิตชิ้นส่วนที่เป็นอิสระหากข้อมูลเป็นตัวแปรปกติ โดยเฉพาะกล่าวว่าข้อมูลของเราเป็นตัวอย่างจาก: x∼N(μ,Σ)x∼N(μ,Σ)\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma}) เราใส่nnnตัวอย่างxx\mathbf{x}เป็นแถวของเมทริกซ์ของตัวอย่างของเราXX\mathbf{X}เพื่อให้XX\mathbf{X}เป็นn×mn×mn \times mเมตร การคำนวณ SVD ของXX\mathbf{X} (หลังจากศูนย์กลาง) ให้ผลตอบแทน X=USVTX=USVT\mathbf{X} = \mathbf{USV}^{T} เราบอกได้ไหมว่าคอลัมน์ของUU\mathbf{U}นั้นมีความเป็นอิสระทางสถิติแล้วก็แถวของVTVT\mathbf{V}^Tโดยทั่วไปแล้วนี่เป็นเพียงแค่สำหรับx∼N(μ,Σ)x∼N(μ,Σ)\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})หรือไม่เป็นความจริงเลย?

16 pca  independence  svd