การลดขนาดที่ปรับขนาดได้

พิจารณาจำนวนของคุณสมบัติคงที่บาร์นส์ฮัทเสื้อ SNEมีความซับซ้อนของ , ประมาณการสุ่มและ PCA มีความซับซ้อนของทำให้พวกเขา "แพง" สำหรับชุดข้อมูลขนาดใหญ่มาก$O(n\log n)$$O(n)$

ในทางกลับกันวิธีการที่ใช้การวัดหลายมิติมีความซับซ้อน$O(n^2)$

มีเทคนิคการลดขนาดอื่น ๆ (นอกเหนือจากสิ่งเล็กน้อยเช่นการดูคอลัมน์แรก) ซึ่งมีความซับซ้อนต่ำกว่าหรือไม่$k$$O(n\log n)$

ตัวเลือกที่น่าสนใจคือการสำรวจการลดขนาดของระบบประสาท เครือข่ายที่ใช้กันมากที่สุดสำหรับการลดขนาดระบบช่วยให้การทำงานอัตโนมัติสามารถฝึกอบรมได้ที่โดยที่แทนการฝึกซ้ำ (เป็นพารามิเตอร์ที่เป็นอิสระจากข้อมูลการฝึกอบรม) . ดังนั้นความซับซ้อนของการฝึกอบรมทำให้ง่ายขึ้น$\mathcal{O}(i\cdot n)$$i$$\mathcal{O}(n)$

คุณสามารถเริ่มต้นด้วยการดูงานสัมมนาปี 2549 โดย Hinton และ Salakhutdinov [1] ตั้งแต่นั้นมามีการพัฒนาสิ่งต่าง ๆ มากมาย ตอนนี้ส่วนใหญ่ของ attention บรรลุโดย Variational Autoencoders [2] แต่ความคิดพื้นฐาน (เครือข่ายที่สร้างอินพุตที่เลเยอร์เอาท์พุทที่มีเลเยอร์คอขวดในระหว่าง) ยังคงเหมือนเดิม โปรดทราบว่าเมื่อเทียบกับ PCA และ RP ระบบเข้ารหัสอัตโนมัติจะทำการลดขนาดแบบไม่เชิงเส้น นอกจากนี้เมื่อเทียบกับ t-SNE autoencoders สามารถเปลี่ยนตัวอย่างที่มองไม่เห็นโดยไม่จำเป็นต้องฝึกซ้ำทั้งโมเดล

ในทางปฏิบัติฉันขอแนะนำให้ดูที่โพสต์นี้ซึ่งให้รายละเอียดเกี่ยวกับวิธีการใช้งานระบบเข้ารหัสอัตโนมัติแบบต่างๆกับห้องสมุด Keras ที่มหัศจรรย์

[1] Hinton, GE, & Salakhutdinov, RR (2006) การลดมิติข้อมูลด้วยเครือข่ายประสาท วิทยาศาสตร์, 313 (5786), 504-507

[2] Kingma, DP, & Welling, M. (2013) ช่องแปรปรวนการเข้ารหัสอัตโนมัติ พิมพ์ arXiv arXiv: 1312.6114

นอกจากตัวเข้ารหัสอัตโนมัติที่กล่าวถึงแล้วเราสามารถลองใช้บทแทรกของ Johnson-Lindenstrauss 'lemmaด้วยการฉายแบบสุ่มหรือวิธีการย่อยแบบสุ่ม ประมาณการสุ่มคือ$\mathcal{O}(k d N)$กับ $N$ จำนวนตัวอย่างของมิติข้อมูล $d$ และ $k$ ส่วนข้อมูลเป้าหมาย cf [1]

googling เล็กน้อยคุณจะได้รับผลลัพธ์ล่าสุดโดยเฉพาะชุดข้อมูลที่กระจัดกระจาย

[1] การฉายสุ่มในการลดมิติ: การประยุกต์ใช้เพื่อภาพและข้อความข้อมูล