ขนาดของ t-sne มีความหมายไหม?

มีความหมายใด ๆ กับขนาดของการฝังตัวที - เอ็นหรือไม่? เช่นเดียวกับ PCA เรามีความรู้สึกถึงการแปรปรวนเชิงเส้นแปรปรวนสูงสุด แต่สำหรับ t-sne นั้นมีสัญชาตญาณนอกเหนือจากพื้นที่ที่เรากำหนดไว้สำหรับการจับคู่และลดระยะทาง KL

dimensionality-reduction tsne

— Nitro
แหล่งที่มา

ไม่แน่ใจว่าสิ่งนี้จะได้รับตามที่คุณขอจริง ๆ หรือไม่ แต่ฉันเชื่อว่าขนาดของ t-sne นั้นขึ้นอยู่กับความสามารถในการแยกของข้อมูลเท่านั้น ขนาดสามารถเปลี่ยนแปลงได้เนื่องจากชุดข้อมูลเดียวกันเนื่องจากเป็นการแปลงที่ไม่ใช่เชิงเส้น ดังนั้นมิติสามารถตีความได้จริงในบริบทของอินสแตนซ์ที่กำหนด แจ้งให้เราทราบหากฉันผิดมันเป็นคำถามที่น่าสนใจ

— Hobbes

บางทีมันอาจจะน่าเบื่อแบบเก่า ?3?

— Nitro

มิติของพื้นที่มิติต่ำนั้นไม่มีความหมาย โปรดทราบว่าฟังก์ชั่นการสูญเสีย t-SNE นั้นขึ้นอยู่กับระยะทางระหว่างจุด ( และ ) และการแจกแจงความน่าจะเป็นมากกว่าระยะทางเหล่านั้น ( และ ): $y_i$ $y_j$ $p_{ij}$ $q_{ij}$

\frac{δ ค}{δ Y_{ผม}} = 4 \underset{J}{Σ} ({พี}_{ผม J} - Q_{ผม J}) (Y_{ผม} - Y_{J}) (1 + | | Y_{ผม} - Y_{J} | |^{2})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

ดังนั้นจึงไม่มีการฉายภาพจากพื้นที่มิติสูงทั้งหมดไปยังพื้นที่มิติต่ำ t-SNE จะค้นหาการทำแผนที่จากชุดของจุดมิติสูงเฉพาะไปยังชุดเฉพาะของจุดมิติต่ำเท่านั้น เนื่องจากไม่มีฟังก์ชั่นจากช่องว่างหนึ่งไปยังอีกช่องว่างดังนั้นจึงไม่มีความหมายโดยธรรมชาติของแกน

สิ่งที่คุณสามารถจินตนาการเพื่ออธิบายสิ่งนี้:

การหมุนหรือการแปลพื้นที่สูงหรือมิติต่ำไม่มีผลต่อระยะห่างระหว่างจุด ดังนั้น t-SNE ไม่สนใจการหมุนหรือการแปลในช่องว่างทั้งสอง ดังนั้นจึงไม่มีการตีความแกนอย่างเด็ดขาด
การแจกแจงแบบ t-Student มีหางที่อ้วน สิ่งนี้ทำให้การเป็นตัวแทนมิติต่ำไม่แปรเปลี่ยนไปจากการเปลี่ยนแปลงจุดที่อยู่ห่างไกลในพื้นที่มิติสูง สิ่งนี้ยังทำให้จุดที่อยู่ห่างไกลในพื้นที่มิติสูงอาจอยู่ห่างไกลพอสมควรห่างไกลหรือไกลออกไปจริงๆในพื้นที่มิติต่ำ ในแง่นี้มันยืดส่วนบางส่วนของแกนมิติต่ำ (ในทิศทางใดก็ได้)

ที่ถูกกล่าวว่า t-SNE เป็นหลักเทคนิคการสร้างภาพและประสิทธิภาพการลดขนาดสำหรับวัตถุประสงค์อื่น ๆ ไม่ชัดเจน (อาจไม่เหมาะสำหรับการทำคลัสเตอร์การแยกคุณลักษณะหรือการเลือกคุณสมบัติ)

นอกจากนี้: กระดาษ

— ปีเตอร์
แหล่งที่มา