อัลกอริทึมการจำแนกประเภทใดที่เราควรใช้หลังจากเห็นว่า t-SNE แยกคลาสได้ดี?

สมมติว่าเรามีปัญหาการจัดหมวดหมู่และในตอนแรกเราต้องการรับข้อมูลเชิงลึกจากนั้นจึงทำการ t-SNE ผลลัพธ์ของ t-SNE แยกคลาสได้เป็นอย่างดี นี่ก็หมายความว่ามันเป็นไปได้ที่จะสร้างรูปแบบการจำแนกประเภทที่จะแยกชั้นเรียนได้เป็นอย่างดี (ถ้า t-SNE ไม่แยกจากกันก็ไม่ได้แปลว่ามาก)

การรู้ว่า t-SNE มุ่งเน้นไปที่โครงสร้างภายในและสามารถแยกชั้นเรียนได้เป็นอย่างดี: อัลกอริธึมการจำแนกประเภทใดที่ทำงานได้ดีกับปัญหานี้ Scikit แนะนำ SVM ด้วยเคอร์เนล Gaussian RBF แต่คนอื่น ๆ คืออะไร?

คำตอบสั้น ๆ ก่อนจากนั้นแสดงความคิดเห็นอีกต่อไป:

ตอบ

เทคนิค SNE คำนวณเมทริกซ์ความคล้ายคลึงกันของ N × N ทั้งในพื้นที่ข้อมูลดั้งเดิมและในพื้นที่ฝังแบบมิติต่ำในลักษณะที่ความคล้ายคลึงกันก่อให้เกิดการกระจายความน่าจะเป็นเหนือวัตถุสองคู่ โดยเฉพาะความน่าจะเป็นที่ได้รับจากเคอร์เนลเกาส์เซียนที่คำนวณจากข้อมูลอินพุตหรือจากการฝัง ในแง่ของการจัดหมวดหมู่สิ่งนี้ทำให้นึกถึงวิธีการเรียนรู้แบบอิงอินสแตนซ์ทันที คุณได้แสดงรายการหนึ่งในรายการเหล่านี้: SVM พร้อม RBF และ @amoeba แสดงรายการ kNN นอกจากนี้ยังมีเครือข่ายฟังก์ชั่นพื้นฐานที่เป็นรัศมีซึ่งฉันไม่เชี่ยวชาญ

คิดเห็น

ต้องบอกว่าฉันจะต้องระมัดระวังเป็นสองเท่าเกี่ยวกับการอนุมานในชุดข้อมูลเพียงแค่ดูที่แปลง t-SNE t-SNE ไม่จำเป็นต้องมุ่งเน้นไปที่โครงสร้างท้องถิ่น อย่างไรก็ตามคุณสามารถปรับให้ทำเช่นนั้นได้โดยการปรับperplexityพารามิเตอร์ซึ่งควบคุม (อย่างหลวม ๆ ) วิธีการสร้างสมดุลระหว่างความสนใจของข้อมูลท้องถิ่นและทั่วโลก

ในบริบทนี้perplexityตัวมันเองถูกแทงในที่มืดในจำนวนเพื่อนบ้านที่ใกล้ชิดแต่ละการสังเกตอาจมีและให้ผู้ใช้ สถานะเดิมของกระดาษ : “ ประสิทธิภาพของ t-SNE นั้นค่อนข้างแข็งแกร่งต่อการเปลี่ยนแปลงในความสับสนและค่าทั่วไปอยู่ระหว่าง 5 ถึง 50” อย่างไรก็ตามประสบการณ์ของฉันคือการได้รับประโยชน์สูงสุดจาก t-SNE อาจหมายถึงการวิเคราะห์หลาย ๆ แปลงที่มีความซับซ้อนที่แตกต่างกัน

กล่าวอีกนัยหนึ่งคือการปรับlearning rateและperplexityเป็นไปได้ที่จะได้รับแผนการแปลงสองมิติที่ดูแตกต่างกันมากสำหรับขั้นตอนการฝึกอบรมจำนวนเท่ากันและใช้ข้อมูลเดียวกัน

นี้กลั่นกระดาษวิธีการใช้เสื้อ SNE อย่างมีประสิทธิภาพให้สรุปที่ดีของข้อผิดพลาดที่พบบ่อยของการวิเคราะห์เสื้อ SNE จุดสรุปคือ:

1. พารามิเตอร์เหล่านั้น (เช่นอัตราการเรียนรู้ความฉงนสนเท่ห์) มีความสำคัญจริงๆ

2. ขนาดคลัสเตอร์ในพล็อต t-SNE ไม่มีความหมาย

3. ระยะห่างระหว่างกลุ่มอาจไม่ได้มีความหมายอะไรเลย

4. เสียงแบบสุ่มไม่ได้ดูแบบสุ่มเสมอไป

5. คุณสามารถเห็นรูปร่างบางครั้ง

6. สำหรับโทโพโลยีคุณอาจต้องการพล็อตมากกว่าหนึ่ง

โดยเฉพาะจากจุด 2, 3 และ 6 ข้างต้นฉันจะคิดสองครั้งเกี่ยวกับการอนุมานเกี่ยวกับความสามารถในการแยกของข้อมูลโดยดูที่แปลง t-SNE แต่ละแปลง มีหลายกรณีที่คุณสามารถ 'แปลง' แปลงที่แสดงกลุ่มที่ชัดเจนโดยใช้พารามิเตอร์ที่เหมาะสม