ตัวชี้วัดประสิทธิภาพเพื่อประเมินการเรียนรู้ที่ไม่ได้รับการดูแล


48

ด้วยความเคารพต่อการเรียนรู้ที่ไม่ได้รับการดูแล (เช่นการจัดกลุ่ม) มีตัวชี้วัดใดเพื่อประเมินประสิทธิภาพหรือไม่



4
ฉันคิดว่าคำถามนี้เป็นคำถามทั่วไปมากกว่านั้นฉันจึงลงคะแนนให้เปิดเรื่องนี้ไว้
Peter Flom - Reinstate Monica

ฉันมีคำถามแบบเดียวกันกับที่คุณมีและมีการอ้างอิง (ที่ยังไม่ได้อ่าน) บางส่วนเกี่ยวข้อง: การสำรวจความถูกต้องภายในสำหรับการตรวจสอบความถูกต้องของกลุ่ม L.Jegatha Deborah, R.Baskaran, A.Kannan และเทคนิคการวัดความเที่ยงตรงของคลัสเตอร์ Ferenc Kovács, Csaba Legány, Attila Babos
kasterma

คำตอบ:


43

ในบางแง่ฉันคิดว่าคำถามนี้ไม่สามารถตอบได้ ฉันพูดแบบนี้เพราะวิธีการที่ไม่มีผู้ควบคุมโดยเฉพาะนั้นทำได้ดีเพียงใดขึ้นอยู่กับเหตุผลว่าทำไมการเรียนรู้แบบไม่สำรองในตอนแรกคือวิธีนี้ทำงานได้ดีในบริบทของเป้าหมายสุดท้ายของคุณหรือไม่ เห็นได้ชัดว่าสิ่งนี้ไม่เป็นความจริงอย่างสมบูรณ์คนทำงานกับปัญหาเหล่านี้และเผยแพร่ผลลัพธ์ซึ่งรวมถึงการประเมินผลบางประเภท ฉันจะร่างแนวทางบางประการที่ฉันคุ้นเคยด้านล่าง

ทรัพยากรที่ดี (ที่มีการอ้างอิง) สำหรับการจัดกลุ่มเป็นหน้าเอกสาร sklearn ของการจัดกลุ่มการประเมินผลงาน วิธีนี้ครอบคลุมหลายวิธี แต่ทั้งหมดมีค่าสัมประสิทธิ์ Silhouette สมมติว่ามีป้ายชื่อพื้นจริง วิธีนี้ยังกล่าวถึงในคำถามการประเมินผลการวัดการจัดกลุ่มที่เชื่อมโยงในความคิดเห็นสำหรับคำถามนี้

หากวิธีการเรียนรู้ที่ไม่ได้รับการสนับสนุนของคุณนั้นน่าจะเป็นไปได้อีกทางเลือกหนึ่งคือการประเมินการวัดความน่าจะเป็นบางอย่าง แรงจูงใจที่นี่คือถ้าวิธีการเรียนรู้ที่ไม่ได้รับมอบหมายของคุณกำหนดความน่าจะเป็นสูงให้กับข้อมูลที่คล้ายกันซึ่งไม่ได้ใช้เพื่อให้พอดีกับพารามิเตอร์ โดเมนที่การประเมินประเภทนี้ใช้กันทั่วไปคือการสร้างแบบจำลองภาษา

ตัวเลือกสุดท้ายที่ฉันจะพูดถึงคือการใช้ผู้เรียนภายใต้การดูแลในงานเสริมที่เกี่ยวข้อง หากคุณไม่ได้รับการดูแลวิธีการสร้างตัวแปรแฝงคุณสามารถคิดว่าตัวแปรแฝงเหล่านี้เป็นตัวแทนของการป้อนข้อมูล ดังนั้นจึงเป็นเรื่องที่สมเหตุสมผลที่จะใช้ตัวแปรแฝงเหล่านี้เป็นอินพุตสำหรับตัวจําแนกแบบมีผู้ควบคุมที่ดำเนินการบางอย่างที่เกี่ยวข้องกับโดเมนที่ข้อมูลมาจาก ประสิทธิภาพของวิธีการสอนนั้นสามารถใช้เป็นตัวแทนสำหรับการปฏิบัติงานของผู้เรียนที่ไม่ได้รับการฝึกอบรม นี่คือการตั้งค่าที่คุณเห็นในการเรียนรู้การเป็นตัวแทนส่วนใหญ่

คำอธิบายนี้อาจคลุมเครือเล็กน้อยดังนั้นฉันจะยกตัวอย่างที่เป็นรูปธรรม เกือบทุกงานในการเรียนรู้การเป็นตัวแทนของคำใช้วิธีการประเมินผลดังต่อไปนี้:

  1. เรียนรู้การเป็นตัวแทนของคำโดยใช้ผู้เรียนที่ไม่ได้รับการดูแล
  2. ใช้การเป็นตัวแทนที่ได้รับการเรียนรู้เป็นอินพุตสำหรับผู้เรียนภายใต้การดูแลซึ่งทำหน้าที่ NLP บางอย่างเช่นส่วนของการติดแท็กคำพูดหรือการจดจำชื่อเอนทิตี
  3. ประเมินประสิทธิภาพของผู้เรียนที่ไม่ได้รับการฝึกอบรมโดยความสามารถในการปรับปรุงประสิทธิภาพของผู้เรียนที่อยู่ภายใต้การดูแลเมื่อเปรียบเทียบกับพื้นฐานโดยใช้การแสดงมาตรฐานเช่นคุณลักษณะการมีอยู่ของคำไบนารี

สำหรับตัวอย่างของวิธีการนี้ในการปฏิบัติให้ดูที่เครื่องฝึกอบรม Boltzmann ที่มีข้อ จำกัด ในการสังเกตการณ์ Wordโดย Dahl et al.


11
+1 " วิธีที่ไม่มีผู้ดูแลที่เฉพาะเจาะจงนั้นทำได้ดีเพียงใดนั้นขึ้นอยู่กับว่าทำไมการเรียนรู้ที่ไม่ได้รับการดูแลในตอนแรกนั้นค่อนข้างมาก" อย่าไปหาตัวเลขเวทย์มนตร์ที่คุณสามารถใช้เพื่อพิสูจน์ความถูกต้องของผลลัพธ์ที่ได้รับโดยไม่ต้องตีความผลลัพธ์จริง
Marc Claesen

1
ฉันจะเพิ่มด้วยว่าการใช้แนวทางการดูแลเป็นพร็อกซีเพื่อให้วิธีการทำงานที่ไม่ได้รับการดูแลนั้นไม่จำเป็นต้องค้นพบคุณสมบัติใหม่ ตัวอย่างเช่นการจัดกลุ่มไม่ได้เรียนรู้คุณลักษณะใหม่ ๆ แต่การทำคลัสเตอร์มักใช้เพื่อปรับปรุงความแม่นยำในการทำนายของผู้เรียนที่มีการควบคุมโดยมีประโยชน์เพิ่มเติมในการอธิบายว่าทำไมจึงเป็นเช่นนั้น ตัวอย่างเช่นการจัดกลุ่ม k-mean สามารถสร้างการคาดการณ์ k ที่ได้รับการปรับปรุงโดยใช้ประโยชน์จากโครงสร้างที่ค้นพบและการบีบอัดจากการจัดกลุ่ม ดูttic.uchicago.edu/~shubhendu/Papers/clustering_bagging.pdf
Cybernetic
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.