การจัดกลุ่มล่วงหน้าช่วยในการสร้างแบบจำลองการทำนายที่ดีขึ้นหรือไม่?

สำหรับภารกิจของการปั่นแบบจำลองฉันกำลังพิจารณา:

1. คำนวณ k กลุ่มสำหรับข้อมูล
2. สร้างโมเดล k สำหรับแต่ละคลัสเตอร์แยกกัน

เหตุผลก็คือว่าไม่มีอะไรที่จะพิสูจน์ว่าประชากรของผู้ใต้บังคับบัญชาเป็นเนื้อเดียวกันดังนั้นจึงมีเหตุผลที่จะคิดว่ากระบวนการสร้างข้อมูลอาจแตกต่างกันสำหรับ "กลุ่ม" ที่แตกต่างกัน

คำถามของฉันคือมันเป็นวิธีการที่เหมาะสมหรือไม่ มันละเมิดอะไรหรือไม่หรือถือว่าไม่ดีด้วยเหตุผลบางอย่าง? ถ้าเป็นเช่นนั้นทำไม

ถ้าไม่คุณจะแบ่งปันแนวทางปฏิบัติที่ดีที่สุดเกี่ยวกับปัญหานั้นหรือไม่ และสิ่งที่สอง - เป็นการดีกว่าหรือแย่กว่าการทำ preclustering กว่าโมเดลต้นไม้ (ตามที่กำหนดไว้ใน Witten, Frank - ต้นไม้จำแนก / ถดถอยด้วยแบบจำลองที่ใบไม้) สังหรณ์ใจดูเหมือนว่าสเตจต้นไม้ตัดสินใจเป็นเพียงรูปแบบการรวมกลุ่มอื่น idk หากมีข้อได้เปรียบเหนือการจัดกลุ่ม "ปกติ")

มีวิธีการที่เรียกว่าการถดถอยตามเข็มนาฬิกาที่แก้ปัญหาที่คล้ายกัน (กลุ่มแรกข้อมูลแล้วสร้างแบบจำลองการทำนาย) ดูตัวอย่างนี้

สองจุดที่ยาวเกินกว่าจะแสดงความคิดเห็นได้:

• กลุ่มบริสุทธิ์ (เช่นมีกรณีของหนึ่งคลาสเท่านั้น) จะไม่มีปัญหาต่อ se: เรียกว่าตัวจําแนกคลาสหนึ่งคลาสแต่ละโมเดลเป็นอิสระจากคลาสอื่นทั้งหมด พวกเขาสามารถรับมือกับสิ่งนี้ได้อย่างสมบูรณ์แบบ

• อย่างไรก็ตามถ้ากลุ่มข้อมูลในทางที่ค่อนข้างแยกออกจากกันเช่นกลุ่มค่อนข้างบริสุทธิ์ซึ่งหมายความว่ามีโครงสร้างที่แข็งแกร่งมากอยู่โครงสร้างที่การวิเคราะห์กลุ่มสามารถหาได้โดยไม่ต้องมีคำแนะนำโดยฉลากระดับ ซึ่งหมายความว่าตัวจําแนกบางประเภทเช่นวิธีเพื่อนบ้านที่ใกล้ที่สุดโดยใช้การวัดระยะทางแบบเดียวกับที่ใช้ในการวิเคราะห์กลุ่มมีความเหมาะสมกับข้อมูล

• ความเป็นไปได้อื่น ๆ สถานการณ์ที่กลุ่มไม่บริสุทธิ์ แต่การรวมกันของกลุ่มและวิธีการจำแนกสามารถทำได้ดีเหมาะสำหรับต้นไม้ ต้นไม้จะทำส่วนหนึ่งของการทำคลัสเตอร์ (และโหนดบริสุทธิ์ไม่ถือเป็นปัญหา) ต่อไปนี้เป็นตัวอย่างของการประดิษฐ์ XOR-problem รุ่น 2 คลัสเตอร์:
  

• อีกวิธีในการรวมข้อมูลคลัสเตอร์โดยไม่ต้องเสี่ยงกับการมีกลุ่มบริสุทธิ์คือการใช้การจัดกลุ่มเป็นขั้นตอนการสร้างคุณลักษณะ: เพิ่มผลลัพธ์ของการวิเคราะห์คลัสเตอร์เป็นตัวแปรใหม่ในเมทริกซ์ข้อมูล

• คุณถามว่ามันไม่ดีด้วยเหตุผลบางอย่าง: หนึ่งหลุมพรางคือ appoach นี้นำไปสู่รูปแบบที่มีอิสระหลายองศา คุณจะต้องระมัดระวังเป็นพิเศษไม่ให้เกินความเหมาะสม

• ลองดูที่รูปแบบต้นไม้เช่นคำตอบของ mbq ​​ที่นี่ฉันคิดว่าพวกเขาใช้แนวคิดที่ใกล้เคียงกับที่คุณมองหา พวกเขาสามารถนำมาใช้เป็นป่าเช่นกัน: เช่นแพคเกจ R mobForest

วันนี้ฉันจัดการกับปัญหาที่คล้ายกัน ฉันมีหลายร้อยคุณสมบัติในการสร้างลักษณนาม หลังจากลองแบบจำลองที่แตกต่างกัน (เช่นป่าที่สุ่มเพิ่มการไล่ระดับสี ฯลฯ ... ) ฉันยังมีความแม่นยำ / การเรียกคืนต่ำ ดังนั้นฉันจึงพยายามทำคลัสเตอร์แล้วสร้างตัวแยกประเภทในกลุ่มที่แตกต่างกัน ความกังวลของฉันคือเหมือนกับที่ Anony-Mousse พูดว่าฉันจะรับข้อมูลเพิ่มเติมจากตัวจําแนกได้อย่างไรหากฉันใช้ข้อมูลทั้งหมดในการจัดกลุ่ม ดังนั้นนี่คือสิ่งที่ฉันจะทำต่อไป:

1. ใช้คุณสมบัติบางอย่าง (น้อยกว่าตามความรู้เดิม) เพื่อทำการทำคลัสเตอร์
2. ใช้คุณสมบัติอื่น ๆ (เพิ่มเติม) เพื่อฝึกฝนตัวแยกประเภท

ฉันคิดว่ามันอาจช่วยลดความซับซ้อนได้ด้วยหวังว่ามันจะช่วยได้

อาคาร $k$ กลุ่มแล้ว $k$รุ่นที่สอดคล้องกันเป็นไปได้อย่างแน่นอน กรณีพยาธิวิทยาที่ระบุไว้ในความคิดเห็นนั้นกลุ่มแยกตัวแปรผลลัพธ์ที่จะก่อให้เกิดความยากลำบากสำหรับลักษณนามเป็นปัญหาทางทฤษฎี แต่ที่ฉันคิดว่าไม่น่า (โดยเฉพาะอย่างยิ่งในกรณีมิติสูง) นอกจากนี้หากคุณสามารถสร้างกลุ่มดังกล่าวคุณก็สามารถใช้กลุ่มเหล่านั้นเพื่อการคาดการณ์!

นอกจากนี้หากกระบวนการเริ่มต้นด้วย $N$ ตัวอย่างลักษณนามสามารถใช้ได้ $N/k$ตัวอย่าง ดังนั้นวิธีที่ทรงพลังยิ่งกว่าก็คือการใช้กลุ่มในการสร้างลักษณนามเดี่ยวที่รวมความหลากหลายในกลุ่มโดยใช้ส่วนผสมของการถดถอย ในการจัดกลุ่มตามรูปแบบหนึ่งถือว่าข้อมูลถูกสร้างขึ้นจากการกระจายผสม$Y_i \sim N(\mu_i, \sigma_i^2)$ ที่ไหน $i=1$ ด้วยความน่าจะเป็น $\pi$ และ $i=2$ ด้วยความน่าจะเป็น $1-\pi$ และ $\mu_1 \neq \ \mu_2$ และ $\sigma_1^2 \neq \sigma_2^2$. การถดถอยแบบผสมเป็นส่วนขยายที่อนุญาตให้ผู้ใช้สร้างแบบจำลองข้อมูลขึ้นอยู่กับตัวแปรร่วม$\mu_i$ ถูกแทนที่ด้วย $\beta_i X_i$, ที่ไหน $\beta_i$จะต้องมีการประมาณ ในขณะที่ตัวอย่างนี้สำหรับ univariate กรณี Gaussian กรอบสามารถรองรับข้อมูลจำนวนมาก (multinomial-logit จะเหมาะสมสำหรับตัวแปรเด็ดขาด) แพคเกจ flexmixสำหรับ R ให้คำอธิบายรายละเอียดมากขึ้นและแน่นอนวิธีที่ค่อนข้างง่ายและขยายการดำเนินการวิธีการนี้

อีกวิธีหนึ่งในการตั้งค่าการเลือกปฏิบัติเราสามารถลองรวมการมอบหมายคลัสเตอร์ (แข็งหรืออ่อน) เป็นคุณลักษณะสำหรับการฝึกอบรมอัลกอริทึมการจำแนกประเภทของทางเลือก (เช่น NB, ANN, SVM, RF ฯลฯ )

ถ้ากลุ่มของคุณดีจริงๆตัวแยกประเภทของคุณจะไร้สาระ เพราะพวกเขามีข้อมูลการฝึกอบรมไม่เพียงพอ

สมมติว่ากลุ่มของคุณสมบูรณ์แบบเช่นบริสุทธิ์ คุณไม่สามารถฝึกลักษณนามที่เหมาะสมได้อีกต่อไป ตัวแยกประเภทต้องการตัวอย่างที่เป็นบวกและลบ!

ป่าสุ่มนั้นประสบความสำเร็จอย่างมากในการทำสิ่งที่ตรงกันข้าม พวกเขาสุ่มตัวอย่างข้อมูลสุ่มฝึกลักษณนามว่าแล้วใช้ลักษณนามที่ผ่านการฝึกอบรมทั้งหมด

สิ่งที่อาจใช้งานได้คือการใช้การทำคลัสเตอร์แล้วฝึกลักษณนามในทุก ๆคู่ของกลุ่มอย่างน้อยถ้าพวกเขาไม่เห็นด้วยพอ (ถ้าแบ่งเป็นสองกลุ่มคุณยังคงไม่สามารถฝึกตัวจําแนกได้!)