การทำนายด้วยคุณสมบัติที่ต่อเนื่องและจัดหมวดหมู่

เทคนิคการสร้างแบบจำลองการทำนายบางอย่างได้รับการออกแบบมาเพื่อการจัดการตัวทำนายอย่างต่อเนื่องในขณะที่เทคนิคอื่น ๆ นั้นดีกว่าสำหรับการจัดการกับตัวแปรเด็ดขาด แน่นอนว่ามีเทคนิคในการแปลงประเภทหนึ่งไปเป็นอีกประเภทหนึ่ง (discretization, ตัวแปรจำลอง) อย่างไรก็ตามมีเทคนิคการสร้างแบบจำลองการคาดการณ์ที่ออกแบบมาเพื่อจัดการอินพุตทั้งสองประเภทในเวลาเดียวกันโดยไม่ต้องเปลี่ยนประเภทของคุณสมบัติหรือไม่ ถ้าเป็นเช่นนั้นเทคนิคการสร้างแบบจำลองเหล่านี้มีแนวโน้มที่จะทำงานได้ดีขึ้นกับข้อมูลที่พวกเขาเป็นแบบธรรมชาติมากขึ้น?

สิ่งที่ใกล้เคียงที่ฉันรู้จะเป็นที่มักจะต้นไม้ตัดสินใจจัดการกับข้อมูลที่ไม่ต่อเนื่องได้ดีและพวกเขาจัดการข้อมูลอย่างต่อเนื่องโดยไม่ต้องมีขึ้นด้านหน้าไม่ต่อเนื่อง อย่างไรก็ตามนี่ไม่ใช่สิ่งที่ฉันกำลังมองหาเนื่องจากการแยกคุณสมบัติอย่างต่อเนื่องได้อย่างมีประสิทธิภาพเป็นเพียงการแยกส่วนแบบไดนามิก

สำหรับการอ้างอิงต่อไปนี้เป็นคำถามที่เกี่ยวข้องและไม่ซ้ำกัน:

• ต้นไม้การตัดสินใจแยกควรนำมาใช้อย่างไรเมื่อทำนายตัวแปรต่อเนื่อง
• ฉันสามารถใช้การถดถอยแบบหลายครั้งได้หรือไม่เมื่อฉันมีตัวทำนายที่เป็นหมวดหมู่และแบบต่อเนื่องผสมกัน?
• มันสมเหตุสมผลไหมที่จะรักษาข้อมูลที่เป็นหมวดหมู่อย่างต่อเนื่อง?
• การวิเคราะห์ข้อมูลตัวแปรอย่างต่อเนื่องและเป็นหมวดหมู่

เท่าที่ฉันรู้และฉันได้ค้นคว้าปัญหานี้อย่างลึกซึ้งในอดีตไม่มีเทคนิคการสร้างแบบจำลองการทำนาย (ข้างต้นไม้ XgBoost ฯลฯ ) ที่ออกแบบมาเพื่อจัดการกับข้อมูลทั้งสองประเภทในเวลาเดียวกันโดยไม่ต้องเปลี่ยน ประเภทของคุณสมบัติ

โปรดทราบว่าอัลกอริธึมเช่น Random Forest และ XGBoost ยอมรับอินพุตของคุณลักษณะแบบผสม แต่ใช้ตรรกะบางอย่างเพื่อจัดการกับมันในระหว่างการแยกโหนด ตรวจสอบให้แน่ใจว่าคุณเข้าใจตรรกะ "ภายใต้ประทุน" และคุณตกลงกับสิ่งที่เกิดขึ้นในกล่องดำ

$u_1$$u_2$$f_i$$d(u_1,u_2 )_{f_i}=(dis-categorical(u_1,u_2 )_{f_i}$$f_i$$d(u_1,u_2 )_{f_i}=dis-numeric(u_1,u_2 )_{f_i}$$f_i$$f_i$$u_1$$u_2$

ฟังก์ชั่นระยะทางที่รู้จักสำหรับคุณสมบัติเด็ดขาด:

• ระยะทาง Levenshtien (หรือรูปแบบใด ๆ ของ "แก้ไขระยะทาง")

• ตัวเรียงลำดับทั่วไปที่ยาวที่สุด

• ระยะทางโกเวอร์
• และตัวชี้วัดอื่น ๆที่นี่

ฉันรู้ว่าไม่นานแล้วตั้งแต่คำถามนี้ถูกโพสต์ แต่ถ้าคุณยังคงมองปัญหานี้อยู่ (หรือคำถามที่คล้ายกัน) คุณอาจต้องการลองใช้โมเดลเสริมทั่วไป (GAM's) ฉันไม่มีความเชี่ยวชาญ แต่โมเดลเหล่านี้อนุญาตให้คุณรวมโมเดลที่แตกต่างกันเพื่อสร้างการทำนายเดียว กระบวนการที่ใช้ในการหาค่าสัมประสิทธิ์สำหรับแบบจำลองที่คุณใส่ในการแก้ปัญหาของพวกเขาทั้งหมดในครั้งเดียวดังนั้นคุณสามารถส่งรูปแบบการเติมทั่วไปแบบที่คุณชื่นชอบสำหรับการทำนายหมวดหมู่และแบบจำลองที่คุณชื่นชอบสำหรับตัวทำนายแบบต่อเนื่อง เกณฑ์ข้อผิดพลาดอื่น ๆ ที่คุณต้องการใช้

เหนือสิ่งอื่นใดในหัวฉันแพคเกจซอฟต์แวร์เดียวที่ฉันรู้ว่ามีการนำไปใช้ของ GAM คือภาษา R แต่ฉันแน่ใจว่ามีคนอื่น

ในขณะที่ discretization แปลงข้อมูลที่ต่อเนื่องเป็นข้อมูลที่ไม่ต่อเนื่องอาจกล่าวได้ว่าตัวแปรดัมมี่เปลี่ยนข้อมูลที่เป็นหมวดหมู่ไปเป็นข้อมูลต่อเนื่อง อันที่จริงแล้วเนื่องจากอัลกอริธึมสามารถทำงานบนคอมพิวเตอร์ได้จึงแทบจะเป็นอัลกอริธึมแยกประเภทซึ่งไม่ได้แปลงข้อมูลหมวดหมู่ให้เป็นตัวแปรจำลอง

ในความหมายเดียวกันตัวแยกประเภทในท้ายที่สุดแปลงมันทำนายเป็นตัวแปรโดยสิ้นเชิงบ่งชี้ว่าเป็นของชั้นเรียน (แม้ว่ามันจะส่งออกความน่าจะเป็นชั้นเรียนในที่สุดคุณเลือกตัด) ในความเป็นจริงแล้วผู้จัดประเภทจำนวนมากเช่นการถดถอยโลจิสติก, ฟอเรสต์แบบสุ่ม, ต้นไม้ตัดสินใจและ SVM ทำงานได้ดีกับข้อมูลทั้งสองประเภท

ฉันสงสัยว่ามันจะยากที่จะหาอัลกอริทึมที่ทำงานกับข้อมูลต่อเนื่อง แต่ไม่สามารถจัดการข้อมูลเด็ดขาดได้เลย โดยปกติฉันมักจะพบว่ามันสร้างความแตกต่างมากขึ้นกับประเภทของข้อมูลที่คุณมีทางด้านซ้ายของแบบจำลองของคุณ

นี่คือคำถามเชิงปรัชญาที่ลึกซึ่งมักจะได้รับการกล่าวถึงจากจุดสิ้นสุดทางสถิติและการเรียนรู้ของเครื่อง บางคนบอกว่าการจัดหมวดหมู่จะดีกว่าสำหรับตัวบ่งชี้ที่ไม่ต่อเนื่องเพื่อจัดหมวดหมู่เพื่อให้แพคเกจสามารถย่อยอินพุตโมเดลได้อย่างง่ายดาย บางคนบอกว่าการทำ Binning นั้นอาจทำให้ข้อมูลสูญหายได้ แต่อย่างไรก็ตามตัวแปรที่เป็นหมวดหมู่สามารถ / ต้องถูกแปลงเป็น {1,0} ตัวแปรตัวบ่งชี้ที่ออกจากคลาสสุดท้ายสำหรับส่วนที่เหลือของโมเดล

หนังสือ - การถดถอยเชิงเส้นประยุกต์ (Kutner et al.) กล่าวถึงตรรกะของการแนะนำตัวแปรตัวบ่งชี้ในโมเดลในสองสามบทแรก อาจมีข้อความที่คล้ายกันอื่น ๆ ด้วย

ความคิดของฉันเกี่ยวกับเรื่องนี้อาจจะไกลไปหน่อย: ถ้าเราจินตนาการตัวแปรเด็ดเดี่ยวเช่นบล็อกในการออกแบบการทดลองตัวแปรตัวบ่งชี้เป็นส่วนขยายตามธรรมชาติของการวิเคราะห์ข้อมูลที่ไม่ใช่การทดลอง ด้วยความเคารพต่ออัลกอริธึมการทำเหมืองข้อมูล (ตระกูลต้นไม้ตัดสินใจ) การจัดหมวดหมู่เป็นสิ่งที่หลีกเลี่ยงไม่ได้

ดังนั้นจึงอาจไม่มีโมเดลที่มีความเชี่ยวชาญสำหรับตัวเลขและตัวแปรเด็ดขาดในลักษณะเดียวกัน (โดยไม่ต้องใช้ตัวเลข binning หรือใช้ตัวบ่งชี้ - หมวดหมู่)