ฉันอาจจะจัดการกับปัญหาที่อาจแก้ไขได้หลายร้อยครั้งก่อนหน้านี้ แต่ฉันไม่แน่ใจว่าจะหาคำตอบได้ที่ไหน

เมื่อใช้การถดถอยโลจิสติกให้คุณสมบัติมากมายและพยายามทำนายค่าหมวดหมู่ไบนารีฉันสนใจในการเลือกชุดย่อยของคุณสมบัติที่ทำนายดี y $x_1,...,x_n$$y$$y$

มีขั้นตอนคล้ายกับบ่วงบาศที่สามารถใช้ได้หรือไม่? (ฉันเคยเห็นบ่วงบาศที่ใช้สำหรับการถดถอยเชิงเส้นเท่านั้น)

ดูที่ค่าสัมประสิทธิ์ของรุ่นที่ติดตั้งแล้วซึ่งบ่งบอกถึงความสำคัญของคุณสมบัติที่แตกต่างกันหรือไม่?

แก้ไข - การชี้แจงหลังจากเห็นคำตอบบางส่วน:

1. เมื่อฉันอ้างถึงขนาดของสัมประสิทธิ์การติดตั้งฉันหมายถึงคุณลักษณะที่ได้รับการปรับให้เป็นมาตรฐาน (หมายถึง 0 และความแปรปรวน 1) มิฉะนั้นตามที่ @probabilityislogic ชี้ให้เห็น 1000x จะมีความสำคัญน้อยกว่า x

2. ฉันไม่สนใจเพียงแค่ค้นหา k-subset ที่ดีที่สุด (ตามที่ @Davide กำลังนำเสนอ) แต่ให้น้ำหนักความสำคัญของคุณลักษณะที่แตกต่างกันเมื่อเทียบกัน ตัวอย่างเช่นคุณลักษณะหนึ่งอาจเป็น "อายุ" และอีกคุณสมบัติหนึ่งคืออายุ> 30 " ความสำคัญที่เพิ่มขึ้นของพวกเขาอาจมีเพียงเล็กน้อย แต่ทั้งคู่อาจมีความสำคัญ

คำตอบของ DWin นั้นให้คำตอบ แต่เข้าใจน้อยฉันจึงคิดว่ามันอาจมีประโยชน์ในการให้คำอธิบาย

หากคุณมีสองชั้นเรียนคุณมีพื้นพยายามที่จะประเมินx_i) นี่คือทั้งหมดที่คุณต้องการและโมเดลการถดถอยแบบโลจิสติกถือว่า:$p=P(y_i=1|X=x_i)$

$log \frac{p}{1-p} = log \frac{P(y_i=1|X=x_i)}{P(y_i=0|X=x_i)}=\beta _0 + \beta _1 ^T x_i$

สิ่งที่ฉันคิดว่าคุณหมายถึงความสำคัญของคุณลักษณะเป็นวิธีการที่มันมีผลต่อหรือในคำอื่น ๆ สิ่งที่เป็นIJ}}p ∂ $j$$p$$\frac{\partial p}{\partial x_{ij}}$

หลังจากการเปลี่ยนแปลงเล็กน้อยคุณจะเห็นได้ว่า

$p=\frac{e^{\beta _0 + \beta _1 ^T x_i}}{1+e^{\beta _0 + \beta _1 ^T x_i}}$x_i}}

เมื่อคุณคำนวณอนุพันธ์ของคุณคุณจะเห็นว่า

$\frac{\partial p}{\partial x_{ij}} = \beta_j e^{\beta_0 + \beta _1 ^T x_i}$

ชัดเจนขึ้นอยู่กับมูลค่าของตัวแปรอื่น ๆ ทั้งหมด อย่างไรก็ตามคุณสามารถสังเกตได้ว่าการเข้าสู่ระบบของสัมประสิทธิ์สามารถตีความในแบบที่คุณต้องการ: ถ้ามันเป็นเชิงลบคุณสมบัตินี้จะลดความน่าจะเป็น p

ในขั้นตอนการประมาณค่าของคุณคุณกำลังพยายามประมาณ s สมมติว่าแบบจำลองของคุณถูกต้อง ด้วยการทำให้เป็นปกติคุณจะมีอคติในการประมาณการเหล่านี้ สำหรับการถดถอยริดจ์และตัวแปรอิสระคุณสามารถรับโซลูชันแบบปิด:$\beta$

$\hat{\beta^r} = \frac{\hat{\beta}}{\hat{\beta} + \lambda}$แลมบ์ดา}

อย่างที่คุณเห็นสิ่งนี้สามารถเปลี่ยนสัญลักษณ์ของค่าสัมประสิทธิ์ของคุณได้แม้การตีความจะแยกจากกัน

คำตอบสำหรับคำถามสุดท้ายของคุณคือหมายเลขไม่คงที่ ขนาดของสัมประสิทธิ์ไม่มีทางวัดความสำคัญ เชือกสามารถใช้สำหรับการถดถอยโลจิสติก คุณจำเป็นต้องศึกษาพื้นที่เพิ่มเติมอย่างขยันหมั่นเพียร วิธีการที่คุณต้องศึกษาคือวิธีการที่ "ลงโทษ" หากคุณกำลังมองหาวิธีการตรวจจับที่เปิดเผยตัวทำนาย "เงา" คำที่อาจถูกกำหนดไว้ที่ไหนสักแห่ง แต่ไม่ได้ใช้งานโดยทั่วไปคุณต้องมองหาวิธีที่ตรวจสอบการปฏิสัมพันธ์และโครงสร้างที่ไม่ใช่เชิงเส้นภายในพื้นที่ตัวทำนายและ เชื่อมโยงผลลัพธ์ไปยังพื้นที่นั้น มีการพูดคุยกันเล็กน้อยในประเด็นและวิธีการเหล่านี้ในข้อความ "กลยุทธ์การสร้างแบบจำลองการถดถอย" ของแฟรงก์ฮาร์เรลล์

กลยุทธ์การเลือกย้อนหลังจะล้มเหลวในการส่งมอบผลลัพธ์ที่ถูกต้อง (แม้ว่าจะส่งผลลัพธ์) หากคุณดูกรณีของตัวทำนายแบบสุ่ม 20 รายการสำหรับเหตุการณ์ 100 เหตุการณ์คุณอาจพบว่ามี 2 หรือ 3 ตัวที่จะถูกเลือกด้วยกระบวนการคัดเลือกแบบย้อนหลัง ความชุกของการเลือกย้อนหลังในโลกแห่งความเป็นจริงสะท้อนให้เห็นถึงความคิดทางสถิติไม่ระวัง แต่ค่อนข้างง่ายใน SAS และ SPSS และขาดความซับซ้อนของฐานผู้ใช้ของผลิตภัณฑ์เหล่านั้น ฐานผู้ใช้ R มีเวลาในการเข้าถึงวิธีการดังกล่าวและผู้ใช้ที่โพสต์คำขอในรายการส่งเมลและดังนั้นพวกเขามักจะได้รับคำแนะนำเกี่ยวกับปัญหาที่เกี่ยวข้องกับวิธีการเลือกย้อนหลัง (หรือส่งต่อ)

ภาษาอังกฤษไม่ใช่ภาษาแม่ของฉันดังนั้นฉันอาจไม่เข้าใจว่าปัญหาของคุณคืออะไร แต่ถ้าคุณต้องการค้นหาแบบจำลองที่ดีที่สุดคุณสามารถลองใช้ขั้นตอนย้อนหลัง จากนั้นคุณสามารถดูทั้งค่า residuals_vs_predicted และกราฟ qq-plot เพื่อตรวจสอบว่าแบบจำลองอธิบายปรากฏการณ์ของคุณได้ดีหรือไม่