คุณสมบัติการจัดอันดับในการถดถอยโลจิสติก

ฉันใช้การถดถอยโลจิสติก ฉันมีหกคุณสมบัติฉันต้องการทราบคุณสมบัติที่สำคัญในตัวจําแนกนี้ที่มีผลต่อผลลัพธ์มากกว่าคุณสมบัติอื่น ๆ ฉันใช้ Information Gain แต่ดูเหมือนว่ามันไม่ได้ขึ้นอยู่กับตัวจําแนกที่ใช้แล้ว มีวิธีการจัดอันดับคุณลักษณะตามความสำคัญของพวกเขาตามตัวจําแนกเฉพาะ (เช่น Logistic Regression) หรือไม่ ความช่วยเหลือใด ๆ จะได้รับการชื่นชมอย่างมาก

ฉันคิดว่าคำตอบที่คุณกำลังมองหาอาจเป็นอัลกอริทึมBoruta นี่เป็นวิธีการห่อหุ้มที่วัดความสำคัญของคุณสมบัติในแง่ "ความเกี่ยวข้องทั้งหมด" โดยตรงและนำไปใช้ในแพ็คเกจ Rซึ่งสร้างพล็อตที่ดีเช่น ที่ความสำคัญของคุณสมบัติใด ๆ อยู่บนแกน y และเปรียบเทียบกับ null พล็อตเป็นสีน้ำเงินที่นี่ โพสต์บล็อกนี้อธิบายวิธีการและฉันขอแนะนำให้คุณอ่านมันเป็นบทนำที่ชัดเจนมาก

$R^2$

$R^2$

รายการวิธียอดนิยมเพื่อจัดลำดับความสำคัญของคุณลักษณะในตัวแบบการถดถอยโลจิสติกคือ:

1. $R^2$
2. ความเพียงพอ: สัดส่วนของความน่าจะเป็นบันทึกแบบเต็มซึ่งสามารถอธิบายได้โดยตัวทำนายแต่ละตัว
3. ความสอดคล้อง: แสดงถึงความสามารถของแบบจำลองในการแยกความแตกต่างระหว่างตัวแปรตอบสนองเชิงบวกและเชิงลบ แบบจำลองแยกต่างหากถูกสร้างขึ้นสำหรับตัวทำนายแต่ละตัวและคะแนนความสำคัญคือความน่าจะเป็นที่คาดการณ์ของผลบวกจริงตามตัวทำนายนั้นเพียงอย่างเดียว
4. ค่าข้อมูล: ค่าข้อมูลปริมาณจำนวนข้อมูลเกี่ยวกับผลลัพธ์ที่ได้จากการทำนาย มันขึ้นอยู่กับการวิเคราะห์ของตัวทำนายแต่ละตัวโดยไม่คำนึงถึงตัวทำนายอื่น ๆ

อ้างอิง:

1. ในการวัดความสำคัญสัมพัทธ์ของตัวแปรอธิบายในการถดถอยโลจิสติก
2. ความสำคัญเชิงสัมพันธ์ของ Linear Regressors ใน R
3. ความสำคัญและคุณค่าสัมพัทธ์, Barry Feldman (วิธี PMD)

$$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda {{\left\| {\bf{w}} \right\|}^2}}$$ where the $x_i$ and $y_i$ are the feature vector and target vector for example $i$ from your training set. This function originates from the joint likelihood over all training examples, which explains its probabalistic nature even though we use it for classification. In the equation $\mathbf{w}$ is your weight vector and $b$ your bias. I trust that you know what ${{f_{w,b}}({x_i})}$ is. The last term in the minimization problem is the regularization term, which, among other things, controls the generalization of the model.

Assuming all your $\mathbf{x}$ are normalized, for example by deviding by the magnitude of $\mathbf{x}$, it is quite easy to see which variables are more important: those wich are larger c.f. the others or (on the negative side) smaller c.f. the others. They influence the loss the most.

If you are keen on finding the variables which really are important and in the process don't mind kicking a few out, you can $\ell_1$ regularize your loss function:

$$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda \left| {\bf{w}} \right|}$$

The derivatives or the regularizer are quite straightforward, so I will not mention them here. Using this form of regularization and an appropriate $\lambda$ will enforce the less important elements in $\mathbf{w}$ to become zero and the others not.

I hope this helps. Ask if you have any further questions.