จะลบตัวแปร collinear ใน Python อย่างเป็นระบบได้อย่างไร [ปิด]

ป่านนี้ฉันได้ลบตัวแปร collinear เป็นส่วนหนึ่งของกระบวนการเตรียมข้อมูลโดยดูที่ตารางสหสัมพันธ์และกำจัดตัวแปรที่อยู่เหนือขีด จำกัด ที่แน่นอน มีวิธีที่ยอมรับมากขึ้นในการทำเช่นนี้? นอกจากนี้ฉันทราบว่าการดูความสัมพันธ์ระหว่างตัวแปร 2 ตัวต่อครั้งนั้นไม่เหมาะการวัดเช่น VIF คำนึงถึงความสัมพันธ์ที่อาจเกิดขึ้นกับตัวแปรหลายตัว เราจะเลือกชุดค่าผสมของตัวแปรที่ไม่แสดงความหลากหลายทางชีวภาพได้อย่างไร

ฉันมีข้อมูลของฉันภายในกรอบข้อมูลแพนด้าและฉันใช้โมเดลของ sklearn

ขอบคุณ SpanishBoy - มันเป็นโค้ดที่ดี @ilanman: นี่ตรวจสอบค่า VIF แล้วปล่อยตัวแปรที่มี VIF มากกว่า 5 ด้วย "ประสิทธิภาพ" ฉันคิดว่าเขาหมายถึงเวลาทำงาน รหัสด้านบนใช้เวลาประมาณ 3 ชั่วโมงในการรันตัวแปร 300 ตัวและ 5,000 แถว

โดยวิธีการที่ฉันได้แก้ไขมันเพื่อลบลูปพิเศษบางอย่าง นอกจากนี้ฉันได้ทำให้มันสะอาดขึ้นเล็กน้อยและคืนค่าดาต้าเฟรมด้วยตัวแปรที่ลดลง รุ่นนี้ลดเวลาทำงานของฉันลงครึ่งหนึ่ง! รหัสของฉันอยู่ด้านล่าง - หวังว่าจะช่วยได้

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=5.0):
    variables = list(range(X.shape[1]))
    dropped = True
    while dropped:
        dropped = False
        vif = [variance_inflation_factor(X.iloc[:, variables].values, ix)
               for ix in range(X.iloc[:, variables].shape[1])]

        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X.iloc[:, variables].columns[maxloc] +
                  '\' at index: ' + str(maxloc))
            del variables[maxloc]
            dropped = True

    print('Remaining variables:')
    print(X.columns[variables])
    return X.iloc[:, variables]

คุณสามารถลองใช้รหัสด้านล่าง:

from statsmodels.stats.outliers_influence import variance_inflation_factor

def calculate_vif_(X):

    '''X - pandas dataframe'''
    thresh = 5.0
    variables = range(X.shape[1])

    for i in np.arange(0, len(variables)):
        vif = [variance_inflation_factor(X[variables].values, ix) for ix in range(X[variables].shape[1])]
        print(vif)
        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X[variables].columns[maxloc] + '\' at index: ' + str(maxloc))
            del variables[maxloc]

    print('Remaining variables:')
    print(X.columns[variables])
    return X

มันใช้งานได้ แต่ฉันไม่ชอบประสิทธิภาพของวิธีการนั้น

ฉันลองคำตอบของ SpanishBoy และพบข้อผิดพลาด serval เมื่อใช้งานสำหรับ data-frame นี่คือทางออกที่ดีบั๊ก

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=100):
cols = X.columns
variables = np.arange(X.shape[1])
dropped=True
while dropped:
    dropped=False
    c = X[cols[variables]].values
    vif = [variance_inflation_factor(c, ix) for ix in np.arange(c.shape[1])]

    maxloc = vif.index(max(vif))
    if max(vif) > thresh:
        print('dropping \'' + X[cols[variables]].columns[maxloc] + '\' at index: ' + str(maxloc))
        variables = np.delete(variables, maxloc)
        dropped=True

print('Remaining variables:')
print(X.columns[variables])
return X[cols[variables]]

ฉันยังไม่มีปัญหาเกี่ยวกับประสิทธิภาพ แต่ไม่ได้ทดสอบอย่างกว้างขวาง