ความสำคัญของตัวแปรเชิงสัมพันธ์สำหรับการส่งเสริม

ฉันกำลังมองหาคำอธิบายว่าวิธีคำนวณความสำคัญของตัวแปรแบบสัมพันธ์ในต้นไม้ที่เพิ่มขึ้นแบบไล่ระดับสีซึ่งไม่ธรรมดา / ง่ายเกินไป:

มาตรการจะขึ้นอยู่กับจำนวนครั้งที่ตัวแปรถูกเลือกสำหรับการแยกถ่วงน้ำหนักด้วยการปรับปรุงยกกำลังสองกับรูปแบบเป็นผลของแต่ละแยกและเฉลี่ยมากกว่าต้นไม้ทั้งหมด [ Elith และคณะ 2008, คู่มือการทำงานเพื่อเพิ่มความแข็งแกร่งให้กับต้นไม้ถดถอย ]

และนั่นก็เป็นนามธรรมน้อยกว่า:

$\hat{I_{j}^2}(T)=\sum\limits_{t=1}^{J-1} \hat{i_{t}^2} 1(v_{t}=j)$

โดยที่การรวมอยู่เหนือโหนดที่ไม่ใช่เทอร์มินัลของโหนดทรี ,คือตัวแปรการแยกที่เชื่อมโยงกับโหนดและเป็นการปรับปรุงเชิงประจักษ์ในข้อผิดพลาดกำลังสอง เป็นผลมาจากการแยกหมายถึงโดยที่คือการตอบสนองของลูกสาวด้านซ้ายและขวาตามลำดับและเป็นจำนวนเงินที่สอดคล้องกันของน้ำหนัก J T v t t ^ i 2 t i 2 ( R l , R r ) = w l w $t$$J$$T$$v_{t}$$t$$\hat{i_{t}^2}$$i^2(R_{l},R_{r})=\frac{w_{l}w_{r}}{w_{l}+w_{r}}(\bar{y_{l}}-\bar{y_{r}})^2$$\bar{y_{l}}, \bar{y_{r}}$$w_{l}, w_{r}$[ Friedman 2001 การประมาณฟังก์ชั่นโลภ: เครื่องเร่งการไล่ระดับสี ]

ในที่สุดฉันไม่พบองค์ประกอบของการเรียนรู้ทางสถิติ (Hastie et al. 2008)เพื่อเป็นประโยชน์อย่างมากอ่านที่นี่เป็นส่วนที่เกี่ยวข้อง (10.13.1 หน้า 367) รสนิยมคล้ายกันมากกับการอ้างอิงที่สองข้างต้น (ซึ่งอาจอธิบายได้ จากข้อเท็จจริงที่ว่าฟรีดแมนเป็นผู้ร่วมเขียนหนังสือเล่มนี้)

PS: ฉันรู้ว่ามาตรการความสำคัญของตัวแปรสัมพัทธ์ได้รับจากsummary.gbmในแพ็คเกจ gbm R ฉันพยายามสำรวจซอร์สโค้ด แต่ฉันไม่สามารถหาตำแหน่งที่จะทำการคำนวณจริงได้

จุดบราวนี่: ฉันสงสัยว่าจะได้รับแปลงเหล่านี้ในอาร์

ฉันจะใช้รหัสsklearnเนื่องจากโดยทั่วไปแล้วจะสะอาดกว่าRโค้ดมาก

นี่คือการใช้งานคุณสมบัติ feature_importances ของGradientBoostingClassifier (ฉันลบบางบรรทัดของรหัสที่ได้รับในทางของสิ่งที่แนวคิด)

def feature_importances_(self):
    total_sum = np.zeros((self.n_features, ), dtype=np.float64)
    for stage in self.estimators_:
        stage_sum = sum(tree.feature_importances_
                        for tree in stage) / len(stage)
        total_sum += stage_sum

    importances = total_sum / len(self.estimators_)
    return importances

มันค่อนข้างเข้าใจง่าย self.estimators_เป็นอาร์เรย์ที่มีต้นไม้แต่ละต้นในบูสเตอร์ดังนั้นสำหรับลูปจะวนซ้ำไปตามต้นไม้แต่ละต้น มีหนึ่ง hickup ด้วย

stage_sum = sum(tree.feature_importances_
                for tree in stage) / len(stage)

นี่คือการดูแลกรณีตอบกลับที่ไม่ใช่ไบนารี ที่นี่เราพอดีกับต้นไม้หลายต้นในแต่ละขั้นตอนด้วยวิธีเดียวกับทั้งหมด tree.feature_importances_แนวคิดที่ง่ายที่สุดที่จะมุ่งเน้นไปที่กรณีไบนารีที่ผลรวมมีหนึ่งตัวตั้งและนี้เป็นเพียง ดังนั้นในกรณีไบนารีเราสามารถเขียนทั้งหมดนี้เป็น

def feature_importances_(self):
    total_sum = np.zeros((self.n_features, ), dtype=np.float64)
    for tree in self.estimators_:
        total_sum += tree.feature_importances_ 
    importances = total_sum / len(self.estimators_)
    return importances

ดังนั้นโดยสรุปแล้วคุณลักษณะสำคัญของต้นไม้แต่ละต้นแล้วหารด้วยจำนวนต้นไม้ทั้งหมด มันยังคงอยู่เพื่อดูวิธีการคำนวณความสำคัญของคุณลักษณะสำหรับต้นไม้ต้นเดียว

การคำนวณความสำคัญของต้นไม้นั้นถูกนำไปใช้ในระดับ cythonแต่ก็ยังสามารถติดตามได้ นี่คือรหัสเวอร์ชันที่ล้างแล้ว

cpdef compute_feature_importances(self, normalize=True):
    """Computes the importance of each feature (aka variable)."""

    while node != end_node:
        if node.left_child != _TREE_LEAF:
            # ... and node.right_child != _TREE_LEAF:
            left = &nodes[node.left_child]
            right = &nodes[node.right_child]

            importance_data[node.feature] += (
                node.weighted_n_node_samples * node.impurity -
                left.weighted_n_node_samples * left.impurity -
                right.weighted_n_node_samples * right.impurity)
        node += 1

    importances /= nodes[0].weighted_n_node_samples

    return importances

มันค่อนข้างเรียบง่าย ทำซ้ำผ่านโหนดของต้นไม้ ตราบใดที่คุณไม่ได้อยู่ที่โหนดใบให้คำนวณการลดน้ำหนักในความบริสุทธิ์ของโหนดจากการแยกที่โหนดนี้และให้คุณลักษณะกับคุณลักษณะที่แยกออก

importance_data[node.feature] += (
    node.weighted_n_node_samples * node.impurity -
    left.weighted_n_node_samples * left.impurity -
    right.weighted_n_node_samples * right.impurity)

จากนั้นเมื่อเสร็จแล้วให้หารทั้งหมดด้วยน้ำหนักรวมของข้อมูล (ในกรณีส่วนใหญ่จำนวนการสังเกต)

importances /= nodes[0].weighted_n_node_samples

เป็นความทรงจำที่คุ้มค่าที่จะต้องบอกว่าสิ่งเจือปนนั้นเป็นชื่อสามัญสำหรับตัวชี้วัดที่จะใช้เมื่อพิจารณาว่าจะแยกสิ่งใดเมื่อทำการปลูกต้นไม้ ในความสว่างนั้นเราเพียงสรุปว่าการแยกแต่ละคุณลักษณะช่วยให้เราสามารถลดสิ่งเจือปนในการแยกทั้งหมดในต้นไม้

ในบริบทของการส่งเสริมการไล่ระดับสีต้นไม้เหล่านี้มักจะเป็นต้นไม้ถดถอย (ลดข้อผิดพลาดกำลังสองอย่างตะกละตะกลาม) ให้พอดีกับการไล่ระดับของฟังก์ชันการสูญเสีย