Gini ลดลงและ Gini ไม่บริสุทธิ์ของโหนดลูก

ฉันกำลังทำงานกับตัววัดความสำคัญของคุณลักษณะ Gini สำหรับฟอเรสต์แบบสุ่ม ดังนั้นฉันจำเป็นต้องคำนวณการลดลงของ Gini ในโหนดที่ไม่บริสุทธิ์ นี่คือวิธีที่ฉันทำซึ่งนำไปสู่ความขัดแย้งกับคำนิยามแนะนำว่าฉันต้องผิดที่ไหนสักแห่ง ... :)

สำหรับต้นไม้ไบนารีและได้รับความน่าจะเป็นของลูกซ้ายและขวาฉันสามารถคำนวณความไม่บริสุทธิ์ของ Gini ของโหนด : $n$

i (n) = 1 - p_{l}^{2} - p_{r}^{2}

$i(n) = 1 - p_l^2 - p_r^2$

และ Gini ลดลง:

Δ i (n) = i (n) - p_{l} i (n_{l}) - p_{r} i (n_{r})

$\Delta i(n) = i(n) - p_li(n_l) - p_ri(n_r)$

ดังนั้นสำหรับตัวอย่างนี้มีการสังเกต 110 จุดบนโหนด:

- node (110)
   - left (100)
      - left_left (60)
      - left_right (40)
   - right (10)
      - right_left (5)
      - right_right (5)

ฉันจะคำนวณการลดลงของ Gini สำหรับโหนดดังนี้:

\begin{aligned} i (l e f t) & = 1 - (60 / 100)^{²} - (40 / 100)^{²} & = 0.48 \\ ผม (R ผม ก. ชั่วโมง เสื้อ) & = 1 - (5 / 10)^{²} - (5 / 10)^{²} & = 0.50 \\ ผม (n โอ d อี) & = 1 - (100 / 110)^{²} - (10 / 110)^{²} & = 0.16 \end{aligned}

$\begin{align} i({\rm left}) &= 1 - (60/100)^² - (40/100)^²& &= 0.48 \\ i({\rm right}) &= 1 - (5/10)^² - (5/10)^²& &= 0.50 \\ i({\rm node}) &= 1 - (100/110)^² - (10/110)^²& &= 0.16 \end{align}$

แต่ทำตามคำจำกัดความของ Breiman (หรือคำตอบนี้ในประวัติย่อ: วิธีการวัด / จัดอันดับ "ความสำคัญของตัวแปร" เมื่อใช้ CARTแต่ฉันไม่สามารถเข้าถึงหนังสืออ้างอิงได้) เกณฑ์การปนเปื้อนของผู้สืบทอดควรน้อยกว่าผู้ปกครอง โหนด:

ความสำคัญของ Gini
ทุกครั้งที่มีการแบ่งโหนดบนตัวแปร m เกณฑ์การปนเปื้อนของ gini สำหรับสองโหนดที่สืบทอดจะน้อยกว่าโหนดหลัก การเพิ่มค่า Gini จะลดลงสำหรับตัวแปรแต่ละตัวของต้นไม้ทุกต้นในป่าให้ความสำคัญของตัวแปรที่รวดเร็วซึ่งมักจะสอดคล้องกับการวัดความสำคัญของการเปลี่ยนรูป

เพราะไม่เช่นนั้นจะนำไปสู่การลบ Gini ลดลง ...

Δ i (n o d e) = i (n o d e) - (100 / 110) * i (l e f t) - (10 / 110) * i (r i g h t) = - 0.32

$\Delta i({\rm node}) = i({\rm node}) - (100/110)*i({\rm left}) - (10/110)*i({\rm right}) = -0.32$

ดังนั้นถ้ามีคนบอกว่าฉันผิดฉันจะขอบคุณมากเพราะดูเหมือนว่าฉันพลาดอะไรบางอย่างที่นี่ ...

feature-selection random-forest cart

— Remi Mélisson
แหล่งที่มา

คุณไม่ได้ใช้ตัวแปรคลาสเป้าหมายเลย Gini สิ่งเจือปนเป็นฟังก์ชั่นสิ่งเจือปนอื่น ๆ ทั้งหมด, วัดความไม่บริสุทธิ์ของเอาต์พุตหลังจากแยก สิ่งที่คุณทำคือการวัดสิ่งที่ใช้ขนาดตัวอย่างเท่านั้น

ฉันพยายามหาสูตรสำหรับกรณีของคุณ

สมมติว่าคุณมีตัวจําแนกเป็นไบนารี แสดงว่าด้วยแอตทริบิวต์การทดสอบกับแอตทริบิวต์ class ที่มีค่า $A$ $C$ $c_+, c_-$

ดัชนี gini เริ่มต้นก่อนที่จะแยกให้โดย โดยที่เป็นสัดส่วนของจุดข้อมูลที่มีค่าสำหรับคลาส ตัวแปร.

ผม (A) = 1 - P (A_{+})^{2} - P (A_{-})^{2}

$I(A) = 1 - P(A_+)^2 - P(A_-)^2$

P (A_{+})

$P(A_+)$

c_{+}

$c_+$

ตอนนี้สิ่งเจือปนสำหรับโหนดด้านซ้ายจะเป็น โดยที่เป็นสัดส่วนของจุดข้อมูลจากเซตย่อยด้านซ้ายของซึ่งมีค่าในตัวแปรคลาสเป็นต้น

ผม (A ล.) = 1 - P (A {ล.}_{+})^{2} - P (A {ล.}_{-})^{2}

$I(Al) = 1 - P(Al_+)^2-P(Al_-)^2$

ผม (A R) = 1 - P (A R_{+})^{2} - P (A R_{-})^{2}

$I(Ar) = 1 - P(Ar_+)^2-P(Ar_-)^2$

P (A l_{+})

$P(Al_+)$

A

$A$

c_{+}

$c_+$

ตอนนี้สูตรสุดท้ายสำหรับ GiniGain จะเป็น

G ผม n ผม G a ผม n (A) = ผม (A) - {พี}_{ล. อี ฉ เสื้อ} ผม (A ล.) - {พี}_{R ผม ก. ชั่วโมง เสื้อ} ผม (A R)

$GiniGain(A) = I(A) - p_{left}I(Al) - p_{right}I(Ar)$ โดยที่คือสัดส่วนของอินสแตนซ์ของเซตย่อยทางซ้ายหรือ (วิธีการหลาย ๆ กรณีอยู่ในเซตซ้ายหารด้วยจำนวนรวมของอินสแตนซ์จาก

p_{l e f t}

$p_{left}$

\frac{# | A l |}{# | A l | + # | A r |}

$\frac{\#|Al|}{\#|Al|+\#|Ar|}$

A

$A$

ฉันรู้สึกว่าสัญกรณ์ของฉันจะดีขึ้นฉันจะดูในภายหลังเมื่อฉันจะมีเวลามากขึ้น

ข้อสรุป

การใช้จำนวนจุดข้อมูลเพียงอย่างเดียวไม่เพียงพอความไม่บริสุทธิ์หมายถึงความสามารถในการทำซ้ำการกระจายตัวของคุณสมบัติอื่น การกระจายคุณสมบัติการทดสอบจะสร้างหมายเลขที่คุณใช้ (วิธีการไปทางซ้าย, วิธีการทางขวา) แต่การกระจายของคุณลักษณะคลาสจะไม่ถูกใช้ในสูตรของคุณ

แก้ไขในภายหลัง - พิสูจน์สาเหตุที่มันลดลง

ตอนนี้ฉันสังเกตเห็นว่าฉันพลาดส่วนที่พิสูจน์ได้ว่าทำไมมันจึงเป็นดัชนี gini ในโหนดลูกน้อยกว่าโหนดแม่ ฉันไม่มี proove ที่สมบูรณ์หรือที่ตรวจสอบแล้ว แต่ฉันคิดว่าเป็นหลักฐานที่ถูกต้อง สำหรับสิ่ง interenting อื่น ๆ ที่เกี่ยวข้องกับหัวข้อที่คุณอาจตรวจสอบหมายเหตุทางเทคนิค: บางคุณสมบัติของเกณฑ์การแยก - ลีโอเบรแมน ตอนนี้มันจะเป็นไปตามหลักฐานของฉัน

สมมติว่าเราอยู่ในกรณีไบนารีและค่าทั้งหมดในโหนดสามารถอธิบายได้อย่างสมบูรณ์โดยคู่ที่มีความหมายของกรณีของชั้นแรกและกรณีของชั้นที่สอง เราสามารถระบุได้มากกว่านั้นในโหนดแม่เรามีอินสแตนซ์ $(a,b)$ $a$ $b$ $(a,b)$

เพื่อค้นหาการแยกที่ดีที่สุดเราเรียงลำดับอินสแตนซ์ตามคุณลักษณะการทดสอบและเราลองแยกเป็นไปได้ทั้งหมด เรียงตามคุณสมบัติที่กำหนดเป็นจริงการเปลี่ยนแปลงของอินสแตนซ์ซึ่งในชั้นเรียนเริ่มต้นด้วยอินสแตนซ์ของชั้นแรกหรือชั้นที่สอง เราจะสมมติว่ามันเริ่มต้นด้วยอินสแตนซ์ของคลาสเฟิร์สต์คลาส (หากไม่ใช่กรณีที่เรามีหลักฐานกระจกพร้อมการคำนวณเดียวกัน)

การแบ่งครั้งแรกเพื่อลองอยู่ในอินสแตนซ์ด้านซ้ายและในอินสแตนซ์ด้านขวาวิธีการที่ดัชนี gini สำหรับผู้สมัครที่เป็นไปได้สำหรับโหนดลูกซ้ายและขวาจะถูกเปรียบเทียบกับโหนดผู้ปกครอง? เห็นได้ชัดว่าในด้านซ้ายเรามี0 ทางด้านซ้ายเรามีค่าดัชนีจินีที่เล็กกว่า แล้วโหนดที่ถูกต้องล่ะ? $(1,0)$ $(a-1,b)$ $h(left) = 1 - (1/1)^2 - (0/1)^2 = 0$

ชั่วโมง (พี a R อี n เสื้อ) = 1 - (\frac{a}{a + ข})^{2} - (\frac{ข}{a + ข})^{2}

$h(parent) = 1 - (\frac{a}{a+b})^2 - (\frac{b}{a+b})^2$

ชั่วโมง (R ผม ก. ชั่วโมง เสื้อ) = 1 - (\frac{a - 1}{(a - 1) + ข})^{2} - (\frac{ข}{(a - 1) + ข})^{2}

$h(right) = 1 - (\frac{a-1}{(a-1)+b})^2 - (\frac{b}{(a-1)+b})^2$

พิจารณาว่ามากกว่าหรือเท่ากับ (เนื่องจากเราจะแยกอินสแตนซ์ของคลาสที่หนึ่งในโหนดด้านซ้ายได้อย่างไร) และหลังจากการทำให้เข้าใจง่ายมันง่ายที่จะเห็นว่าดัชนี gini สำหรับโหนดด้านขวามีค่าน้อยกว่า โหนดหลัก $a$ $0$

ตอนนี้ขั้นตอนสุดท้ายของการพิสูจน์คือโหนที่ในขณะที่การพิจารณาจุดแยกที่เป็นไปได้ทั้งหมดที่กำหนดโดยข้อมูลที่เรามีเราเก็บหนึ่งซึ่งมีดัชนีจินีรวมที่เล็กที่สุดซึ่งหมายความว่าเราเลือกที่เหมาะสมที่สุดจะน้อยกว่าหรือเท่ากับ เรื่องเล็กน้อยที่ฉันรักที่มีขนาดเล็ก ซึ่งสรุปได้ว่าในท้ายที่สุดแล้วดัชนีจินีจะลดลง

ในฐานะข้อสรุปสุดท้ายเราต้องทราบแม้ว่าการแบ่งต่าง ๆ สามารถให้ค่าที่ใหญ่กว่าโหนดหลักสิ่งที่เราเลือกจะมีขนาดเล็กที่สุดในหมู่พวกเขาและยังน้อยกว่าค่าดัชนีผู้ปกครอง gini

หวังว่ามันจะช่วย

— rapaio
แหล่งที่มา

ขอบคุณมากคุณปลดล็อคสมองของฉัน ... ที่จริงแล้วตั้งแต่ฉันจัดการกับต้นไม้การถดถอยการใช้ตัวแปรคลาสเป้าหมายปรากฏชัดเจนน้อยกว่าสำหรับงานการจัดหมวดหมู่ที่บริสุทธิ์ แต่ตอนนี้มันสมเหตุสมผลแล้ว

— Remi Mélisson

ฉันปรับปรุงคำตอบเพื่อให้มีชิ้นส่วนที่ขาดหายไป

— rapaio