ความสัมพันธ์ระหว่างคะแนน GINI และอัตราส่วนความน่าจะเป็นคืออะไร

ฉันกำลังศึกษาต้นไม้จำแนกและต้นไม้ถดถอยและหนึ่งในมาตรการสำหรับสถานที่แยกคือคะแนน GINI

ตอนนี้ฉันถูกใช้เพื่อกำหนดตำแหน่งที่แยกที่ดีที่สุดเมื่อบันทึกอัตราส่วนความน่าจะเป็นของข้อมูลเดียวกันระหว่างการแจกแจงสองค่าเป็นศูนย์หมายความว่าโอกาสในการเป็นสมาชิกมีแนวโน้มเท่ากัน

สัญชาตญาณของฉันบอกว่าต้องมีการเชื่อมต่อบางอย่างที่ GINI ต้องมีรากฐานที่ดีในทฤษฎีทางคณิตศาสตร์ของข้อมูล (Shannon) แต่ฉันไม่เข้าใจ GINI ดีพอที่จะได้รับความสัมพันธ์ของตัวเอง

คำถาม:

"หลักการแรก" ที่ได้มาจากคะแนนความไม่บริสุทธิ์ของ GINI เป็นตัวชี้วัดสำหรับการแยกคืออะไร?
คะแนน GINI เกี่ยวข้องกับบันทึกของอัตราส่วนความน่าจะเป็นหรือปัจจัยพื้นฐานด้านข้อมูลทฤษฎีอื่น ๆ อย่างไร (Shannon Entropy, pdf , และเอนโทรปีของการข้ามเป็นส่วนหนึ่งของคะแนนเหล่านั้น)

อ้างอิง:

เอนโทรปีของแชนนอนอธิบายว่า:

H (x) = Σ_{i} P (x_{i}) \log_{b} P (x_{i})

$H \left(x \right) = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

การขยายไปยังกรณีหลายตัวแปรที่เราได้รับ:

H (X, Y) = Σ_{x} Σ_{y} P (x, y) \log_{b} P (x, y)

$H \left(X,Y \right)= \Sigma_{x}\Sigma_{y} P\left(x,y \right)\log_{b} P\left(x,y \right)$

Entropy แบบมีเงื่อนไขถูกกำหนดไว้ดังนี้:

\begin{aligned} H (X | Y) & = Σ_{y} p (x, y) \log_{b} \frac{p (x)}{p (x, y)} \\ or, \\ H (X | Y) & = H (X, Y) - H (Y) \end{aligned}

$\begin{align} H \left(X|Y \right) &= \Sigma_{y} p\left(x,y \right)\log_{b} \frac {p\left(x \right)} {p\left(x,y \right)} \newline &\text{or,} \newline H \left(X|Y \right) &= H \left(X,Y \right) - H \left(Y \right) \end{align}$

บันทึกของอัตราส่วนของโอกาสเกิดจะใช้สำหรับการตรวจสอบการเปลี่ยนแปลงอย่างกระทันหันและได้มาใช้เหล่านี้ (ฉันไม่ได้มาหน้าฉัน)

สิ่งเจือปน GINI:

รูปแบบทั่วไปของการปนเปื้อน GINI คือ $I = \sum_{i=1}^m f_{i} \cdot \left( 1-f_{i}\right)$

ความคิด:

การแยกจะทำในการวัดความบริสุทธิ์ "ความบริสุทธิ์" สูงมีแนวโน้มเช่นเดียวกับเอนโทรปีที่ต่ำ วิธีนี้มีความเกี่ยวข้องกับการลดเอนโทรปี
มีความเป็นไปได้ว่าการกระจายแบบพื้นฐานที่สันนิษฐานนั้นเป็นแบบเดียวกัน พวกเขามีแนวโน้มที่จะมีส่วนผสมของการแจกแจง
ฉันสงสัยว่าแผนภูมิที่มาของ Shewhart สามารถใช้ที่นี่ได้หรือไม่?
GINI Impurity ดูเหมือนจะเป็นส่วนสำคัญของฟังก์ชั่นความหนาแน่นของความน่าจะเป็นสำหรับการแจกแจงทวินามด้วยการทดลอง 2 ครั้งและความสำเร็จหนึ่งครั้ง $P(x=k)= \begin{pmatrix} 2\\ 1\end{pmatrix} p \left( 1-p \right)$

(เพิ่มเติม)

แบบฟอร์มยังสอดคล้องกับการแจกแจงแบบเบต้า - ทวินามซึ่งเป็นรูปแบบคอนจูเกตก่อนการแจกแจงแบบไฮเพอร์เมตริกซ์ การทดสอบ Hypergeometric มักใช้เพื่อกำหนดว่าตัวอย่างใดที่มีค่าสูงหรือต่ำกว่าค่าที่แสดงในตัวอย่าง นอกจากนี้ยังมีความสัมพันธ์กับการทดสอบที่แน่นอนของฟิชเชอร์ไม่ว่าจะเป็นอะไรก็ตาม (โปรดสังเกตด้วยตนเองไปเรียนรู้เพิ่มเติมเกี่ยวกับเรื่องนี้)

แก้ไข: ฉันสงสัยว่ามีรูปแบบของ GINI ที่ทำงานได้ดีกับตรรกะดิจิทัลและ / หรือ rb-trees ฉันหวังว่าจะสำรวจสิ่งนี้ในโครงงานระดับฤดูใบไม้ร่วงนี้

— EngrStudent - Reinstate Monica
แหล่งที่มา

เป็นปัญหาหรือไม่ถ้าฉันตอบคำถามของฉันเอง?

— EngrStudent - Reinstate Monica

ไม่เลย. หากคุณคิดในสิ่งที่คุณคิดว่าเป็นคำตอบที่สมเหตุสมผล

— gung - Reinstate Monica

@EngrStudent คำถามที่ดี แต่ลิงค์แรกที่คุณให้ไว้ในส่วนการอ้างอิงเกี่ยวข้องกับค่าสัมประสิทธิ์ Gini ซึ่งไม่มีส่วนเกี่ยวข้องกับการวัด Gini ที่ใช้ในรถเข็น

— Antoine

เกี่ยวกับดัชนี Gini ฉันเพิ่งโพสต์การตีความง่าย ๆ : stats.stackexchange.com/questions/308885/…

— Picaud Vincent

คำตอบ:

ฉันจะใช้สัญลักษณ์เดียวกับที่ฉันใช้ที่นี่: คณิตศาสตร์ที่อยู่เบื้องหลังการจำแนกและต้นไม้การถดถอย

Gini Gain และ Information Gain ( ) เป็นเกณฑ์การแยกที่ไม่บริสุทธิ์ ความแตกต่างเพียงอย่างเดียวในฟังก์ชั่นที่ไม่บริสุทธิ์ : $IG$ $I$

$\textit{Gini}: \mathit{Gini}(E) = 1 - \sum_{j=1}^{c}p_j^2$
$\textit{Entropy}: H(E) = -\sum_{j=1}^{c}p_j\log p_j$

อันที่จริงพวกเขาเป็นค่าเฉพาะของการวัดเอนโทรปีทั่วไป (Tsallis 'Entropy) parametrized ใน : $\beta$

H_{β} (E) = \frac{1}{β - 1} (1 - \sum_{j = 1}^{c} p_{j}^{β})

$H_\beta (E) = \frac{1}{\beta-1} \left( 1 - \sum_{j=1}^{c}p_j^\beta \right)$

$\textit{Gini}$ จะได้รับกับและกับ1 $\beta = 2$ $H$ $\beta \rightarrow 1$

บันทึกความน่าจะเป็นที่เรียกว่า statistic เป็นการแปลงเชิงเส้นของ Information Gain: $G$

G -statistic = 2 \cdot | E | \cdot I G

$G\text{-statistic} = 2 \cdot |E| \cdot IG$

ขึ้นอยู่กับคนในชุมชน (สถิติ / การขุดข้อมูล) ต้องการตัวชี้วัดหนึ่งตัวหรืออีกคำถามหนึ่ง (คำถามที่เกี่ยวข้องที่นี่ ) พวกเขาอาจเทียบเท่าในกระบวนการตัดสินใจต้นไม้การตัดสินใจ โอกาสในการบันทึกอาจให้คะแนนที่สูงขึ้นไปยังพาร์ติชันที่สมดุลเมื่อมีหลายคลาส แต่ [หมายเหตุทางเทคนิค: คุณสมบัติบางอย่างของเกณฑ์การแยก Breiman 1996]

Gini Gain นั้นดีกว่าเพราะมันไม่มีลอการิทึมและคุณสามารถหาแบบฟอร์มที่ปิดสำหรับค่าและความแปรปรวนที่คาดหวังภายใต้สมมติฐานการแบ่งแบบสุ่ม [Alin Dobra, Johannes Gehrke: Bias Correction ในการจัดหมวดหมู่ต้นไม้ ICML 2001: 90-97] ไม่ใช่เรื่องง่ายสำหรับการได้รับข้อมูล (ถ้าคุณสนใจดูที่นี่ )

— ซีมอน
แหล่งที่มา

คำถามที่ดี. น่าเสียดายที่ฉันยังไม่มีชื่อเสียงเพียงพอที่จะโหวตหรือแสดงความคิดเห็นดังนั้นโปรดตอบกลับแทน!

ฉันไม่คุ้นเคยกับการทดสอบอัตราส่วนมากนัก แต่มันทำให้ฉันรู้สึกว่ามันเป็นพิธีการที่ใช้ในการเปรียบเทียบความน่าจะเป็นของข้อมูลที่เกิดจากการแจกแจงที่แตกต่างกันสอง (หรือมากกว่า) ในขณะที่สัมประสิทธิ์ Gini เป็นสถิติสรุปของการแจกแจงเดี่ยว

วิธีที่มีประโยชน์ในการคิดค่าสัมประสิทธิ์ Gini (IMO) คือพื้นที่ใต้เส้นโค้ง Lorenz (เกี่ยวข้องกับ cdf)

อาจเป็นไปได้ที่จะทำการเปรียบเทียบเอนโทรปีของแชนนอนกับ Gini โดยใช้คำจำกัดความที่กำหนดใน OP สำหรับเอนโทรปี:

$H = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

และคำจำกัดความของ Gini:

$G = 1 - \frac{1}{\mu}\Sigma_i P(x_i)(S_{i-1} + S_i)$ โดยที่

$S_i = \Sigma_{j=1}^i P(x_i)x_i$ (เช่นค่าเฉลี่ยสะสมสูงถึง ) $x_i$

มันดูไม่ง่ายเลย!

— กาเบรียล
แหล่งที่มา

อัตราส่วนความน่าจะเป็นของบันทึกจะดำเนินการกับข้อมูลเดียวกัน การแจกแจงอย่างใดอย่างหนึ่งสามารถเป็นรูปแบบทั่วไปแบบเดียวกันกับแบบอื่น ๆ แต่พารามิเตอร์นั้นได้รับการปรับให้เหมาะกับข้อมูลเมื่อเกณฑ์อื่น ๆ เป็นจริง ตัวอย่างเช่นคุณอาจมีการแจกจ่ายหนึ่งรายการซึ่งพารามิเตอร์อธิบายการเปลี่ยนแปลงกระบวนการผลิตที่มีสุขภาพดี (ไม่จำเป็นต้องเป็นเกาส์เซียน) และอีกรายการหนึ่งที่เหมาะสมกับมูลค่ากระบวนการผลิตในปัจจุบันและดำเนินการทั้งสองในค่ากระบวนการผลิตปัจจุบันเปรียบเทียบอัตราส่วน ความเป็นไปได้ของการทัศนศึกษา มันสามารถเปรียบเทียบได้กับความเป็นจริง

— EngrStudent - Reinstate Monica