วิธีการวัดการกระจายตัวในข้อมูลความถี่ของคำ?

ฉันจะหาปริมาณการกระจายตัวในเวกเตอร์ที่มีการนับคำได้อย่างไร ฉันกำลังมองหาสถิติที่จะสูงสำหรับเอกสาร A เนื่องจากมีคำต่าง ๆ มากมายที่เกิดขึ้นไม่บ่อยนักและต่ำสำหรับเอกสาร B เพราะมันมีหนึ่งคำ (หรือคำไม่กี่คำ) ที่เกิดขึ้นบ่อยครั้ง

โดยทั่วไปแล้วจะวัดการกระจายตัวหรือ "สเปรด" ในข้อมูลระบุได้อย่างไร

มีวิธีมาตรฐานในการทำสิ่งนี้ในชุมชนการวิเคราะห์ข้อความหรือไม่?

สำหรับความน่าจะเป็น (สัดส่วนหรือหุ้น) ข้อสรุป 1, ครอบครัวΣ พีฉัน [ LN ( 1 / P ฉัน ) ] ขห่อหุ้มข้อเสนอหลายมาตรการ (ดัชนีสัมประสิทธิ์อะไรก็ตาม) ในดินแดนแห่งนี้ ดังนั้น$p_i$$\sum p_i^a [\ln (1/p_i)]^b$

1. ส่งคืนจำนวนคำที่แตกต่างซึ่งสังเกตได้ซึ่งเป็นวิธีที่ง่ายที่สุดในการคิดถึงโดยไม่คำนึงถึงความแตกต่างในความน่าจะเป็นที่ละเว้น สิ่งนี้มีประโยชน์เสมอหากเป็นบริบทเท่านั้น ในสาขาอื่น ๆ นี่อาจเป็นจำนวน บริษัท ในเซกเตอร์จำนวนสปีชีส์ที่สังเกตได้ที่ไซต์และอื่น ๆ โดยทั่วไปขอเรียกนี้จำนวนของสินค้าที่แตกต่างกัน$a = 0, b = 0$

2. ส่งกลับ Gini-Turing-Simpson-Herfindahl-Hirschman-Greenberg ผลบวกของความน่าจะเป็นยกกำลังสองหรือที่รู้จักกันว่าอัตราการทำซ้ำหรือความบริสุทธิ์หรือความน่าจะเป็นที่ตรงกันหรือ homozygosity มันมักจะถูกรายงานว่าเป็นส่วนประกอบของมันหรือซึ่งกันและกันบางครั้งก็อยู่ภายใต้ชื่ออื่น ๆ เช่นมลทินหรือ heterozygosity ในบริบทนี้มันเป็นความน่าจะเป็นที่คำสองคำที่สุ่มเลือกเหมือนกันและเติมเต็ม 1 - ∑ p 2 iความน่าจะเป็นที่คำสองคำนั้นแตกต่างกัน ส่วนกลับ 1 / ∑ p 2 $a = 2, b = 0$$1 - \sum p_i^2$$1 / \sum p_i^2$ มีการตีความตามจำนวนที่เท่ากันของหมวดหมู่ทั่วไปที่เท่ากัน บางครั้งเรียกว่าตัวเลขที่เทียบเท่ากัน เช่นการตีความสามารถเห็นได้โดยสังเกตว่าประเภททั่วไปอย่างเท่าเทียมกัน (แต่ละน่าจะทำให้1 / k ) บ่งบอกถึงΣ พี2 ฉัน = k ( 1 / k ) 2 = 1 / kเพื่อให้ซึ่งกันและกันของความน่าจะเป็นเพียงk การเลือกชื่อมีแนวโน้มที่จะหักล้างข้อมูลที่คุณทำงานอยู่ แต่ละฟิลด์ให้เกียรติแก่บรรพบุรุษของตัวเอง แต่ฉันขอชมเชยความน่าจะเป็นของการแข่งขันที่เรียบง่ายและเกือบจะนิยามตนเอง$k$$1/k$$\sum p_i^2 = k (1/k)^2 = 1/k$$k$

3. ส่งคืนเอนโทรปีของแชนนอนมักเขียนว่า Hและส่งสัญญาณโดยตรงหรือโดยอ้อมในคำตอบก่อนหน้า เอนโทรปีชื่อติดอยู่ที่นี่ด้วยเหตุผลที่ยอดเยี่ยมและไม่ดีนักรวมถึงความอิจฉาทางฟิสิกส์เป็นครั้งคราว โปรดทราบว่า exp ( H )เป็นตัวเลขที่เทียบเท่ากับการวัดนี้เท่าที่เห็นจากการสังเกตในรูปแบบที่คล้ายคลึงกันที่ kหมวดหมู่ทั่วไปเท่า ๆ กันให้ผลผลิต H = ∑ k ( 1 / k ) ln [ 1 / ( 1 / k $a = 1, b = 1$$H$$\exp(H)$$k$และด้วยเหตุนี้ประสบการณ์( H ) = ประสบการณ์( LN k )ช่วยให้คุณสำรองk เอนโทรปีมีคุณสมบัติที่ยอดเยี่ยมมากมาย "ทฤษฎีสารสนเทศ" เป็นคำค้นหาที่ดี$H = \sum^k (1/k) \ln [1/(1/k)] = \ln k$$\exp(H) = \exp(\ln k)$$k$

สูตรที่พบใน IJ ดี พ.ศ. 2496 ความถี่ของชนิดและการประมาณค่าพารามิเตอร์ของประชากร Biometrika 40: 237-264 www.jstor.org/stable/2333344

ฐานลอการิทึมอื่น ๆ (เช่น 10 หรือ 2) มีความเป็นไปได้ที่เท่ากันตามรสนิยมหรือแบบอย่างหรือความสะดวกสบายโดยมีรูปแบบที่เรียบง่ายเพียงนัยสำหรับบางสูตรด้านบน

การค้นพบที่เป็นอิสระใหม่ (หรือการรวมซ้ำ) ของมาตรการที่สองนั้นมีความหลากหลายในหลายสาขาวิชาและชื่อข้างต้นอยู่ไกลจากรายการที่สมบูรณ์

การใช้มาตรการร่วมกันในครอบครัวไม่ใช่แค่การดึงดูดทางคณิตศาสตร์ มันขีดเส้นใต้ว่ามีทางเลือกของการวัดขึ้นอยู่กับน้ำหนักสัมพัทธ์ที่นำไปใช้กับสิ่งของที่หายากและทั่วไป วรรณกรรมในบางสาขาอ่อนแอลงโดยเอกสารและแม้แต่หนังสือที่อ้างว่าผอมบางที่ผู้เขียนชื่นชอบเป็นมาตรการที่ดีที่สุดที่ทุกคนควรใช้

การคำนวณของฉันระบุว่าตัวอย่าง A และ B ไม่แตกต่างกันยกเว้นในการวัดครั้งแรก:

----------------------------------------------------------------------
          |  Shannon H      exp(H)     Simpson   1/Simpson      #items
----------+-----------------------------------------------------------
        A |      0.656       1.927       0.643       1.556          14
        B |      0.684       1.981       0.630       1.588           9 
----------------------------------------------------------------------

(บางคนอาจสนใจที่จะทราบว่า Simpson ที่ตั้งชื่อที่นี่ (Edward Hugh Simpson, 1922-) เป็นเช่นเดียวกับที่ได้รับเกียรติจากบุคคลที่ผิดธรรมดาของ Simpson เขาทำงานได้ดี แต่เขาไม่ใช่คนแรกที่ค้นพบสิ่งที่ เขาชื่อซึ่งก็คือความขัดแย้งของ Stigler ซึ่งในทางกลับกัน .... )

ฉันไม่รู้ว่ามีวิธีการทำแบบนี้หรือเปล่า แต่มันก็ดูคล้ายกับคำถามความไม่เท่าเทียมทางเศรษฐศาสตร์ หากคุณปฏิบัติกับแต่ละคำเป็นรายบุคคลและจำนวนของพวกเขาเปรียบได้กับรายได้คุณสนใจที่จะเปรียบเทียบว่ากระเป๋าคำอยู่ระหว่างสุดขั้วของคำทุกคำที่มีจำนวนเท่ากัน (ความเท่าเทียมกันสมบูรณ์) หรือหนึ่งคำที่มีค่าทั้งหมด และคนอื่น ๆ เป็นศูนย์ ภาวะแทรกซ้อนที่ "เลขศูนย์" ไม่ปรากฏคุณไม่สามารถมีจำนวนน้อยกว่า 1 ในถุงของคำตามที่กำหนด ...

ค่าสัมประสิทธิ์ Gini ของ A คือ 0.18 และของ B คือ 0.43 ซึ่งแสดงว่า A นั้น "มีความเท่าเทียม" มากกว่า B

library(ineq)

A <- c(3, 2, 2, rep(1, 11))
B <- c(9, 2, rep(1, 7))
Gini(A)
Gini(B)

ฉันสนใจคำตอบอื่น ๆ ด้วย เห็นได้ชัดว่าความแปรปรวนแบบเก่าในการนับจะเป็นจุดเริ่มต้นเช่นกัน แต่คุณต้องปรับขนาดเพื่อให้มันเทียบเคียงกับกระเป๋าที่มีขนาดแตกต่างกันและด้วยเหตุนี้ค่าเฉลี่ยที่แตกต่างกันนับต่อคำ

นี้บทความมีการทบทวนมาตรการการกระจายมาตรฐานที่ใช้โดยนักภาษาศาสตร์ พวกเขาถูกระบุว่าเป็นมาตรการกระจายคำเดียว (พวกเขาวัดการกระจายของคำข้ามส่วนหน้า ฯลฯ ) แต่สามารถใช้เป็นมาตรการกระจายความถี่คำ สถิติทางสถิติดูเหมือนจะเป็น:

1. สูงสุดนาที
2. ส่วนเบี่ยงเบนมาตรฐาน
3. $CV$
4. $\chi^2$

คลาสสิกคือ:

1. $D = 1-\frac{CV}{\sqrt{n-1}}$
2. $S = N\frac{(\sum_{i=1}^{n}\sqrt{n_i})^2}{n}$
3. $D_2 = (\log_2N - \frac{\sum_{i=1}^n{n_i \log_2 n_i}}{N})/{\log_2(n)}$
4. $D_3 = \frac{1-\chi^2}{4N}$

$N$$n$$n_i$

ข้อความยังกล่าวถึงการกระจายตัวอีกสองมาตรการ แต่ขึ้นอยู่กับการวางตำแหน่งของคำดังนั้นจึงไม่เหมาะกับรูปแบบของคำ

• หมายเหตุ : ฉันเปลี่ยนสัญกรณ์ดั้งเดิมจากบทความเพื่อให้สูตรสอดคล้องกับสัญกรณ์มาตรฐานมากขึ้น

ครั้งแรกที่ฉันจะทำคือการคำนวณเอนโทรปีของแชนนอน คุณสามารถใช้แพคเกจ R infotheo, entropy(X, method="emp")ฟังก์ชั่น ถ้าคุณnatstobits(H)ล้อมรอบมันคุณจะได้เอนโทรปีของแหล่งนี้เป็นบิต

$\boldsymbol{p} \equiv (p_1, ... , p_n)$

$0 \leqslant \bar{H}(\boldsymbol{p}) \leqslant 1$

• $k$$p_i = \mathbb{I}(i=k)$$\bar{H}(\boldsymbol{p}) = 0$

• $p_i = 1/n$$\bar{H}(\boldsymbol{p}) = 1$