เราวัดความไม่สม่ำเสมอของการแจกแจงได้อย่างไร

ฉันกำลังพยายามหาตัวชี้วัดสำหรับการวัดความไม่สม่ำเสมอของการแจกแจงสำหรับการทดลองที่ฉันใช้อยู่ ฉันมีตัวแปรสุ่มที่ควรกระจายอย่างสม่ำเสมอในกรณีส่วนใหญ่และฉันต้องการระบุตัวอย่างของชุดข้อมูลที่และตัวแปรไม่กระจายอย่างสม่ำเสมอภายในระยะขอบ

ตัวอย่างของชุดข้อมูลสามชุดแต่ละชุดมีการวัด 10 ค่าซึ่งแสดงความถี่ของการเกิดสิ่งที่ฉันวัดได้อาจเป็นดังนี้:

a: [10% 11% 10%  9%  9% 11% 10% 10% 12%  8%]
b: [10% 10% 10%  8% 10% 10%  9%  9% 12%  8%]
c: [ 3%  2% 60%  2%  3%  7%  6%  5%  5%  7%]   <-- non-uniform
d: [98% 97% 99% 98% 98% 96% 99% 96% 99% 98%]

ฉันต้องการแยกความแตกต่างอย่าง c จากสิ่งที่ชอบและ a และวัดความเบี่ยงเบนของ c จากการกระจายแบบสม่ำเสมอ ถ้ามีตัวชี้วัดสำหรับการแจกแจงแบบสม่ำเสมอ (std. การเบี่ยงเบนใกล้กับศูนย์) ฉันอาจจะใช้มันเพื่อแยกแยะสิ่งที่มีความแปรปรวนสูง อย่างไรก็ตามข้อมูลของฉันอาจมีค่าผิดปกติเพียงหนึ่งหรือสองอย่างเช่นตัวอย่าง c ด้านบนและไม่แน่ใจว่าจะสามารถตรวจพบได้อย่างง่ายดาย

ฉันสามารถแฮ็คบางอย่างเพื่อทำสิ่งนี้ในซอฟต์แวร์ แต่ฉันกำลังมองหาวิธีการ / วิธีการทางสถิติเพื่อพิสูจน์ความเป็นทางการนี้ ฉันเข้าเรียนเมื่อหลายปีก่อน แต่สถิติไม่ใช่พื้นที่ของฉัน ดูเหมือนว่าสิ่งที่ควรมีวิธีการที่รู้จักกันดี ขออภัยหากสิ่งนี้มีอาการปวดหัวอย่างสมบูรณ์ ขอบคุณล่วงหน้า!

หากคุณไม่เพียง แต่มีความถี่ แต่มีจำนวนจริงคุณสามารถใช้การความเหมาะสมของสำหรับชุดข้อมูลแต่ละชุด โดยเฉพาะอย่างยิ่งที่คุณต้องการที่จะใช้สำหรับการทดสอบการกระจายสม่ำเสมอต่อเนื่อง สิ่งนี้ช่วยให้คุณทดสอบได้ดีซึ่งช่วยให้คุณทราบว่าชุดข้อมูลใดที่ไม่น่าจะถูกสร้างขึ้นโดยการกระจายแบบสม่ำเสมอ แต่ไม่ได้ให้การวัดความสม่ำเสมอ$\chi^2$

มีวิธีการอื่น ๆ ที่เป็นไปได้เช่นการคำนวณเอนโทรปีของแต่ละซีรีย์ - การกระจายแบบสม่ำเสมอทำให้เอนโทรปีมีค่าสูงสุดดังนั้นหากเอนโทรปีต่ำอย่างน่าสงสัยคุณจะสรุปได้ว่าคุณอาจไม่มีการกระจายแบบสม่ำเสมอ ที่ทำงานเป็นตัวชี้วัดของความสม่ำเสมอในบางแง่

ข้อเสนอแนะอีกข้อหนึ่งก็คือการใช้การวัดแบบKullback-Leibler divergenceซึ่งเป็นการวัดความคล้ายคลึงกันของการแจกแจงสองแบบ

นอกจากความคิดที่ดีของ @MansT แล้วคุณสามารถหามาตรการอื่น ๆ ได้ แต่ขึ้นอยู่กับความหมายของ "ความไม่สม่ำเสมอ" เพื่อให้ง่ายลองดูที่ 4 ระดับ ความสม่ำเสมอที่สมบูรณ์แบบนั้นง่ายต่อการกำหนด:

25 25 25 25

แต่ข้อใดต่อไปนี้มากกว่ากัน?

20 20 30 30 หรือ 20 20 25 35

หรือว่าพวกเขาไม่เท่าเทียมกัน?

หากคุณคิดว่าพวกเขาไม่เท่ากันคุณสามารถใช้การวัดตามผลรวมของค่าสัมบูรณ์ของการเบี่ยงเบนจากปกติปรับขนาดโดยค่าสูงสุดที่เป็นไปได้ จากนั้นอันแรกคือ 5 + 5 + 5 + 5 = 20 และอันที่สองคือ 5 + 5 + 0 + 10 = 20 แต่ถ้าคุณคิดว่าอันที่สองเป็นแบบไม่รวมคุณสามารถใช้อะไรก็ได้ตามการเบี่ยงเบนกำลังสองซึ่งในกรณีนี้ ก่อนได้รับ 25 +25 + 25 + 25 = 100 และที่สองได้รับ 25 +25 + 0 + 100 = 150

นี่คือฮิวริสติกแบบเรียบง่าย: ถ้าคุณสมมติว่าองค์ประกอบในผลรวมเวกเตอร์ใด ๆ ถึง (หรือทำให้มาตรฐานแต่ละองค์ประกอบเป็นปกติด้วยผลรวมเพื่อให้ได้สิ่งนี้) ดังนั้นความสม่ำเสมอสามารถแทนด้วย L2 norm ซึ่งมีค่าตั้งแต่$1$ไป1กับdเป็นมิติของเวกเตอร์$\frac{1}{\sqrt d}$$1$$d$

ขอบเขตล่างสอดคล้องกับความสม่ำเสมอและขอบเขตบนกับเวกเตอร์1-hot$\frac{1}{\sqrt d}$$1$

ในการปรับขนาดให้เป็นคะแนนระหว่างถึง1คุณสามารถใช้n ∗ $0$$1$โดยที่nคือค่าเฉลี่ย L2$\frac{n*\sqrt d - 1}{\sqrt d - 1}$$n$

$1$

0.10    0.11    0.10    0.09    0.09    0.11    0.10    0.10    0.12    0.08
0.10    0.10    0.10    0.08    0.12    0.12    0.09    0.09    0.12    0.08
0.03    0.02    0.61    0.02    0.03    0.07    0.06    0.05    0.06    0.05

$0.0028$$0.0051$$0.4529$

d=size(m,2); 
for i=1:size(m); 
    disp( (norm(m(i,:))*sqrt(d)-1) / (sqrt(d)-1) ); 
end

สะดุดเมื่อเร็ว ๆ นี้และเพื่อเพิ่มคำตอบจาก @ user495285 เท่าที่ฉันเข้าใจ:

$\mathbb{R}^n$$L_p$$p$$\mathbb{R}^n$$p$

$L_2$$p$

ฉันเชื่อว่าประโยชน์ของการวัดทางเรขาคณิตจะใช้เมื่อแต่ละตำแหน่ง (มิติ) ของพื้นที่ที่อธิบายไว้ถูกสันนิษฐานว่าวัดได้ในระดับที่เท่ากันเช่นจำนวนทั้งหมดของการแจกแจงที่เท่ากัน สมมติฐานที่เหมือนกันการเปลี่ยนแปลงพื้นฐานของฐานเช่น PCA / SVD อาจจะคล้ายกันที่นี่ แต่อีกครั้งฉันไม่มีนักคณิตศาสตร์ดังนั้นฉันจะปล่อยให้เปิดให้ข้อมูลเพิ่มเติม