การแก้ไขอคติในความแปรปรวนแบบถ่วงน้ำหนัก

สำหรับความแปรปรวนแบบไม่มีน้ำหนัก มีค่าความแปรปรวนตัวอย่างที่มีอคติถูกแก้ไขเมื่อค่าเฉลี่ยถูกประเมินจากข้อมูลเดียวกัน:

Var (X) := \frac{1}{n} \sum_{i} (x_{i} - μ)^{2}

$\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2$

Var (X) := \frac{1}{n - 1} \sum_{i} (x_{i} - E [X])^{2}

$\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2$

ฉันกำลังดูค่าเฉลี่ยและความแปรปรวนแบบถ่วงน้ำหนักและสงสัยว่าการแก้ไขความลำเอียงที่เหมาะสมสำหรับความแปรปรวนแบบถ่วงน้ำหนักคืออะไร การใช้:

ค่าเฉลี่ย (X) = \frac{1}{\underset{ผม}{Σ} ω_{ผม}} \underset{ผม}{Σ} ω_{ผม} x_{ผม}

$\text{mean}(X):=\frac{1}{\sum_i \omega_i}\sum_i \omega_i x_i$

"ไร้เดียงสา" ความแปรปรวนที่ไม่ได้แก้ไขที่ฉันใช้อยู่คือ:

Var (X) := \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

ดังนั้นฉันสงสัยว่าวิธีที่ถูกต้องในการแก้ไขอคติคืออะไร

Var (X) := \frac{1}{\sum_{i} ω_{i} - 1} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i - 1}\sum_i\omega_i(x_i - \text{mean}(X))^2$

หรือ B)

Var (X) := \frac{n}{n - 1} \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{n}{n-1}\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

หรือ C)

Var (X) := \frac{\sum_{i} ω_{i}}{(\sum_{i} ω_{i})^{2} - \sum_{i} ω_{i}^{2}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{\sum_i \omega_i}{(\sum_i \omega_i)^2-\sum_i \omega_i^ 2}\sum_i\omega_i(x_i - \text{mean}(X))^2$

A) ไม่สมเหตุสมผลกับฉันเมื่อตุ้มน้ำหนักมีขนาดเล็ก ค่าการทำให้เป็นมาตรฐานอาจเป็น 0 หรือลบได้ แต่วิธีการเกี่ยวกับ B) ( $n$ คือจำนวนการสังเกต) - นี่เป็นวิธีที่ถูกต้องหรือไม่? คุณมีข้อมูลอ้างอิงที่แสดงสิ่งนี้หรือไม่? ฉันเชื่อ "การอัปเดตค่าเฉลี่ยและการประมาณความแปรปรวน: วิธีการที่ได้รับการปรับปรุง", DHD West, 1979 ใช้สิ่งนี้ ประการที่สาม C) คือการตีความคำตอบสำหรับคำถามนี้ของฉัน: /mathpro/22203/unbiased-estimate-of-the-variance-of-an-unnormalised-weighted-mean

สำหรับ C) ฉันได้ตระหนักถึงเพียงว่าส่วนที่มีลักษณะมากเช่น $\text{Var}(\Omega)$ Omega) มีการเชื่อมต่อทั่วไปที่นี่ไหม ฉันคิดว่ามันไม่สอดคล้องทั้งหมด และเห็นได้ชัดว่ามีการเชื่อมต่อที่เราพยายามคำนวณความแปรปรวน ...

ทั้งสามของพวกเขาดูเหมือนจะ "รอด" การตรวจสอบสุขภาพจิตของการตั้งค่าทั้งหมด 1 ดังนั้นฉันควรใช้อันไหนภายใต้สถานที่ใด? '' Update: '' whuber แนะนำให้ทำการตรวจสอบสติด้วยและที่เหลือทั้งหมดจิ๋ว ดูเหมือนว่าจะแยกออกจาก A และ B $\omega_i=1$ $\omega_1=\omega_2=.5$ $\omega_i=\epsilon$

— anony-มูส
แหล่งที่มา

เมื่อคุณพิจารณากรณีที่น้ำหนักที่ใหญ่ที่สุดสองค่าเท่ากันและส่วนที่เหลือทั้งหมดมีขนาดเล็กหายไปทั้ง (A) และ (B) ลดลงจากการแข่งขัน (เพราะพวกเขาไม่เห็นด้วยกับผลลัพธ์ที่ทราบสำหรับ ) (C) ดูเหมือนจะเป็นการประมาณ ฉันสงสัยว่าปัจจัยที่ถูกต้องเป็นฟังก์ชันที่ซับซ้อนมากขึ้นของน้ำหนัก

n = 2

$n=2$

— whuber

@whuber ThePawn ด้านล่างชี้ให้เห็นว่าเป็น C. คุณมีข้อกังวลรายละเอียดเพิ่มเติมหรือไม่

— Anony-Mousse

โซลูชัน (A) ใช้งานได้ฉันนำมาใช้ในอดีตและสามารถยืนยันจากการทดสอบเชิงประจักษ์ว่าให้ผลลัพธ์ที่ถูกต้อง อย่างไรก็ตามคุณจะต้องใช้ค่าจำนวนเต็มสำหรับน้ำหนักและ> 0

— gaborous

ขอบคุณ! สิ่งนี้ช่วยฉันได้มากในการติดตามที่ถูกต้องเมื่อตุ้มน้ำหนักสำหรับค่าเฉลี่ยเคลื่อนที่ชี้แจง! ปรากฎว่าวิธีที่ไร้เดียงสาในการคำนวณค่าความแปรปรวนจริงแล้วประเมินค่าเกินจริงโดยปัจจัยคงที่ที่ 2 นอกเหนือจากการแก้ไขขนาดเล็ก (1-1 / n) ที่แสดงการคำนวณค่าเฉลี่ยเคลื่อนที่แบบเรียบง่ายแบบแอนะล็อก นั่นเป็นกรณีพิเศษที่บ้าโดยเฉพาะ!

— saolof

คำตอบ:

ฉันผ่านคณิตศาสตร์และลงเอยด้วยตัวแปร C:

V a r (X) = \frac{(\sum_{i} ω_{i})^{2}}{(\sum_{i} ω_{i})^{2} - \sum_{i} ω_{i}^{2}} \bar{V}

$Var(X) = \frac{(\sum_i \omega_i)^2}{(\sum_i \omega_i)^2 - \sum_i \omega_i^2}\overline V$ โดยที่คือการประมาณค่าความแปรปรวนที่ไม่ถูกต้อง สูตรเห็นด้วยกับตัวพิมพ์ที่ไม่ถ่วงเมื่อเหมือนกันทั้งหมด ฉันให้รายละเอียดหลักฐานด้านล่าง:

\bar{V}

$\overline V$

ω_{i}

$\omega_i$

การตั้งค่าเรามี $\lambda_i = \frac{\omega_i}{\sum_i \omega_i}$

\bar{V} = \underset{ผม}{Σ} λ_{ผม} (x_{ผม} - \underset{J}{Σ} λ_{J} x_{J})^{2}

$\overline V = \sum_i \lambda_i (x_i - \sum_j \lambda_j x_j)^2$

การขยายคำในให้:

(x_{ผม} - \underset{J}{Σ} λ_{J} x_{J})^{2} = x_{ผม}^{2} + \underset{J, k}{Σ} λ_{J} λ_{k} x_{J} x_{k} - 2 \underset{J}{Σ} λ_{J} x_{ผม} x_{J}

$(x_i - \sum_j \lambda_j x_j)^2 = x_i^2 + \sum_{j, k} \lambda_j \lambda_k x_j x_k - 2 \sum_j \lambda_j x_i x_j$

หากเราคาดหวังเรามีคำว่าอยู่ในแต่ละเทอมมันยกเลิกไปแล้วและเรา จะได้รับ: $E[x_i x_j] = Var(X)1_{i = j} + E[X]^2$ $E[X]$

E [\bar{V}] = V a R (X) \underset{ผม}{Σ} λ_{ผม} (1 + \underset{J}{Σ} λ_{J}^{2} - 2 λ_{ผม})

$E[\overline V] = Var(X) \sum_i \lambda_i (1 + \sum_j \lambda_j^2- 2 \lambda_i )$ นั่นคือ ยังคงเสียบปลั๊กในการแสดงออกของเทียบกับเพื่อรับตัวแปร C

E [\bar{V}] = V a R (X) (1 - \underset{J}{Σ} λ_{J}^{2})

$E[\overline V] = Var(X) (1 - \sum_j \lambda_j^2)$

λ_{i}

$\lambda_i$

ω_{i}

$\omega_i$

— ThePawn
แหล่งที่มา

นั่นคือตัวแปร C ด้านบนใช่ไหม

— Anony-Mousse

Oups ใช่มันเป็นตัวแปร C

— ThePawn

ฉันได้ตรวจสอบวิธีแก้ปัญหาเชิงประจักษ์แล้วและมันไม่ทำงาน ... สิ่งเดียวที่แก้ปัญหา (A) ที่ฉันได้นำไปใช้ในอดีตด้วยตัวเอง แต่มันใช้ได้กับน้ำหนักที่เป็นจำนวนเต็มและ> = 0

— gaborous

สมการนี้ผิดไปจาก Wikipedia, Matlab, R และอื่น ๆ ที่ใช้สมการนี้ ตัวเศษที่นี่ยกกำลังสอง แต่ไม่ควรมันควรจะเหมือนกับ (C) ที่เสนอโดย OP ดูen.wikipedia.org/wiki/…

— gaborous

@rajatkhanduja ฉันไม่ได้พูดถึงหลักฐาน แต่เป็นสมการสุดท้ายที่ได้มา (อันดับหนึ่งในคำตอบนี้) แต่ที่จริงแล้วมันถูกต้องตัวเศษนั้นก็แค่กำลังสองเพราะเราคูณด้วย V ดังนั้นตัวเศษนั้นก็ไม่ได้ถูกยืนยัน อย่างไรก็ตามตัวประมาณนี้ยังคงลำเอียงตามที่ฉันอธิบายในคำตอบของฉันด้านล่างเนื่องจากมันขึ้นอยู่กับ "ความน่าเชื่อถือ" - น้ำหนักประเภท

— gaborous

ทั้ง A และ C นั้นถูกต้อง แต่สิ่งใดที่คุณจะใช้ขึ้นอยู่กับน้ำหนักที่คุณใช้:

ความต้องการให้คุณใช้"ทำซ้ำ" น้ำหนักชนิด (จำนวนเต็มนับจำนวนของการเกิดขึ้นสำหรับแต่ละสังเกต) และเป็นที่เป็นกลาง
C ความต้องการของคุณที่จะใช้"ความน่าเชื่อถือ" น้ำหนักชนิด (น้ำหนักปกติอย่างใดอย่างหนึ่งหรือทั้งแปรปรวนสำหรับแต่ละสังเกต) และลำเอียง มันไม่สามารถเป็นกลางได้

เหตุผลที่ C ต้องลำเอียงเพราะถ้าคุณไม่ใช้น้ำหนักแบบ "ซ้ำ" คุณจะสูญเสียความสามารถในการนับจำนวนการสังเกตทั้งหมด (ขนาดตัวอย่าง) และทำให้คุณไม่สามารถใช้ปัจจัยการแก้ไขได้

สำหรับข้อมูลเพิ่มเติมให้ตรวจสอบบทความ Wikipedia ที่ได้รับการปรับปรุงล่าสุด: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

— gaborous
แหล่งที่มา