ความแปรปรวนแบบถ่วงน้ำหนักอีกครั้ง

ความแปรปรวนแบบถ่วงน้ำหนักที่ไม่เอนเอียงได้ถูกกล่าวถึงแล้วที่นี่และที่อื่น ๆแต่ก็ยังมีความสับสนอย่างน่าประหลาด มีปรากฏเป็นฉันทามติต่อการสูตรที่นำเสนอในลิงค์แรกเช่นเดียวกับในบทความวิกิพีเดีย ดูเหมือนว่าสูตรที่ใช้โดย R, Mathematica และ GSL (แต่ไม่ใช่ MATLAB) อย่างไรก็ตามบทความ Wikipedia ยังมีบรรทัดต่อไปนี้ซึ่งดูเหมือนว่ามีสติที่ดีสำหรับการดำเนินการแปรปรวนน้ำหนัก:

ตัวอย่างเช่นหากค่า {2,2,4,5,5,5} ถูกดึงมาจากการแจกแจงแบบเดียวกันเราสามารถถือว่าชุดนี้เป็นตัวอย่างที่ไม่ได้ถ่วงน้ำหนักหรือเราสามารถถือว่าเป็นตัวอย่างที่มีน้ำหนัก {2,4 5} ด้วยน้ำหนักที่สอดคล้องกัน {2,1,3} และเราควรได้ผลลัพธ์เดียวกัน

การคำนวณของฉันให้ค่า 2.1667 สำหรับความแปรปรวนของค่าดั้งเดิมและ 2.9545 สำหรับความแปรปรวนแบบถ่วงน้ำหนัก ฉันควรคาดหวังให้พวกเขาเหมือนกันหรือไม่? ทำไมหรือทำไมไม่?

ใช่คุณควรคาดหวังทั้งสองตัวอย่าง (ไม่ถ่วงน้ำหนักเทียบกับถ่วงน้ำหนัก) เพื่อให้ผลลัพธ์เดียวกัน

ฉันได้นำอัลกอริธึมทั้งสองมาจากบทความ Wikipedia

อันนี้ใช้ได้ผล:

หากทั้งหมดของ$x_i$ถูกดึงมาจากการกระจายเดียวกันและน้ำหนักจำนวนเต็ม$w_i$บ่งบอกถึงความถี่ของการเกิดขึ้นในตัวอย่างแล้วประมาณเป็นกลางของประชากรแปรปรวนถ่วงน้ำหนักโดย:

$s^2\ = \frac {1} {V_1 - 1} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2,$

อย่างไรก็ตามอันนี้ (ใช้น้ำหนักเศษส่วน) ไม่ทำงานสำหรับฉัน:

หากว่าแต่ละคน $x_i$$1/w_i$

$s^2\ = \frac {V_1} {V_1^2-V_2} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2$

ฉันยังคงตรวจสอบสาเหตุที่สมการที่สองไม่ทำงานตามที่ตั้งใจไว้

/ แก้ไข: พบสาเหตุที่สมการที่สองไม่ทำงานอย่างที่ฉันคิด: คุณสามารถใช้สมการที่สองได้ก็ต่อเมื่อคุณมีน้ำหนักปกติหรือความแปรปรวน ("ความน่าเชื่อถือ") และมันไม่ได้มีความเป็นกลางเพราะถ้าคุณไม่ ใช้น้ำหนัก "ซ้ำ" (นับจำนวนครั้งที่การสังเกตถูกสังเกตและควรทำซ้ำในการดำเนินการทางคณิตศาสตร์ของคุณ) คุณสูญเสียความสามารถในการนับจำนวนการสังเกตทั้งหมดและทำให้คุณไม่สามารถใช้ปัจจัยการแก้ไขได้

ดังนั้นสิ่งนี้จะอธิบายความแตกต่างในผลลัพธ์ของคุณโดยใช้ความแปรปรวนแบบถ่วงน้ำหนักและไม่ถ่วงน้ำหนัก: การคำนวณของคุณมีความเอนเอียง

ดังนั้นหากคุณต้องการความแปรปรวนแบบถ่วงน้ำหนักให้ใช้น้ำหนัก "ซ้ำ" เท่านั้นและใช้สมการแรกที่ฉันโพสต์ไว้ด้านบน หากไม่สามารถทำได้คุณก็ช่วยไม่ได้

ฉันได้อัปเดตบทความของ Wikipedia แล้วหากคุณต้องการข้อมูลเพิ่มเติม: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

และบทความที่เชื่อมโยงเกี่ยวกับความแปรปรวนร่วมแบบถ่วงน้ำหนักที่เป็นกลาง (ซึ่งอันที่จริงคือความแปรปรวนเดียวกันเนื่องจากตัวตนโพลาไรเซชัน ): สมการที่ถูกต้องสำหรับความแปรปรวนร่วมแบบถ่วงน้ำหนักที่เป็นกลาง