ความแปรปรวนของตัวแปรสุ่มที่มีขอบเขต

22

สมมติว่าตัวแปรสุ่มมีขอบเขตที่ต่ำกว่าและขอบเขตสูงสุด [0,1] จะคำนวณความแปรปรวนของตัวแปรดังกล่าวได้อย่างไร?

variance standard-deviation measurement-error

— Piotr
แหล่งที่มา

8

เช่นเดียวกับตัวแปรที่ไม่ได้ จำกัด - การตั้งค่าการรวมหรือข้อ จำกัด การรวมอย่างเหมาะสม

— Scortchi - Reinstate Monica

2

เป็น @Scortchi กล่าวว่า แต่ฉันอยากรู้ว่าทำไมคุณคิดว่ามันอาจจะแตกต่างกัน?

— Peter Flom - Reinstate Monica

3

ถ้าคุณไม่ทราบอะไรเกี่ยวกับตัวแปร (ซึ่งในกรณีนี้ขอบเขตบนความแปรปรวนอาจถูกคำนวณจากการมีอยู่ของขอบเขต) ทำไมความจริงที่ว่าขอบเขตถูกนำมาคำนวณ

— Glen_b -Reinstate Monica

6

ขอบเขตบนที่มีประโยชน์ในความแปรปรวนของตัวแปรสุ่มที่ใช้กับค่าในมีความน่าจะเป็นคือและสามารถทำได้โดยตัวแปรสุ่มแยกที่ใช้กับค่าและมีความน่าจะเท่ากัน{2} จุดอื่นที่ควรทราบคือความแปรปรวนรับประกันได้ว่าจะมีอยู่ในขณะที่ตัวแปรสุ่มที่ไม่มีขอบเขตอาจไม่มีความแปรปรวน (บางอย่างเช่นตัวแปรสุ่ม Cauchy ไม่มีแม้แต่ค่าเฉลี่ย)

[a, b]

$[a,b]$

1

$1$

(b - a)^{2} / 4

$(b-a)^2/4$

a

$a$

b

$b$

\frac{1}{2}

$\frac{1}{2}$

— Dilip Sarwate

7

มีเป็นตัวแปรสุ่มต่อเนื่องที่มีความแปรปรวนเท่ากับว่า:ตัวแปรสุ่มที่ใช้เวลาอยู่กับค่าและมีโอกาสที่เท่าเทียมกัน{2} ดังนั้นอย่างน้อยเราก็รู้ว่าสากลขอบเขตบนแปรปรวนไม่สามารถจะมีขนาดเล็กกว่า{4}

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

a

$a$

b

$b$

\frac{1}{2}

$\frac{1}{2}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Dilip Sarwate

46

คุณสามารถพิสูจน์ความไม่เท่าเทียมของ Popoviciu ได้ดังนี้ ใช้สัญกรณ์และX กำหนดฟังก์ชั่นโดย การคำนวณอนุพันธ์และการแก้ปัญหา เราพบว่าค่าต่ำสุดที่ ( โปรดทราบว่า ) $m=\inf X$ $M=\sup X$ $g$

ก. (เสื้อ) = E [{(X - เสื้อ)}^{2}] .

$g(t)=\mathbb{E}\left[\left(X-t\right)^2\right] \, .$

g^{'}

$g'$

{ก.}^{'} (เสื้อ) = - 2 E [X] + 2 เสื้อ = 0,

$g'(t) = -2\mathbb{E}[X] +2t=0 \, ,$

g

$g$

t = E [X]

$t=\mathbb{E}[X]$

g^{″} > 0

$g''>0$

ตอนนี้พิจารณาค่าของฟังก์ชั่นที่จุดพิเศษ{2} มันจะต้องเป็นกรณีที่ แต่ ตั้งแต่และเรามี หมายความว่า $g$ $t=\frac{M+m}{2}$

V a R [X] = ก. (E [X]) \leq ก. (\frac{M + ม.}{2}) .

$\mathbb{Var}[X]=g(\mathbb{E}[X])\leq g\left(\frac{M+m}{2}\right) \, .$

ก. (\frac{M + ม.}{2}) = E [{(X - \frac{M + ม.}{2})}^{2}] = \frac{1}{4} E [{((X - ม.) + (X - M))}^{2}] .

$g\left(\frac{M+m}{2}\right) = \mathbb{E}\left[\left(X - \frac{M+m}{2}\right)^2 \right] = \frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \, .$

X - m \geq 0

$X-m\geq 0$

X - M \leq 0

$X-M\leq 0$

{((X - ม.) + (X - M))}^{2} \leq {((X - ม.) - (X - M))}^{2} = {(M - ม.)}^{2},

$\left((X-m)+(X-M)\right)^2\leq\left((X-m)-(X-M)\right)^2=\left(M-m\right)^2 \, ,$

\frac{1}{4} E [{((X - ม.) + (X - M))}^{2}] \leq \frac{1}{4} E [{((X - ม.) - (X - M))}^{2}] = \frac{(M - ม.)^{2}}{4} .

$\frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \leq \frac{1}{4}\mathbb{E}\left[\left((X-m) - (X-M)\right)^2 \right] = \frac{(M-m)^2}{4} \, .$

ดังนั้นเราจึงพิสูจน์ความไม่เท่าเทียมของ Popoviciu

V a R [X] \leq \frac{(M - ม.)^{2}}{4} .

$\mathbb{Var}[X]\leq \frac{(M-m)^2}{4} \, .$

— เซน
แหล่งที่มา

3

วิธีการที่ดี: เป็นการดีที่ได้เห็นการสาธิตที่เข้มงวดของสิ่งต่าง ๆ เหล่านี้

— whuber

22

+1 ดี! ฉันเรียนรู้สถิติมานานก่อนที่คอมพิวเตอร์จะเป็นสมัยและความคิดหนึ่งที่เจาะเข้ามาในตัวเราคือซึ่งได้รับอนุญาตสำหรับการคำนวณความแปรปรวนโดยการหาผลรวมของกำลังสองของการเบี่ยงเบนจากจุดที่สะดวกใด ๆแล้วจึงปรับความเบี่ยงเบน ที่นี่แน่นอนตัวตนนี้ให้หลักฐานง่าย ๆ ของผลลัพธ์ที่มีค่าขั้นต่ำที่โดยไม่จำเป็นต้องมีอนุพันธ์ ฯลฯ

E [(X - เสื้อ)^{2}] = E [((X - μ) - (เสื้อ - μ))^{2}] = E [(X - μ)^{2}] + (เสื้อ - μ)^{2}

$E[(X-t)^2] = E[((X-\mu)-(t-\mu))^2] = E[(X-\mu)^2]+(t-\mu)^2$

t

$t$

g (t)

$g(t)$

t = μ

$t=\mu$

— Dilip Sarwate

18

ให้จะกระจายบน[0,1]เราจะแสดงให้เห็นว่าหากความแปรปรวนของเป็นค่าสูงสุดแล้วจะไม่สามารถรองรับการตกแต่งภายในได้ซึ่งจากนั้นจะตามมาว่าคือ Bernoulli และส่วนที่เหลือนั้นไม่สำคัญ $F$ $[0,1]$ $F$ $F$ $F$

ตามสัญกรณ์ให้เป็นช่วงเวลาดิบที่ของ (และตามปกติเราเขียนและสำหรับความแปรปรวน) $\mu_k = \int_0^1 x^k dF(x)$ $k$ $F$ $\mu = \mu_1$ $\sigma^2 = \mu_2 - \mu^2$

เรารู้ว่าไม่ได้รับการสนับสนุนทั้งหมดในคราวเดียว (ความแปรปรวนน้อยที่สุดในกรณีนั้น) เหนือสิ่งอื่นใดนี้หมายถึงโกหกอย่างเคร่งครัดระหว่างและ1เพื่อที่จะยืนยันโดยความขัดแย้งสมมติว่ามีเซตที่วัดบางในการตกแต่งภายในซึ่ง0 เราอาจสมมติ (โดยเปลี่ยนเป็นหากจำเป็น) โดยที่ : กล่าวอีกนัยหนึ่งจะได้รับโดยการตัดใด ๆ ส่วนหนึ่งของเหนือค่าเฉลี่ยและ $F$ $\mu$ $0$ $1$ $I$ $(0,1)$ $F(I)\gt 0$ $X$ $1-X$ $F(J = I \cap (0, \mu]) \gt 0$ $J$ $I$ $J$ มีโอกาสในเชิงบวก

ขอให้เราปรับเปลี่ยนเพื่อโดยการทั้งหมดน่าจะออกจากและวางไว้ที่0 $F$ $F'$ $J$ $0$ ในการทำเช่นนั้นเปลี่ยนเป็น $\mu_k$

μ_{k}^{'} = μ_{k} - \int_{J} x^{k} d F (x) .

$\mu'_k = \mu_k - \int_J x^k dF(x).$

ตามสัญกรณ์ให้เราเขียนสำหรับอินทิกรัลเช่นไหน $[g(x)] = \int_J g(x) dF(x)$

μ_{2}^{'} = μ_{2} - [x^{2}], μ^{'} = μ - [x] .

$\mu'_2 = \mu_2 - [x^2], \quad \mu' = \mu - [x].$

คำนวณ

σ^{' 2} = μ_{2}^{'} - μ^{' 2} = μ_{2} - [x^{2}] - (μ - [x])^{2} = σ^{2} + ((μ [x] - [x^{2}]) + (μ [x] - [x]^{2})) .

$\sigma'^2 = \mu'_2 - \mu'^2 = \mu_2 - [x^2] - (\mu - [x])^2 = \sigma^2 + \left((\mu[x] - [x^2]) + (\mu[x] - [x]^2)\right).$

ระยะที่สองด้านขวา เป็นที่ไม่ใช่เชิงลบเพราะทุกที่บนJเทอมแรกทางด้านขวาสามารถเขียนใหม่ได้ $(\mu[x] - [x]^2)$ $\mu \ge x$ $J$

μ [x] - [x^{2}] = μ (1 - [1]) + ([μ] [x] - [x^{2}]) .

$\mu[x] - [x^2] = \mu(1 - [1]) + ([\mu][x] - [x^2]).$

เทอมแรกทางด้านขวาเป็นค่าบวกอย่างเข้มงวดเพราะ (a)และ (b)เพราะเราคิดว่าไม่เข้มข้นที่จุดหนึ่ง ระยะที่สองคือไม่ติดลบเพราะสามารถเขียนใหม่เป็นและ integrand นี้เป็นค่าลบจากสมมติฐานบนและ1 มันตามที่0 $\mu \gt 0$ $[1] = F(J) \lt 1$ $F$ $[(\mu-x)(x)]$ $\mu \ge x$ $J$ $0 \le x \le 1$ $\sigma'^2 - \sigma^2 \gt 0$

เราเพิ่งแสดงให้เห็นว่าภายใต้สมมติฐานของเราการเปลี่ยนเป็นเพิ่มความแปรปรวนอย่างเคร่งครัด วิธีเดียวที่สิ่งนี้ไม่สามารถเกิดขึ้นได้คือเมื่อความน่าจะเป็นทั้งหมดของถูกรวมที่จุดสิ้นสุดและด้วยค่า (พูด) ค่าและตามลำดับ ความแปรปรวนของมันจะถูกคำนวณอย่างง่ายดายให้เท่ากับซึ่งเป็นค่าสูงสุดเมื่อและเท่ากับนั่น $F$ $F'$ $F'$ $0$ $1$ $1-p$ $p$ $p(1-p)$ $p=1/2$ $1/4$

ตอนนี้เมื่อคือการกระจายบนเรา recenter และ rescale มันกระจายบน[0,1]recentering ไม่เปลี่ยนแปลงแปรปรวนในขณะที่แบ่ง rescaling มันโดย 2 ดังนั้นมีความแปรปรวนสูงสุดในสอดคล้องกับการแจกแจงที่มีความแปรปรวนสูงสุดใน : ดังนั้นจึงเป็น Bernoulliการกระจายการช่วยชีวิตและแปลเป็นมีความแปรปรวน , QED $F$ $[a,b]$ $[0,1]$ $(b-a)^2$ $F$ $[a,b]$ $[0,1]$ $(1/2)$ $[a,b]$ $(b-a)^2/4$

— whuber
แหล่งที่มา

น่าสนใจมากขึ้น ฉันไม่รู้หลักฐานนี้

— เซน

6

@ เซนมันไม่ได้งดงามเท่าของคุณ ฉันเสนอให้เพราะฉันพบว่าตัวเองคิดมานานหลายปีในลักษณะนี้เมื่อต้องเผชิญกับความไม่เท่าเทียมกันในการกระจายที่ซับซ้อนมากขึ้น: ฉันถามว่าความน่าจะเป็นที่จะถูกเลื่อนไปรอบ ๆ เพื่อให้ความไม่เท่าเทียมกันมากขึ้น ในฐานะที่เป็นฮิวริสติกแบบสัญชาตญาณมันมีประโยชน์ ด้วยการใช้วิธีการตามที่วางไว้ที่นี่ฉันสงสัยว่าทฤษฎีทั่วไปสำหรับการพิสูจน์ความไม่เท่าเทียมดังกล่าวสามารถเรียนรู้ได้ในระดับสูงด้วยรสชาติของพันธุ์ลูกผสมของแคลคูลัสของการแปรผันและเทคนิคการคูณตัวคูณ Lagrange

— whuber

สมบูรณ์แบบ: คำตอบของคุณมีความสำคัญเพราะอธิบายเทคนิคทั่วไปที่สามารถใช้เพื่อจัดการกรณีอื่น ๆ อีกมากมาย

— เซน

@whuber กล่าวว่า - "ฉันถามว่าความน่าจะเป็นที่สามารถเลื่อนไปรอบ ๆ เพื่อที่จะทำให้ความไม่เท่าเทียมที่รุนแรงมากขึ้น" - นี่เป็นวิธีธรรมชาติในการคิดเกี่ยวกับปัญหาดังกล่าว

— Glen_b -Reinstate Monica

ดูเหมือนจะมีข้อผิดพลาดเล็กน้อยในการได้รับมา มันควรเป็นนอกจากนี้ไม่เท่ากับตั้งแต่ไม่เหมือนกับ

μ [x] - [x^{2}] = μ (1 - [1]) [x] + ([μ] [x] - [x^{2}]) .

$\mu[x] - [x^2] = \mu(1 - [1])[x] + ([\mu][x] - [x^2]).$

[(μ - x) (x)]

$[(\mu-x)(x)]$

[μ] [x] - [x^{2}]

$[\mu][x] - [x^2]$

[μ] [x]

$[\mu][x]$

μ [x]

$\mu[x]$

— Leo

13

ถ้าตัวแปรสุ่มจะมีการ จำกัดและเรารู้ว่าหมายถึง , ความแปรปรวนเป็นที่สิ้นสุดโดยMU-ก) $[a,b]$ $\mu=E[X]$ $(b-\mu)(\mu-a)$

ขอให้เราพิจารณากรณีที่ 1 หมายเหตุว่าทุก ,ทำไมยัง[X] การใช้ผลลัพธ์นี้ $a=0, b=1$ $x\in [0,1]$ $x^2\leq x$ $E[X^2]\leq E[X]$

σ^{2} = E [X^{2}] - (E [X]^{2}) = E [X^{2}] - μ^{2} \leq μ - μ^{2} = μ (1 - μ) .

$\begin{equation} \sigma^2 = E[X^2] - (E[X]^2) = E[X^2] - \mu^2 \leq \mu - \mu^2 = \mu(1-\mu). \end{equation}$

ที่จะพูดคุยเพื่อช่วงกับพิจารณาจำกัด ให้b] กำหนดซึ่งถูก จำกัด ใน[0,1]เท่ากันและ โดยที่ความไม่เสมอภาคจะขึ้นอยู่กับผลลัพธ์แรก ตอนนี้โดยการแทนที่ , ขอบเขตที่ถูกผูกเท่ากับ ซึ่งเป็นผลลัพธ์ที่ต้องการ $[a,b]$ $b>a$ $Y$ $[a,b]$ $X=\frac{Y-a}{b-a}$ $[0,1]$ $Y = (b-a)X + a$

V a R [Y] = (ข - a)^{2} V a R [X] \leq (ข - a)^{2} μ_{X} (1 - μ_{X}) .

$\begin{equation} Var[Y] = (b-a)^2Var[X] \leq (b-a)^2\mu_X (1-\mu_X). \end{equation}$

μ_{X} = \frac{μ_{Y} - a}{b - a}

$\mu_X = \frac{\mu_Y - a}{b-a}$

(ข - a)^{2} \frac{μ_{Y} - a}{ข - a} (1 - \frac{μ_{Y} - a}{ข - a}) = (ข - a)^{2} \frac{μ_{Y} - a}{ข - a} \frac{ข - μ_{Y}}{ข - a} = (μ_{Y} - a) (ข - μ_{Y}),

$\begin{equation} (b-a)^2\, \frac{\mu_Y - a}{b-a}\,\left(1- \frac{\mu_Y - a}{b-a}\right) = (b-a)^2 \frac{\mu_Y -a}{b-a}\,\frac{b - \mu_Y}{b-a} = (\mu_Y - a)(b- \mu_Y), \end{equation}$

— Juho Kokkala
แหล่งที่มา

8

ตามคำขอของ @ user603 ....

ที่มีประโยชน์บนผูกพันในความแปรปรวนของตัวแปรสุ่มที่จะใช้เวลาในค่าในที่มีความน่าจะเป็นคือ{4} หลักฐานสำหรับกรณีพิเศษ (ซึ่งเป็นสิ่งที่ OP ถามเกี่ยวกับ) สามารถพบได้ ที่นี่ใน math.SEและสามารถปรับให้เข้ากับกรณีทั่วไปได้ง่ายขึ้น ดังที่ระบุไว้ในความคิดเห็นของฉันด้านบนและในคำตอบที่อ้างถึงในที่นี้ตัวแปรสุ่มแบบแยกซึ่งใช้กับค่าและมีความน่าจะเป็นเท่ากับมีความแปรปรวนและไม่พบข้อ จำกัดทั่วไปที่เข้มงวดยิ่งขึ้น $\sigma^2$ $[a,b]$ $1$ $\sigma^2 \leq \frac{(b−a)^2}{4}$ $a=0, b=1$ $a$ $b$ $\frac{1}{2}$ $\frac{(b−a)^2}{4}$

จุดอื่นที่ควรทราบคือตัวแปรสุ่มที่ล้อมรอบมีความแปรปรวนแน่นอนในขณะที่ตัวแปรสุ่มที่ไม่มีขอบเขตความแปรปรวนอาจไม่แน่นอนและในบางกรณีอาจไม่สามารถกำหนดได้ ตัวอย่างเช่น ไม่สามารถกำหนดค่าเฉลี่ยสำหรับตัวแปรสุ่มของ Cauchyและดังนั้นจึงไม่สามารถกำหนดค่าความแปรปรวนได้ (ตามความคาดหวังของการเบี่ยงเบนกำลังสองจากค่าเฉลี่ย)

— Dilip Sarwate
แหล่งที่มา

นี่เป็นกรณีพิเศษของคำตอบของ @ Juho

— Aksakal

มันเป็นเพียงความคิดเห็น แต่ฉันสามารถเพิ่มได้ว่าคำตอบนี้ไม่ตอบคำถามที่ถาม

— Aksakal

@Aksakal ดังนั้น ??? Juho กำลังตอบคำถามที่แตกต่างออกไปเล็กน้อยและเมื่อเร็ว ๆ นี้ คำถามใหม่นี้ถูกรวมเข้ากับคำถามที่คุณเห็นด้านบนซึ่งฉันตอบไปสิบเดือนที่แล้ว

— Dilip Sarwate

0

คุณแน่ใจหรือไม่ว่านี่เป็นความจริงโดยทั่วไป - สำหรับการแจกแจงแบบต่อเนื่องและแบบแยก คุณสามารถให้ลิงค์ไปยังหน้าอื่นได้หรือไม่? สำหรับการกระจายทั่วไปของมันเป็นเรื่องเล็กน้อยที่จะแสดงให้เห็นว่า ฉันสามารถจินตนาการได้ว่ามีความไม่เท่าเทียมที่คมชัดกว่านี้ ... คุณต้องการปัจจัยสำหรับผลลัพธ์ของคุณหรือไม่? $[a,b]$

V a R (X) = E [(X - E [X])^{2}] \leq E [(ข - a)^{2}] = (ข - a)^{2} .

$Var(X) = E[(X-E[X])^2] \le E[(b-a)^2] = (b-a)^2.$

1 / 4

$1/4$

ในทางกลับกันเราสามารถหาได้โดยใช้ตัวประกอบภายใต้ชื่อPopoviciu's_inequalityบนวิกิพีเดีย $1/4$

บทความนี้ดูดีกว่าบทความวิกิพีเดีย ...

สำหรับการแจกแจงแบบสม่ำเสมอมันถือได้ว่า

V a R (X) = \frac{(ข - a)^{2}}{12} .

$Var(X) = \frac{(b-a)^2}{12}.$

— เฟรเดอ
แหล่งที่มา

หน้านี้ระบุผลลัพธ์ด้วยจุดเริ่มต้นของการพิสูจน์ที่เกี่ยวข้องกับฉันมากเกินไปเนื่องจากดูเหมือนว่าต้องมีความเข้าใจใน "ทฤษฎีบทพื้นฐานของการโปรแกรมเชิงเส้น" sci.tech-archive.net/Archive/sci.math/2008-06/msg01239.html

— Adam Russell

ขอบคุณสำหรับการตั้งชื่อ! "ความไม่เท่าเทียมของ Popoviciu" เป็นสิ่งที่ฉันต้องการ

— Adam Russell

2

คำตอบนี้ทำให้คำแนะนำที่ไม่ถูกต้อง:ถูกต้องแน่นอน การอ้างอิงถึงความไม่เท่าเทียมของ Popoviciu จะใช้งานได้ แต่การพูดอย่างเคร่งครัดจะใช้เฉพาะกับการแจกแจงที่มีการสนับสนุนที่จำกัด (โดยเฉพาะอย่างยิ่งที่ไม่มีการแจกแจงแบบต่อเนื่อง) อาร์กิวเมนต์ที่ จำกัด จะทำเคล็ดลับ แต่จำเป็นต้องมีบางสิ่งเพิ่มเติมที่นี่

1 / 4

$1/4$

— whuber

2

การกระจายอย่างต่อเนื่องสามารถเข้าใกล้ discrete หนึ่ง (ในแง่ cdf) โดยพลการอย่างใกล้ชิด (เช่นสร้างความหนาแน่นอย่างต่อเนื่องจากที่ไม่ต่อเนื่องที่กำหนดโดยการวางเคอร์เนลรูปร่างเบต้าเล็กน้อย (4,4) - กึ่งกลางที่จุดศูนย์กลางแต่ละจุด และปล่อยให้ส่วนเบี่ยงเบนมาตรฐานของเคอร์เนลแต่ละตัวนั้นหดตัวเป็นศูนย์ในขณะที่รักษาพื้นที่ให้คงที่) ขอบเขตที่ไม่ต่อเนื่องดังที่กล่าวไว้ที่นี่จึงจะทำหน้าที่เป็นขอบเขตสำหรับการแจกแจงแบบต่อเนื่อง ฉันคาดหวังว่าคุณกำลังคิดเกี่ยวกับการแจกแจง unimodalอย่างต่อเนื่อง... ซึ่งมีขอบเขตที่แตกต่างกัน

— Glen_b -Reinstate Monica

2

ดี ... คำตอบของฉันมีประโยชน์น้อยที่สุด แต่ฉันจะทิ้งไว้ที่นี่เนื่องจากความคิดเห็นที่ดี ไชโย, R

— Ric