เหตุใดจึงไม่นิยามความแปรปรวนเป็นความแตกต่างระหว่างทุกค่าที่ติดตามซึ่งกันและกัน

นี่อาจเป็นคำถามง่าย ๆ สำหรับหลาย ๆ คน แต่ที่นี่คือ:

เหตุใดจึงไม่ได้กำหนดความแปรปรวนเป็นความแตกต่างระหว่างทุกค่าที่ติดตามกันแทนที่จะแตกต่างกับค่าเฉลี่ยของค่า

นี่จะเป็นตัวเลือกที่สมเหตุสมผลกว่าสำหรับฉันฉันคิดว่าฉันกำลังดูแลข้อเสียอยู่บ้าง ขอบคุณ

แก้ไข:

ให้ฉันใช้ถ้อยคำใหม่อย่างชัดเจนที่สุด นี่คือสิ่งที่ฉันหมายถึง:

1. สมมติว่าคุณมีตัวเลขเรียงตามลำดับ: 1,2,3,4,5
2. คำนวณและสรุปผลต่าง (ค่าสัมบูรณ์) (อย่างต่อเนื่องระหว่างทุกค่าต่อไปนี้ไม่ใช่คู่) ระหว่างค่า (โดยไม่ใช้ค่าเฉลี่ย)
3. หารด้วยจำนวนความแตกต่าง
4. (การติดตามผล: คำตอบจะแตกต่างกันหรือไม่หากตัวเลขยังไม่ได้รับคำสั่ง)

-> อะไรคือข้อเสียของวิธีการนี้เมื่อเทียบกับสูตรมาตรฐานสำหรับความแปรปรวน?

เหตุผลที่ชัดเจนที่สุดคือบ่อยครั้งที่ไม่มีลำดับเวลาในค่าต่างๆ ดังนั้นหากคุณสับสนข้อมูลมันก็ไม่ได้สร้างความแตกต่างในข้อมูลที่ถ่ายทอดโดยข้อมูล หากเราปฏิบัติตามวิธีการของคุณทุกครั้งที่คุณสับสนข้อมูลที่คุณได้รับความแปรปรวนตัวอย่างที่แตกต่างกัน

คำตอบเชิงทฤษฎีมากขึ้นคือความแปรปรวนตัวอย่างประมาณความแปรปรวนที่แท้จริงของตัวแปรสุ่ม ความแปรปรวนที่แท้จริงของตัวแปรสุ่มคือ E [ ( X - E X ) 2$X$

$$E\left[ (X - EX)^2 \right].$$

นี่หมายถึงความคาดหวังหรือ "ค่าเฉลี่ย" ดังนั้นนิยามของความแปรปรวนคือระยะห่างกำลังสองเฉลี่ยระหว่างตัวแปรจากค่าเฉลี่ย เมื่อคุณดูคำจำกัดความนี้จะไม่มี "ลำดับเวลา" ที่นี่เนื่องจากไม่มีข้อมูล มันเป็นเพียงคุณสมบัติของตัวแปรสุ่ม$E$

เมื่อคุณเก็บรวบรวมข้อมูลจากการกระจาย IID นี้คุณมีความเข้าใจ n วิธีที่ดีที่สุดในการประเมินความคาดหวังคือการใช้ค่าเฉลี่ยตัวอย่าง กุญแจสำคัญในที่นี้คือเราได้รับข้อมูล iid ดังนั้นจึงไม่มีการสั่งซื้อข้อมูล ตัวอย่างx 1 , x 2 , ... , x nเป็นเช่นเดียวกับตัวอย่างx 2 , x 5 , x 1 , x n $x_1, x_2, \dots, x_n$$x_1, x_2, \dots, x_n$$x_2, x_5, x_1, x_n..$

แก้ไข

ความแปรปรวนของตัวอย่างเป็นการวัดการกระจายตัวแบบเฉพาะสำหรับตัวอย่างชนิดที่วัดระยะทางเฉลี่ยจากค่าเฉลี่ย มีการกระจายแบบอื่นเช่นช่วงข้อมูลและช่วง Inter-Quantile

แม้ว่าคุณจะเรียงลำดับตามลำดับจากน้อยไปมาก แต่ก็ไม่ได้เปลี่ยนลักษณะของตัวอย่าง ตัวอย่าง (ข้อมูล) ที่คุณได้รับคือการรับรู้จากตัวแปร การคำนวณความแปรปรวนตัวอย่างนั้นคล้ายกับการเข้าใจว่าการกระจายตัวอยู่ในตัวแปรเท่าใด ตัวอย่างเช่นถ้าคุณสุ่มตัวอย่าง 20 คนและคำนวณความสูงของพวกเขาแล้วนั่นคือ 20 "การรับรู้" จากตัวแปรสุ่มความสูงของคน ตอนนี้ความแปรปรวนตัวอย่างควรจะวัดความแปรปรวนในความสูงของบุคคลทั่วไป หากคุณสั่งซื้อข้อมูล 100 , 110 , 123 , 124 , … $X =$

$$100, 110, 123, 124, \dots,$$

ที่ไม่เปลี่ยนแปลงข้อมูลในตัวอย่าง

ให้ดูอีกตัวอย่างหนึ่ง ช่วยบอกว่าคุณมี 100 ข้อสังเกตจากตัวแปรสุ่มสั่งซื้อในลักษณะนี้จากนั้นระยะทางเฉลี่ยต่อมาคือ 1 หน่วยดังนั้นโดยวิธีการของคุณความแปรปรวนจะเป็น 1

$$1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, ... 100.$$

วิธีการตีความ "ความแปรปรวน" หรือ "การกระจาย" คือการเข้าใจช่วงของค่าที่เป็นไปได้สำหรับข้อมูล ในกรณีนี้คุณจะได้รับช่วง. 99 หน่วยซึ่งแน่นอนไม่ได้เป็นตัวแทนของการเปลี่ยนแปลงที่ดี

หากแทนที่จะใช้ค่าเฉลี่ยคุณเพียงแค่รวมความแตกต่างที่ตามมาความแปรปรวนของคุณจะเท่ากับ 99 แน่นอนว่าไม่ได้แสดงถึงความแปรปรวนในตัวอย่างเพราะ 99 ให้ช่วงของข้อมูลไม่ใช่ความแปรปรวน

มันถูกกำหนดไว้อย่างนั้น!

นี่คือพีชคณิต ให้ค่าเป็น ) แสดงว่าโดยFฟังก์ชันการกระจายเชิงประจักษ์ค่าเหล่านี้ (ซึ่งหมายความว่าแต่ละx ฉันก่อมวลน่าจะเป็นของ1 / nที่ค่าx ฉัน ) และปล่อยให้XและYเป็นตัวแปรสุ่มอิสระที่มีการกระจายF โดยอาศัยคุณสมบัติพื้นฐานของความแปรปรวน (กล่าวคือมันเป็นรูปสี่เหลี่ยมกำลังสอง) เช่นเดียวกับความหมายของFและความจริง$\mathbf{x}=(x_1, x_2, \ldots, x_n)$$F$$x_i$$1/n$$x_i$$X$$Y$$F$$F$และ Yมีค่าเฉลี่ยเท่ากัน$X$$Y$

$$\eqalign{ \operatorname{Var}(\mathbf{x})&=\operatorname{Var}(X) = \frac{1}{2}\left(\operatorname{Var}(X) + \operatorname{Var}(Y)\right)=\frac{1}{2}\left(\operatorname{Var}(X-Y)\right)\\ &=\frac{1}{2}\left(\mathbb{E}((X-Y)^2) - \mathbb{E}(X-Y)^2\right)\\ &=\mathbb{E}\left(\frac{1}{2}(X-Y)^2\right) - 0\\ &=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2. }$$

สูตรนี้ไม่ได้ขึ้นอยู่กับวิธีการจัดเรียง : ใช้คู่ที่เป็นไปได้ทั้งหมดของการเปรียบเทียบโดยใช้ความแตกต่างกำลังสองครึ่ง มันสามารถ แต่จะเกี่ยวข้องกับค่าเฉลี่ยในช่วง orderings เป็นไปได้ทั้งหมด (กลุ่มS ( n )ทุกn !พีชคณิตดัชนี1 , 2 , ... , n ) กล่าวคือ$\mathbf{x}$$\mathfrak{S}(n)$$n!$$1,2,\ldots, n$

$$\operatorname{Var}(\mathbf{x})=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2 = \frac{1}{n!}\sum_{\sigma\in\mathfrak{S}(n)} \frac{1}{n} \sum_{i=1}^{n-1} \frac{1}{2}(x_{\sigma(i)} - x_{\sigma(i+1)})^2.$$

การรวมภายในนั้นจะใช้ค่าที่เรียงลำดับใหม่และผลรวมความแตกต่างกำลังสองครึ่ง (ครึ่ง) ระหว่างคู่ที่ต่อเนื่องกันทั้งหมดn - 1 ส่วนโดยnหลักเฉลี่ยเหล่านี้แตกต่าง Squared เนื่อง มันคำนวณสิ่งที่เป็นที่รู้จักในฐานะล่าช้า 1 semivariance บวกด้านนอกไม่นี้สำหรับ orderings$x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}$$n-1$$n$

---

มุมมองเชิงพีชคณิตที่เทียบเท่ากันทั้งสองนี้ของสูตรความแปรปรวนมาตรฐานให้ข้อมูลเชิงลึกใหม่เกี่ยวกับความแปรปรวน ความแปรปรวนร่วมคือการวัดผกผันของความแปรปรวนร่วมอนุกรมของลำดับ: ความแปรปรวนร่วมสูง (และตัวเลขมีความสัมพันธ์เชิงบวก) เมื่อความแปรปรวนต่ำและตรงกันข้าม ความแปรปรวนของชุดข้อมูลที่ไม่ได้เรียงลำดับจึงเป็นค่าเฉลี่ยของ semivariance ที่เป็นไปได้ทั้งหมดที่หาได้ภายใต้การจัดลำดับใหม่โดยพลการ

เพียงเติมเต็มให้กับคำตอบอื่น ๆ ความแปรปรวนสามารถคำนวณได้เป็นความแตกต่างยกกำลังสองระหว่างคำ:

$$\begin{align} &\text{Var}(X) = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i-x_j\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i - \overline x -x_j + \overline x\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left((x_i - \overline x) -(x_j - \overline x\right))^2 = \\ &\frac{1}{n}\sum_i^n \left(x_i - \overline x \right)^2 \end{align}$$

ฉันคิดว่านี่เป็นข้อเสนอที่ใกล้เคียงที่สุดกับ OP โปรดจำไว้ว่าความแปรปรวนเป็นการวัดการกระจายตัวของการสังเกตการณ์ทุกครั้งในเวลาเดียวกันไม่เพียง แต่ระหว่างตัวเลข "เพื่อนบ้าน" ในชุด

---

UPDATE

$X = {1, 2, 3, 4, 5}$$Var(X) = 2$

$Var(X) = 1$

$$Var(X) = \\ = \frac{(5-1)^2+(5-2)^2+(5-3)^2+(5-4)^2+(5-5)^2+(4-1)^2+(4-2)^2+(4-3)^2+(4-4)^2+(4-5)^2+(3-1)^2+(3-2)^2+(3-3)^2+(3-4)^2+(3-5)^2+(2-1)^2+(2-2)^2+(2-3)^2+(2-4)^2+(2-5)^2+(1-1)^2+(1-2)^2+(1-3)^2+(1-4)^2+(1-5)^2}{2 \cdot 5^2} = \\ =\frac{16+9+4+1+9+4+1+1+4+1+1+4+1+1+4+9+1+4+9+16}{50} = \\ =2$$

Others have answered about the usefulness of variance defined as usual. Anyway, we just have two legitimate definitions of different things: the usual definition of variance, and your definition.

Then, the main question is why the first one is called variance and not yours. That is just a matter of convention. Until 1918 you could have invented anything you want and called it "variance", but in 1918 Fisher used that name to what is still called variance, and if you want to define anything else you will need to find another name to name it.

The other question is if the thing you defined might be useful for anything. Others have pointed its problems to be used as a measure of dispersion, but it's up to you to find applications for it. Maybe you find so useful applications that in a century your thing is more famous than variance.

@GreenParker คำตอบนั้นมีความสมบูรณ์มากกว่า แต่ตัวอย่างที่เข้าใจง่ายอาจมีประโยชน์ในการอธิบายข้อเสียของวิธีการของคุณ

ในคำถามของคุณดูเหมือนว่าลำดับของการรับรู้ตัวแปรสุ่มปรากฏขึ้น อย่างไรก็ตามมันเป็นเรื่องง่ายที่จะคิดตัวอย่างที่มันไม่

ลองพิจารณาตัวอย่างของความสูงของบุคคลในประชากร ลำดับที่บุคคลถูกวัดนั้นไม่เกี่ยวข้องกับทั้งความสูงเฉลี่ยในประชากรและความแปรปรวน (การกระจายค่าเหล่านั้นรอบค่าเฉลี่ย) อย่างไร

วิธีการของคุณดูเหมือนจะแปลกไปกับกรณีเช่นนี้

แม้ว่าจะมีคำตอบที่ดีมากมายสำหรับคำถามนี้ฉันเชื่อว่าประเด็นสำคัญบางอย่างที่ถูกทิ้งไว้เบื้องหลังและเนื่องจากคำถามนี้เกิดขึ้นกับจุดที่น่าสนใจจริง ๆ ฉันจึงอยากจะให้มุมมองอื่น

Why isn't variance defined as the difference between every value following    
each other instead of the difference to the average of the values?

สิ่งแรกที่ต้องคำนึงถึงคือความแปรปรวนเป็นพารามิเตอร์ชนิดหนึ่งไม่ใช่การคำนวณบางประเภท มีคำจำกัดความทางคณิตศาสตร์ที่เข้มงวดว่าพารามิเตอร์คืออะไร แต่ในตอนนี้เราสามารถคิดได้ว่าเป็นการดำเนินการทางคณิตศาสตร์เกี่ยวกับการแจกแจงของตัวแปรสุ่ม ตัวอย่างเช่นถ้า$X$ เป็นตัวแปรสุ่มที่มีฟังก์ชั่นการกระจาย $F_X$ จากนั้นมันหมายถึง $\mu_x$ซึ่งเป็นพารามิเตอร์ก็คือ:

$$\mu_X = \int_{-\infty}^{+\infty}xdF_{X}(x)$$

และความแปรปรวนของ $X$, $\sigma^2_X$, คือ:

$$\sigma^2_X = \int_{-\infty}^{+\infty}(x - \mu_X)^2dF_{X}(x)$$

บทบาทของการประมาณค่าทางสถิติคือการจัดเตรียมชุดการรับรู้ของ rv ซึ่งเป็นการประมาณที่ดีสำหรับพารามิเตอร์ที่น่าสนใจ

What I wanted to show is that there is a big difference in the concepts of a parameters (the variance for this particular question) and the statistic we use to estimate it.

Why isn't the variance calculated this way?

So we want to estimate the variance of a random variable $X$ from a set of independent realizations of it, lets say $x = \{x_1,\ldots,x_n\}$. The way you propose doing it is by computing the absolute value of successive differences, summing and taking the mean:

$$\psi(x) = \frac{1}{n}\sum_{i = 2}^{n}|x_i - x_{i-1}|$$

and the usual statistic is:

$$S^2(x) = \frac{1}{n-1}\sum_{i = i}^{n}(x_i - \bar{x})^2,$$

where $\bar{x}$ is the sample mean.

When comparing two estimator of a parameter the usual criterion for the best one is that which has minimal mean square error (MSE), and a important property of MSE is that it can be decomposed in two components:

MSE = estimator bias + estimator variance.

Using this criterion the usual statistic, $S^2$, has some advantages over the one you suggests.

• First it is a unbiased estimator of the variance but your statistic is not unbiased.

• One other important thing is that if we are working with the normal distribution then $S^2$ is the best unbiased estimator of $\sigma^2$ in the sense that it has the smallest variance among all unbiased estimators and thus minimizes the MSE.

When normality is assumed, as is the case in many applications, $S^2$ is the natural choice when you want to estimate the variance.

The time-stepped difference is indeed used in one form, the Allan Variance. http://www.allanstime.com/AllanVariance/

Lots of good answers here, but I'll add a few.

1. The way it is defined now has proven useful. For example, normal distributions appear all the time in data and a normal distribution is defined by its mean and variance. Edit: as @whuber pointed out in a comment, there are various other ways specify a normal distribution. But none of them, as far as I'm aware, deal with pairs of points in sequence.
2. Variance as normally defined gives you a measure of how spread out the data is. For example, lets say you have a lot of data points with a mean of zero but when you look at it, you see that the data is mostly either around -1 or around 1. Your variance would be about 1. However, under your measure, you would get a total of zero. Which one is more useful? Well, it depends, but its not clear to me that a measure of zero for its "variance" would make sense.
3. It lets you do other stuff. Just an example, in my stats class we saw a video about comparing pitchers (in baseball) over time. As I remember it, pitchers appeared to be getting worse since the proportion of pitches that were hit (or were home-runs) was going up. One reason is that batters were getting better. This made it hard to compare pitchers over time. However, they could use the z-score of the pitchers to compare them over time.

Nonetheless, as @Pere said, your metric might prove itself very useful in the future.