ทดสอบความแปรปรวนแน่นอน?

เป็นไปได้หรือไม่ที่จะทดสอบความละเอียด (หรือการมีอยู่) ของความแปรปรวนของตัวแปรสุ่มที่ให้กับกลุ่มตัวอย่าง? ในฐานะที่เป็นโมฆะ {ความแปรปรวนที่มีอยู่และ จำกัด } หรือ {การแปรปรวนไม่มีอยู่ / ไม่มีที่สิ้นสุด} จะยอมรับได้ เชิงปรัชญา (และการคำนวณ) สิ่งนี้ดูแปลกมากเพราะไม่ควรมีความแตกต่างระหว่างประชากรที่ไม่มีความแปรปรวนอัน จำกัด และอีกอันที่มีความแปรปรวนขนาดใหญ่มาก (พูด> ) ดังนั้นฉันจึงไม่หวังว่าปัญหานี้ แก้ไข$10^{400}$

วิธีการหนึ่งที่แนะนำให้ฉันคือทฤษฎีบทขีด จำกัด กลาง: สมมติว่ากลุ่มตัวอย่างเป็น iid และประชากรมีค่าเฉลี่ยที่ จำกัด ใครสามารถตรวจสอบได้ว่าค่าเฉลี่ยตัวอย่างมีข้อผิดพลาดมาตรฐานที่เหมาะสมกับการเพิ่มขนาดตัวอย่างหรือไม่ ฉันไม่แน่ใจว่าฉันเชื่อว่าวิธีการนี้จะได้ผล (โดยเฉพาะฉันไม่เห็นวิธีที่จะทำให้เป็นการทดสอบที่เหมาะสม)

ไม่มีนี้เป็นไปไม่ได้เพราะตัวอย่าง จำกัด ของขนาด$n$ไม่สามารถเชื่อถือได้แยกแยะความแตกต่างระหว่างการพูด, ประชากรปกติและประชากรปกติที่ปนเปื้อนโดย$1/N$ปริมาณของการกระจาย Cauchy ที่$N$ >> n$n$(แน่นอนว่าอดีตมีความแปรปรวนแน่นอนและหลังมีความแปรปรวนอนันต์) ดังนั้นการทดสอบแบบไม่มีพารามิเตอร์ใด ๆ จะมีพลังงานต่ำตามอำเภอใจต่อทางเลือกดังกล่าว

คุณไม่สามารถมั่นใจได้หากไม่ทราบการกระจาย แต่มีบางสิ่งที่คุณสามารถทำได้เช่นดูสิ่งที่อาจเรียกว่า "ความแปรปรวนบางส่วน" เช่นถ้าคุณมีตัวอย่างของขนาดคุณจะวาดความแปรปรวนที่ประเมินจากเทอมแรกnโดยที่nวิ่งจาก 2 ถึงน .$N$$n$$n$$N$

ด้วยความแปรปรวนประชากร จำกัด คุณหวังว่าความแปรปรวนบางส่วนในไม่ช้าก็จะเข้าใกล้ความแปรปรวนประชากร

ด้วยความแปรปรวนประชากรที่ไม่มีที่สิ้นสุดคุณจะเห็นการเพิ่มขึ้นของความแปรปรวนบางส่วนตามด้วยการปฏิเสธอย่างช้าๆจนกระทั่งค่าที่มีขนาดใหญ่มากถัดไปปรากฏในตัวอย่าง

นี่คือภาพประกอบที่มีตัวแปรสุ่มและตัวแปรสุ่ม Cauchy (และสเกลบันทึก)

สิ่งนี้อาจไม่ช่วยถ้ารูปร่างของการแจกแจงของคุณนั้นมีขนาดตัวอย่างที่ใหญ่กว่าที่คุณต้องการเพื่อระบุด้วยความมั่นใจที่เพียงพอนั่นคือค่าที่มีขนาดใหญ่มากนั้นค่อนข้างหายากสำหรับการแจกแจงที่มีความแปรปรวน จำกัด หรือหายากมากสำหรับการแจกแจงที่มีความแปรปรวนแบบไม่สิ้นสุด สำหรับการแจกแจงที่กำหนดจะมีขนาดตัวอย่างที่มีแนวโน้มมากกว่าที่จะไม่เปิดเผยธรรมชาติ ในทางกลับกันสำหรับขนาดตัวอย่างที่กำหนดมีการแจกแจงที่มีแนวโน้มมากกว่าที่จะไม่ปลอมตัวลักษณะของพวกเขาสำหรับขนาดของตัวอย่างนั้น

นี่คือคำตอบอื่น สมมติว่าคุณสามารถแก้ไขปัญหาได้สิ่งนี้:

$$H_{0}:\ X \sim t(\mathtt{df}=3)\mathrm{\ versus\ } H_{1}:\ X \sim t(\mathtt{df}=1).$$

จากนั้นคุณสามารถทำสามัญNeyman เพียร์สันทดสอบอัตราส่วนความน่าจะเป็นของเมื่อเทียบกับH 1 โปรดทราบว่าH 1คือCauchy (ความแปรปรวนอนันต์) และH 0เป็นtปกติของนักเรียนที่มี 3 องศาอิสระ (ความแปรปรวน จำกัด ) ซึ่งมี PDF: f ( x | ν ) = Γ ( ν + $H_{0}$$H_{1}$$H_{1}$$H_{0}$ $t$

$$f(x|\nu) = \frac{\Gamma\left(\frac{\nu + 1}{2}\right)}{\sqrt{\nu\pi}\Gamma\left(\frac{\nu}{2}\right)}\left(1 + \frac{x^{2}}{\nu} \right)^{-\frac{\nu + 1}{2}},$$

สำหรับ ∞ ได้รับข้อมูลตัวอย่างสุ่มอย่างง่ายx 1 , x 2 , ... , x nการทดสอบอัตราส่วนปฏิเสธH 0เมื่อ Λ ( x ) = Π n ฉัน= 1 F ( x ฉัน |เข้าพบ= 1 $-\infty < x < \infty$$x_{1},x_{2},\ldots,x_{n}$$H_{0}$ ที่k≥0ถูกเลือกเช่นนั้น P(Λ(X)>

$$\Lambda(\mathbf{x}) = \frac{\prod_{i=1}^{n}f(x_{i}|\nu = 1)}{\prod_{i=1}^{n}f(x_{i}|\nu = 3)} > k,$$ $k \geq 0$ $$P(\Lambda(\mathbf{X}) > k\,|\nu = 3) = \alpha.$$

มันเป็นพีชคณิตเล็กน้อยที่จะทำให้simpl ( x ) = ( √ )ง่ายขึ้น

$$\Lambda(\mathbf{x}) = \left(\frac{\sqrt{3}}{2}\right)^{n}\prod_{i = 1}^{n}\frac{\left(1 + x_{i}^{2}/3 \right)^{2}}{1 + x_{i}^{2}}.$$

$\Lambda(\mathbf{x})$$H_{0}$$\Lambda(\mathbf{x})$$\alpha = 0.05$$n = 13$

$H_{0}$$\Lambda$

set.seed(1)
x <- matrix(rt(1000000*13, df = 3), ncol = 13)
y <- apply(x, 1, function(z) prod((1 + z^2/3)^2)/prod(1 + z^2))
quantile(y, probs = 0.95)

$\approx 12.8842$$(\sqrt{3}/2)^{13}$$k \approx 1.9859$

$H_{0}$$H_{1}$$\alpha$

การปฏิเสธความรับผิด:นี่คือตัวอย่างของเล่น ฉันไม่มีสถานการณ์ในโลกแห่งความเป็นจริงที่ฉันอยากรู้ว่าข้อมูลของฉันมาจาก Cauchy เมื่อเทียบกับนักเรียนที่มี 3 df หรือไม่ และคำถามดั้งเดิมไม่ได้พูดอะไรเกี่ยวกับปัญหา parametrized ดูเหมือนว่ากำลังมองหาวิธีการแบบไม่มีพารามิเตอร์มากขึ้นซึ่งฉันคิดว่าคนอื่น ๆ พูดได้ดี จุดประสงค์ของคำตอบนี้มีไว้สำหรับผู้อ่านในอนาคตที่สะดุดกับชื่อของคำถามและกำลังมองหาวิธีตำราแบบดั้งเดิมที่มีฝุ่นมาก

$H_{1}:\nu \leq 1$

In order to test such a vague hypothesis, you need to average out over all densities with finite variance, and all densities with infinite variance. This is likely to be impossible, you basically need to be more specific. One more specific version of this and have two hypothesis for a sample $D\equiv Y_{1},Y_{2},\dots,Y_{N}$:

1. $H_{0}:Y_{i}\sim Normal(\mu,\sigma)$
2. $H_{A}:Y_{i}\sim Cauchy(\nu,\tau)$

One hypothesis has finite variance, one has infinite variance. Just calculate the odds:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\frac{\int P(D,\mu,\sigma|H_{0},I)d\mu d\sigma}{\int P(D,\nu,\tau|H_{A},I)d\nu d\tau}$$

Where $\frac{P(H_{0}|I)}{P(H_{A}|I)}$ is the prior odds (usually 1)

$$P(D,\mu,\sigma|H_{0},I)=P(\mu,\sigma|H_{0},I)P(D|\mu,\sigma,H_{0},I)$$ And $$P(D,\nu,\tau|H_{A},I)=P(\nu,\tau|H_{A},I)P(D|\nu,\tau,H_{A},I)$$

Now you normally wouldn't be able to use improper priors here, but because both densities are of the "location-scale" type, if you specify the standard non-informative prior with the same range $L_{1}<\mu,\tau<U_{1}$ and $L_{2}<\sigma,\tau<U_{2}$, then we get for the numerator integral:

$$\frac{\left(2\pi\right)^{-\frac{N}{2}}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma$$

Where $s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$ and $\overline{Y}=N^{-1}\sum_{i=1}^{N}Y_i$. And for the denominator integral:

$$\frac{\pi^{-N}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau$$

And now taking the ratio we find that the important parts of the normalising constants cancel and we get:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{\pi}{2}\right)^{\frac{N}{2}}\frac{\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

And all integrals are still proper in the limit so we can get:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{2}{\pi}\right)^{-\frac{N}{2}}\frac{\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

The denominator integral cannot be analytically computed, but the numerator can, and we get for the numerator:

$$\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma=\sqrt{2N\pi}\int_{0}^{\infty}\sigma^{-N} exp\left(-\frac{Ns^{2}}{2\sigma^{2}}\right)d\sigma$$

Now make change of variables $\lambda=\sigma^{-2}\implies d\sigma = -\frac{1}{2}\lambda^{-\frac{3}{2}}d\lambda$ and you get a gamma integral:

$$-\sqrt{2N\pi}\int_{\infty}^{0}\lambda^{\frac{N-1}{2}-1} exp\left(-\lambda\frac{Ns^{2}}{2}\right)d\lambda=\sqrt{2N\pi}\left(\frac{2}{Ns^{2}}\right)^{\frac{N-1}{2}}\Gamma\left(\frac{N-1}{2}\right)$$

And we get as a final analytic form for the odds for numerical work:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\times\frac{\pi^{\frac{N+1}{2}}N^{-\frac{N}{2}}s^{-(N-1)}\Gamma\left(\frac{N-1}{2}\right)}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

So this can be thought of as a specific test of finite versus infinite variance. We could also do a T distribution into this framework to get another test (test the hypothesis that the degrees of freedom is greater than 2).

The counterexample is not relevant to the question asked. You want to test the null hypothesis that a sample of i.i.d. random variables is drawn from a distribution having finite variance, at a given significance level. I recommend a good reference text like "Statistical Inference" by Casella to understand the use and the limit of hypothesis testing. Regarding h.t. on finite variance, I don't have a reference handy, but the following paper addresses a similar, but stronger, version of the problem, i.e., if the distribution tails follow a power law.

POWER-LAW DISTRIBUTIONS IN EMPIRICAL DATA SIAM Review 51 (2009): 661--703.

One approach that had been suggested to me was via the Central Limit Theorem.

This is a old question, but I want to propose a way to use the CLT to test for large tails.

Let $X = \{X_1,\ldots,X_n\}$ be our sample. If the sample is a i.i.d. realization from a light tail distribution, then the CLT theorem holds. It follows that if $Y = \{Y_1,\ldots,Y_n\}$ is a bootstrap resample from $X$ then the distribution of:

$$Z = \sqrt{n}\times\frac{mean(Y) - mean(X)}{sd(Y)},$$

is also close to the N(0,1) distribution function.

Now all we have to do is perform a large number of bootstraps and compare the empirical distribution function of the observed Z's with the e.d.f. of a N(0,1). A natural way to make this comparison is the Kolmogorov–Smirnov test.

The following pictures illustrate the main idea. In both pictures each colored line is constructed from a i.i.d. realization of 1000 observations from the particular distribution, followed by a 200 bootstrap resamples of size 500 for the approximation of the Z ecdf. The black continuous line is the N(0,1) cdf.