การวิเคราะห์อภิมานของการศึกษาซึ่งทั้งหมดนั้น“ ไม่ได้มีนัยสำคัญทางสถิติ” นำไปสู่ข้อสรุปที่“ สำคัญ” หรือไม่?

การวิเคราะห์อภิมานรวมถึงการศึกษาจำนวนมากซึ่งทั้งหมดนี้รายงานค่า P มากกว่า 0.05 เป็นไปได้หรือไม่ที่การวิเคราะห์อภิมานโดยรวมรายงานค่า P น้อยกว่า 0.05 ภายใต้สถานการณ์ใด

(ฉันค่อนข้างมั่นใจว่าคำตอบคือใช่ แต่ฉันต้องการอ้างอิงหรือคำอธิบาย)

ในทางทฤษฎีใช่ ...

ผลการศึกษารายบุคคลอาจไม่มีนัยสำคัญ แต่ดูด้วยกันผลลัพธ์อาจมีนัยสำคัญ

ในทางทฤษฎีคุณสามารถดำเนินการโดยการรักษาผลของการศึกษาที่ฉันชอบตัวแปรสุ่มอื่น ๆ$y_i$$i$

ขอให้จะเป็นตัวแปรสุ่ม (เช่น. ประมาณการจากการศึกษาฉัน ) ดังนั้นถ้าy iเป็นอิสระและE [ y i ] = μคุณสามารถประมาณค่าเฉลี่ยด้วย:$y_i$$i$$y_i$$E[y_i]=\mu$

$$\hat{\mu} = \frac{1}{n} \sum_i y_i$$

เพิ่มสมมติฐานเพิ่มเติมให้จะแปรปรวนของประมาณการปีฉัน จากนั้นคุณสามารถประมาณμอย่างมีประสิทธิภาพด้วยการถ่วงน้ำหนักค่าความแปรปรวนแบบผกผัน:$\sigma^2_i$$y_i$$\mu$

$$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$$

μอาจจะมีนัยสำคัญทางสถิติที่ระดับความเชื่อมั่นบางแม้ว่าประมาณการของแต่ละบุคคลไม่ได้$\hat{\mu}$

แต่อาจมีปัญหาใหญ่ประเด็นที่ควรรู้ ...

1. ถ้าดังนั้นการวิเคราะห์เมตาอาจไม่มาบรรจบกับμ (เช่นค่าเฉลี่ยของการวิเคราะห์เมตาคือตัวประมาณที่ไม่สอดคล้องกัน)$E[y_i] \neq \mu$$\mu$

   ตัวอย่างเช่นหากมีอคติต่อการเผยแพร่ผลลัพธ์เชิงลบการวิเคราะห์เมตาง่ายๆนี้อาจไม่สอดคล้องกันและมีอคติอย่างน่ากลัว! มันก็เหมือนกับการประเมินความน่าจะเป็นที่เหรียญพลิกหัวขึ้นโดยการสังเกตเพียงแค่พลิกที่มันไม่ได้หางที่ดิน!

2. และ y jอาจไม่เป็นอิสระ ตัวอย่างเช่นหากมีการศึกษาสองงานที่ฉันและ jอยู่บนพื้นฐานของข้อมูลเดียวกันดังนั้นการรักษา y iและ y jให้เป็นอิสระในการวิเคราะห์อภิมานอาจประเมินค่าความผิดพลาดมาตรฐานและประเมินนัยสำคัญทางสถิติอย่างมาก การประมาณการของคุณจะยังคงสอดคล้องกัน แต่ข้อผิดพลาดมาตรฐานจำเป็นต้องมีเหตุผลบัญชีสำหรับความสัมพันธ์ข้ามในการศึกษา$y_i$$y_j$$i$$j$$y_i$$y_j$

3. การรวม (1) และ (2) อาจไม่ดีเป็นพิเศษ

   ตัวอย่างเช่นการวิเคราะห์เมตาของการสำรวจความคิดเห็นเฉลี่ยมีแนวโน้มที่จะแม่นยำยิ่งขึ้นกว่าการสำรวจความคิดเห็นของแต่ละบุคคล แต่การหาค่าเฉลี่ยการสำรวจด้วยกันยังคงเสี่ยงต่อข้อผิดพลาดที่สัมพันธ์กัน สิ่งที่เกิดขึ้นในการเลือกตั้งที่ผ่านมาก็คือคนงานโพลทางออกวัยหนุ่มสาวมักจะสัมภาษณ์คนหนุ่มสาวมากกว่าคนชรา หากโพลทางออกทั้งหมดทำผิดพลาดเหมือนกันคุณมีการประเมินที่ไม่ดีซึ่งคุณอาจคิดว่าเป็นการประเมินที่ดี (โพลการออกนั้นมีความสัมพันธ์กันเพราะพวกเขาใช้วิธีการเดียวกันในการดำเนินการโพลทางออกและวิธีการนี้ทำให้เกิดข้อผิดพลาดเหมือนกัน)

ไม่ต้องสงสัยเลยว่าผู้คนที่คุ้นเคยกับการวิเคราะห์อภิมานอาจมีตัวอย่างที่ดีกว่าปัญหาที่มีความซับซ้อนมากขึ้นเทคนิคการประมาณค่าที่ซับซ้อนยิ่งขึ้น ฯลฯ แต่สิ่งนี้ได้มาจากทฤษฎีพื้นฐานที่สุดและปัญหาที่ใหญ่กว่า หากการศึกษาที่แตกต่างกันทำให้เกิดข้อผิดพลาดแบบสุ่มการวิเคราะห์เมตาอาจมีประสิทธิภาพอย่างไม่น่าเชื่อ หากข้อผิดพลาดเป็นระบบในการศึกษา (เช่นทุกคนมีจำนวนผู้ลงคะแนนต่ำกว่า ฯลฯ ) การศึกษาโดยเฉลี่ยก็จะถูกปิดเช่นกัน หากคุณดูถูกดูแคลนว่าการศึกษาที่มีความสัมพันธ์กันเป็นอย่างไรหรือข้อผิดพลาดที่มีความสัมพันธ์กันเป็นอย่างไรคุณประเมินขนาดตัวอย่างโดยรวมของคุณได้อย่างมีประสิทธิภาพและประเมินข้อผิดพลาดมาตรฐานของคุณต่ำไป

นอกจากนี้ยังมีปัญหาในทางปฏิบัติทุกชนิดของคำจำกัดความที่สอดคล้องกัน ฯลฯ ...

Yes. Suppose you have $N$ p-values from $N$ independent studies.

Fisher's test

(EDIT - in response to @mdewey's useful comment below, it is relevant to distinguish between different meta tests. I spell out the case of another meta test mentioned by mdewey below)

The classical Fisher meta test (see Fisher (1932), "Statistical Methods for Research Workers" ) statistic

$$F=-2\sum_{i=1}^N\ln(p_i)$$ has a $\chi^2_{2N}$ null distribution, as $-2\ln(U)\sim\chi^2_2$ for a uniform r.v. $U$.

Let $\chi^2_{2N}(1-\alpha)$ denote the $(1-\alpha)$-quantile of the null distribution.

$c$$c>\alpha$$F=-2N\ln(c)$$F>\chi^2_{2N}(1-\alpha)$

$$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$$ $\alpha=0.05$$N=20$$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

$N$ nulls is false.

EDIT:

Here is a plot of the "admissible" p-values against $N$, which confirms that $c$ grows in $N$, although it seems to level off at $c\approx0.36$.

I found an upper bound for the quantiles of the $\chi^2$ distribution

$$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$$ here, suggesting that $\chi^2_{2N}(1-\alpha)=O(N)$ so that $\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$ is bounded from above by $\exp(-1)$ as $N\to\infty$. As $\exp(-1)\approx0.3679$, this bound seems reasonably sharp.

Inverse Normal test (Stouffer et al., 1949)

The test statistic is given by

$$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$$ with $\Phi^{-1}$ the standard normal quantile function. The test rejects for large negative values, viz., if $Z < -1.645$ at $\alpha=0.05$. Hence, for $p_i=c$, $Z=\sqrt{N}\Phi^{-1}(c)$. When $c<0.5$, $\Phi^{-1}(c)<0$ and hence $Z\to_p-\infty$ as $N\to\infty$. If $c\geq0.5$, $Z$ will take values in the acceptance region for any $N$. Hence, a common p-value less than 0.5 is sufficient to produce a rejection of the meta test as $N\to\infty$.

More specifically, $Z < -1.645$ if $c<\Phi(-1.645/\sqrt{N})$, which tends to $\Phi(0)=0.5$ from below as $N\to\infty$.

The answer to this depends on what method you use for combining $p$-values. Other answers have considered some of these but here I focus on one method for which the answer to the original question is no.

The minimum $p$ method, also known as Tippett's method, is usually described in terms of a rejection at the $\alpha_*$ level of the null hypothesis. Define

$$p_{[1]} \le p_{[2]} \dots p_{[k]}$$ for the $k$ studies. Tippett's method then evaluates whether $$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$$

It is easy to see the since the $k$th root of a number less than unity is closer to unity the last term is greater than $\alpha_*$ and hence the overall result will be non-significant unless $p_{[1]}$ is already less than $\alpha_*$.

It is possible to work out the critical value and for example if we have ten primary studies each with a $p$-values of 00.05 so as close to significant as can be then the overall critical value is 0.40. The method can be seen as a special case of Wilkinson's method which uses $p_{[r]}$ for $1\le r\le k$ and in fact for the particular set of primary studies even $r=2$ is not significant ($p=0.09$)

L H C Tippett's method is described in a book The methods of statistics. 1931 (1st ed) and Wilkinson's method is here in an article "A statistical consideration in psychological research"