มีการทดสอบทางสถิติ "ความลับ" ที่ใช้พลังงานต่ำมากหรือไม่?

พื้นหลัง

ในวิทยาการคอมพิวเตอร์คณิตศาสตร์และบางครั้งในสาขาอื่นตัวอย่าง "ความลับ" ไม่เพียง แต่จะให้ความบันเทิง แต่มีประโยชน์ในการแสดงแนวคิดบางอย่างเช่น:

BogosortและSlowsortเป็นอัลกอริธึมการเรียงลำดับที่ไม่มีประสิทธิภาพซึ่งสามารถใช้เพื่อทำความเข้าใจคุณสมบัติของอัลกอริทึมโดยเฉพาะเมื่อเปรียบเทียบกับอัลกอริทึมการเรียงลำดับอื่น ๆ
ภาษาการเขียนโปรแกรมลึกลับแสดงให้เห็นว่าแนวคิดของภาษาการเขียนโปรแกรมที่ครอบคลุมและช่วยชื่นชมภาษาการเขียนโปรแกรมที่ดี
ฟังก์ชั่น Weierstrassและฟังก์ชั่น Dirichletส่วนใหญ่พบว่าการใช้งานเพื่อแสดงให้เห็นถึงความเข้าใจผิดบางอย่างเกี่ยวกับแนวคิดของความต่อเนื่อง

ขณะนี้ฉันกำลังเตรียมการสอนเกี่ยวกับการใช้การทดสอบสมมติฐานและคิดว่าการทดสอบที่มีกำลังไฟต่ำมาก (แต่ไม่มีข้อบกพร่องอื่น ๆ ) จะช่วยอธิบายแนวคิดของพลังทางสถิติได้ (แน่นอนฉันยังต้องตัดสินใจด้วยตนเองว่าตัวอย่างที่กำหนดมีประโยชน์อย่างยิ่งสำหรับผู้ชมของฉันหรือเพียงแค่สับสน)

คำถามจริง

มีการทดสอบทางสถิติใด ๆ ที่ใช้กำลังไฟต่ำหรือไม่โดยเฉพาะเจาะจงมากขึ้น:

การทดสอบนั้นสอดคล้องกับกรอบทั่วไปของการทดสอบสมมติฐานนั่นคือทำงานได้กับสมมติฐานว่างมีข้อกำหนดและส่งกลับ ค่าp (ถูกต้อง)
มันไม่ได้ตั้งใจ / เสนอสำหรับการใช้งานอย่างจริงจัง
มันมีพลังงานต่ำมาก (เนื่องจากข้อบกพร่องในการออกแบบโดยเจตนาและไม่ได้เกิดจากตัวอย่างหรือขนาดของเอฟเฟกต์ต่ำ)

หากคุณสามารถยืนยันได้ว่าการทดสอบดังกล่าวไม่มีอยู่จริงฉันจะพิจารณาคำตอบที่ถูกต้องสำหรับคำถามของฉันด้วย หากในอีกทางหนึ่งมีการทดสอบมากมายเช่นนี้ฉันสนใจในการทดสอบที่มีประสิทธิภาพมากที่สุดนั่นคือมันควรจะเข้าถึงได้ง่ายและมีผลที่โดดเด่น

โปรดทราบว่าฉันไม่ได้ขอให้เลือกทั่วไปของข้อผิดพลาดทางสถิติ (การเก็บเชอร์รี่ ฯลฯ ) หรือคล้ายกัน

สิ่งที่ฉันพบจนถึง

การค้นหาทางอินเทอร์เน็ตไม่ได้ให้อะไรฉันเลย

ความพยายามในการสร้างบางสิ่งเช่นนี้สิ้นสุดลงทั้งในการทดสอบที่มีอยู่ (มีประโยชน์) หรือรูปแบบนั้นไม่ใช่การทดสอบปกติ ตัวอย่างเช่นผมคิดเกี่ยวกับการทดสอบว่าประชากรมีค่าเฉลี่ยในแง่บวกว่าผลตอบแทนเท่านั้นใช่ถ้าทุกตัวอย่างเป็นบวก; แต่การทดสอบนั้นไม่ส่งคืน ค่าpดังนั้นจึงไม่เหมาะสมภายในกรอบการทดสอบตามปกติ ถ้าฉันเพียงแค่นับสัญญาณบวกและลบเป็นสถิติการทดสอบ (และคำนวณ ค่าpตามนั้น) ฉันจะจบลงด้วยการทดสอบเครื่องหมายซึ่งเป็นการทดสอบที่สมเหตุสมผล

hypothesis-testing teaching humor

— Wrzlprmft
แหล่งที่มา

เป็นทางคณิตศาสตร์มากขึ้นตัวอย่าง "ความลับ" (ซึ่งมาก) มีแนวโน้มที่จะเป็นตัวอย่างที่เฉพาะเจาะจงกับความเข้าใจผิดที่นิยม; หนังสือหลายเล่มมีตัวอย่างดังกล่าว คำถามของคุณเป็นคำถามประเภท "รายการใหญ่" และกว้างเกินไป (แม้ว่าคุณควรทราบว่าผู้ใช้หลายคนสรุปคำถามไม่ชัดเจน) หากคุณสามารถชี้แจงคำถามของคุณและ จำกัด ขอบเขตให้แคบลงมันอาจเหมาะกับไซต์ได้ดีกว่า

— Glen_b -Reinstate Monica

พลังงานต่ำเมื่อเทียบกับอะไร เลห์มันน์เป็นตัวอย่างของการทดสอบอัตราส่วนความน่าจะเป็นแบบทั่วไปที่มีพลังงานต่ำกว่าภายใต้สมมติฐานทางเลือกใด ๆ

— Scortchi - Reinstate Monica

ตัวประมาณโง่ ๆ ที่คุณใช้ Rao-Blackwellization สามารถใช้เป็นสถิติทดสอบได้ ตัวอย่างเช่นมีการสังเกตครั้งแรกในตัวอย่างที่ใช้เป็นตัวประมาณค่าเฉลี่ย เมื่อ Rao-Blackwellized คุณจะได้ค่าเฉลี่ยตัวอย่าง ฉันต้องทำแบบฝึกหัดมากมายในชั้นเรียน อย่างไรก็ตามสถิตินี้สามารถใช้แทนค่าเฉลี่ยตัวอย่างในบางสิ่งเช่นการทดสอบแต่ไม่ฉันไม่สามารถคิดถึงสิ่งใดในรูปแบบที่คุณต้องการโดยตรงหรือฉันจะเขียนคำตอบไม่ใช่ความคิดเห็น แต่จะต้องมีบางสิ่งที่แสดงให้เห็นถึงความล้มเหลวของวิธีการทั่วไปสำหรับการสร้างการทดสอบ

t

$t$

— user54038

ฉันจะขุดกระดาษ Lehmann เมื่อฉันอยู่ที่คอมพิวเตอร์ พลังของการทดสอบภายใต้ null นั้นเป็นเพียงขนาดของการทดสอบ

— Scortchi - Reinstate Monica

ตัวอย่างการทดสอบที่ใช้ในชั้นเรียนที่ฉันเคยเป็นนักเรียนใน (เมื่อหลายปีก่อน) คือ "กลิ้งตาย 20 ด้านอย่างยุติธรรมและปฏิเสธถ้าคุณหมุน 1" (เป็นส่วนหนึ่งของการอภิปรายของเส้นโค้งพลังงาน) หลักสูตรนี้ไม่สนใจข้อมูลทั้งหมด แต่เป็นการทดสอบ "ที่ถูกต้อง" ซึ่งไม่ได้มีอัตราความผิดพลาดประเภทที่สูงกว่าที่ฉันต้องการ (ซึ่งเท่ากับ 5% ในบริบทที่เป็นตัวอย่างที่ให้มา)

— Glen_b -Reinstate Monica

คำตอบ:

มีข้อสังเกตเล็กน้อยเกี่ยวกับ Neyman – Pearson lemma (หลักฐานใน Geisser (2006), โหมดของการอนุมานทางสถิติแบบ Parametric , Ch 4.4): กำหนดอย่างน้อย level- มีประสิทธิภาพทดสอบของ null สมมติฐานความหนาแน่น VSความหนาแน่นจากข้อมูลx

E ϕ (X) = α

$\operatorname{E}\phi(X)=\alpha$

ϕ (x) = {\begin{cases} 0 & when f_{0} (x) < k f_{1} (x) \\ 1 & when f_{0} (x) > k f_{1} (x) \end{cases}

$\phi(x) = \begin{cases} 0\ & \text{when $f_0(x) < kf_1(x)$} \\ 1\ & \text{when $f_0(x) > kf_1(x)$} \end{cases}$

α

$\alpha$

ϕ

$\phi$

H_{0} :

$H_0:$

f_{0}

$f_0$

H_{1} :

$H_1:$

f_{1}

$f_1$

x

$x$

จากผลลัพธ์นี้คุณสามารถได้รับอย่างน้อยทรงพลังอย่างมีประสิทธิภาพน้อยที่สุดในท้องถิ่นการทดสอบที่คล้ายกันที่ทรงพลังน้อยที่สุดและทรงพลังน้อยที่สุด "ฉันลำเอียง" (ฉันหมายถึงผู้ที่มีพลังต่ำกว่าในทางเลือกใด ๆ หากคุณมีพลังมากที่สุดอยู่แล้ว & c ทดสอบเพียงแค่คูณสถิติการทดสอบของคุณด้วย -1 เพื่อรักษาการแบ่งพื้นที่ตัวอย่างที่มันเกิดขึ้นในขณะที่กลับลำดับของพาร์ติชัน

บางทีที่ @ user54038 แนะนำว่า "ความล้มเหลวของวิธีการทดสอบทั่วไป" อาจน่าสนใจกว่า Lehmann (1950), "หลักการบางอย่างของทฤษฎีการทดสอบสมมติฐานทางสถิติ", Ann. คณิตศาสตร์. statist , 21 , 1, คุณลักษณะตัวอย่างต่อไปนี้เพื่อสไตน์:

ให้เป็นตัวแปรสุ่มที่สามารถรับค่าพร้อมความน่าจะเป็นดังที่ระบุไว้: $X$ $0, \pm 1, \pm 2$

$\begin{array}{rccccc} - 2 & 2 & - 1 & 1 & 0 \\ Hypothesis H : & \frac{α}{2} & \frac{α}{2} & \frac{1}{2} - α & \frac{1}{2} - α & α \\ Alternatives: & p C & (1 - p) C & \frac{1 - C}{1 - α} (\frac{1}{2} - α) & \frac{1 - C}{1 - α} (\frac{1}{2} - α) & α \frac{1 - c}{1 - α} \end{array}$ $\begin{array}{r c c c c c} & -2 & 2 & -1 & 1 & 0 \\ \hline \text{Hypothesis $H$:} & \frac{\alpha}{2} & \frac{\alpha}{2} & \frac{1}{2} - \alpha & \frac{1}{2} - \alpha & \alpha\\ \hline \text{Alternatives:} & pC & (1-p)C & \frac{1-C}{1-\alpha}\left(\frac{1}{2}-\alpha\right) & \frac{1-C}{1-\alpha}\left(\frac{1}{2}-\alpha\right) & \alpha\frac{1-c}{1-\alpha}\\ \end{array}$ นี่ , , เป็นค่าคงที่ ,และช่วงกว่าช่วง[0,1] $\alpha$ $C$ $0 < \alpha \leq \frac{1}{2}$ $\frac{\alpha}{2-\alpha}< C <\alpha$ $p$ $[0,1]$

มันเป็นที่ต้องการในการทดสอบสมมติฐานที่ระดับนัยสำคัญ \การทดสอบอัตราส่วนความน่าจะเป็นปฏิเสธเมื่อและด้วยเหตุนี้กำลังของมันคือต่อแต่ละทางเลือก ตั้งแต่การทดสอบนี้แย่กว่าไร้ประโยชน์อย่างแท้จริงสำหรับการทดสอบที่มีกำลังสามารถทำได้โดยไม่ต้องสังเกตเลยเพียงแค่ใช้ตารางตัวเลขสุ่ม $H$ $\alpha$ $X=\pm2$ $C$ $C<\alpha$ $\alpha$ $X$

โปรดทราบว่ามันเป็นการทดสอบความน่าจะเป็นแบบทั่วไปที่เขากำลังพิจารณาโดยใช้ในบทบาทของพารามิเตอร์ที่สร้างความรำคาญ ดังนั้นเมื่อหรือ ,หรือตามลำดับ, และอัตราส่วนความน่าจะเป็นมาถึงในทั้งสองกรณี; สำหรับค่าอื่น ๆ ของมันเป็นค่าที่ต่ำกว่าของalpha} $p$ $X=-2$ $X=2$ $\hat p=1$ $\hat p=0$ $\frac{2C}{\alpha}$ $X$ $\frac{1-C}{1-\alpha}$

— Scortchi
แหล่งที่มา

(เกี่ยวข้องกับความคิดเห็นโดย @Scortchi)

สมมติว่าและเราต้องการทดสอบสมมติฐาน $X \sim N(\mu, 1)$

\begin{aligned} H_{0} & : μ = 0 \\ H_{1} & : μ \neq 0 \end{aligned}

$\begin{align*} H_0&: \mu = 0 \\ H_1&: \mu \neq 0 \end{align*}$

เพื่อประโยชน์ของ esetoricism เรามาเพิ่มข้อมูลของเราด้วย "เหรียญพลิก" โดยที่เป็นที่รู้จักและไม่เล็กกว่าระดับนัยสำคัญ (เช่น ) พิจารณาการปฏิเสธขอบเขตของแบบฟอร์ม: $Z \sim Bernoulli(p)$ $p$ $\alpha$ $p \in [\alpha, 1]$

R = {(X, Z) | z = 1 \land | x | > Φ^{- 1} (\frac{α}{2 p})}

$R = \left\{(X, Z) \ | \ z = 1 \ \wedge |x| > \Phi^{-1}\left(\frac{\alpha}{2p}\right) \right\}$

โดยการก่อสร้างนี้คือการทดสอบที่ถูกต้องขนาด\ $\alpha$

\begin{aligned} P (X \in R | μ = 0) & = P (Z = 1, | X | > Φ^{- 1} (\frac{α}{2 p})) \\ = P (Z = 1) P (| X | > Φ^{- 1} (\frac{α}{2 p})) \\ = p \frac{α}{p} = α \end{aligned}

$\begin{align*} P(X\in R \ | \ \mu=0) &= P\left(Z=1 \ , \ |X| > \Phi^{-1}\left(\frac{\alpha}{2p}\right)\right) \\ &= P(Z=1)P\left(|X| > \Phi^{-1}\left(\frac{\alpha}{2p}\right)\right) \\ &= p\frac{\alpha}{p} = \alpha \end{align*}$

พลังของการทดสอบนี้ แต่ไม่เคยได้มากกว่าพีตัวอย่างเช่นสมมติว่าข้อมูลที่สังเกตของเราคือ0) เห็นได้ชัดว่าสมมติฐานว่างควรถูกปฏิเสธ แต่เนื่องจากเหรียญของเรา "แสดงหาง" เราไม่สามารถปฏิเสธ null ได้ การตั้งค่านำไปสู่การเป็นตัวอย่างที่แม้บ้าบอที่ภูมิภาคปฏิเสธไม่ได้ขึ้นอยู่กับที่ทุกคน แต่ก็ยังคงเป็นภูมิภาคปฏิเสธที่ถูกต้องมีขนาด\ $p$ $(x, z) = (1000000, 0)$ $p=\alpha$ $X$ $\alpha$

คำถามที่คล้ายกันอาจให้เป็นการบ้านโดยการเปลี่ยนทางแยกเป็นสหภาพในภูมิภาคการปฏิเสธ ภูมิภาคนี้มีพลังน้อยกว่าภูมิภาคที่ไม่มีแต่มีเหตุผลมากกว่าในแง่ที่ว่าอำนาจไม่มีขอบเขตสูงสุด $Z$

— knrumsey
แหล่งที่มา

(+1) สัมพันธ์อย่างใกล้ชิดเนื่องจากมีสถิติเสริมหนึ่งมิติคุณสามารถแจกจ่ายด้วยการพลิกเหรียญโดยให้โดยที่เป็นฟังก์ชั่นการกระจายของS

S

$S$

Z = 1 (S < F_{S}^{- 1} (p))

$Z=\boldsymbol{1}(S<F_S^{-1}(p))$

F_{S} (\cdot)

$F_S(\cdot)$

S

$S$

— Scortchi - Reinstate Monica