การทดสอบความเท่าเทียมกันสำหรับข้อมูลที่ไม่ปกติ?

ฉันมีข้อมูลบางอย่างที่ไม่สามารถสันนิษฐานได้ว่ามาจากการแจกแจงแบบปกติและฉันต้องการทำการทดสอบความเท่าเทียมกันระหว่างกลุ่ม สำหรับข้อมูลปกติมีเทคนิคเช่น TOST (การทดสอบสองด้านเดียว) TOST มีข้อมูลใดที่คล้ายคลึงกับข้อมูลปกติหรือไม่

hypothesis-testing equivalence tost

— Ryan C. Thompson
แหล่งที่มา

ฉันไม่คุ้นเคยกับ TOST แต่คุณกำลังมองหา Mann-Whitney? นี่คือการทดสอบแบบไม่มีพารามิเตอร์ (ในแง่ที่ว่าไม่มีข้อสันนิษฐานเกี่ยวกับการแจกแจง) ที่อาจให้หลักฐานว่าทั้งสองกลุ่มมาจากการแจกแจงที่ต่างกัน

— Nick Sabbe

ฉันกำลังมองหาการทดสอบที่สมมติฐานว่างคือว่ามีความแตกต่างและสมมติฐานทางเลือกคือมี (เกือบ) ไม่แตกต่างกัน

— Ryan C. Thompson

สำหรับกลุ่มตัวอย่างขนาดเล็กที่คุณอาจมีลักษณะที่เป็นคำตอบในการstats.stackexchange.com/questions/49782/... สำหรับตัวอย่างขนาดใหญ่วิธีการแบบคลาสสิกพร้อมการทดสอบแบบ t ก็ไม่ต้องขอบคุณ Central Limit Theorem

— Michael M

ไม่มีสิ่งใดในวลี "การทดสอบด้านเดียวสองครั้ง" - และตรรกะพื้นฐานไม่ได้มีความหมายถึงทฤษฎีปกติ มันควรจะเป็นไปได้อย่างสมบูรณ์แบบที่จะปรับให้เข้ากับทางเลือกการเปลี่ยนตำแหน่งด้วยการกระจายที่ไม่ปกติ แต่ระวัง - ในหลาย ๆ กรณีที่มีข้อมูลที่ไม่ปกติสิ่งที่คุณต้องการคือการทดสอบความเท่าเทียมกันแบบสเกล - กะและกับข้อมูลประเภทอื่นอย่างอื่นแทน การรู้ว่าสิ่งใดที่จำเป็นจริง ๆ ขึ้นอยู่กับสิ่งที่คุณวัดและปัญหาที่คุณแก้ไข แทนที่จะพยายามบีบหมุดของคุณให้เป็นรูกลมมันจะจ่ายเงินเพื่อตรวจสอบหมุด

— Glen_b -Reinstate Monica

คำตอบ:

ตรรกะของ TOST ที่ใช้สำหรับสถิติการทดสอบแบบtและz ของ Wald (เช่นและตามลำดับ) สามารถนำไปใช้กับการประมาณzสำหรับการทดสอบที่ไม่ใช่พารามิเตอร์เช่นเครื่องหมาย จัดอันดับการลงชื่อและการจัดลำดับการทดสอบ สำหรับความเรียบง่ายฉันคิดว่าความเท่าเทียมกันจะแสดงสมมาตรกับคำเดียว แต่การขยายคำตอบของฉันไปสู่เงื่อนไขความไม่สมดุลแบบสมมาตรนั้นตรงไปตรง $\theta / s_{\theta}$ $\theta / \sigma_{\theta}$

ปัญหาหนึ่งที่เกิดขึ้นเมื่อทำสิ่งนี้คือถ้ามีใครคุ้นเคยกับการแสดงคำที่เท่ากัน (พูด, ) ในหน่วยเดียวกันกับดังนั้นคำที่เทียบเท่าจะต้องแสดงในหน่วยของเครื่องหมายเฉพาะอันดับที่เซ็นชื่อ หรือสถิติอันดับรวมซึ่งเป็นทั้งลึกซึ้งและขึ้นอยู่กับN $\Delta$ $\theta$

อย่างไรก็ตามหนึ่งสามารถแสดงเงื่อนไขความเท่าเทียมกัน TOST ในหน่วยของสถิติการทดสอบตัวเอง พิจารณาว่าใน TOST ถ้าดังนั้นและtheta} ถ้าเราปล่อยแล้วและ\ (สถิติที่แสดงที่นี่ได้รับการประเมินในส่วนท้ายขวา :และ $z = \theta/\sigma_{\theta}$ $z_{1} = (\Delta - \theta)/\sigma_{\theta}$ $z_{2} = (\theta + \Delta)/\sigma_{\theta}$ $\varepsilon = \Delta / \sigma_{\theta}$ $z_{1} = \varepsilon - z$ $z_{2} = z + \varepsilon$ $p_{1} = \text{P}(Z > z_{1})$ $p_{2} = \text{P}(Z > z_{2})$ .) การใช้หน่วยของการแจกแจงzเพื่อกำหนดเกณฑ์ความเท่าเทียม / ความเกี่ยวข้องอาจจะดีกว่าสำหรับการทดสอบแบบไม่อิงพารามิเตอร์เนื่องจากทางเลือกจะกำหนดเกณฑ์ในหน่วยของผลรวมที่ลงนามหรืออันดับซึ่งอาจไม่มีความหมายอย่างมีนัยสำคัญต่อนักวิจัย ตีความ.

หากเรารับรู้ว่า (สำหรับช่วงเวลาที่เท่าเทียมกันแบบสมมาตร) มันเป็นไปไม่ได้ที่จะปฏิเสธสมมติฐานว่างของ TOST ใด ๆ เมื่อ $\varepsilon \le z_{1-\alpha}$ จากนั้นเราอาจดำเนินการตัดสินใจเกี่ยวกับขนาดที่เหมาะสมของคำที่เทียบเท่า ตัวอย่างเช่น $\varepsilon = z_{1-\alpha} + 0.5$ .

วิธีการนี้ได้ถูกนำไปใช้กับตัวเลือกสำหรับการแก้ไขความต่อเนื่อง ฯลฯ ในแพคเกจtostสำหรับ Stata (ซึ่งขณะนี้มีการใช้งาน TOST เฉพาะสำหรับการทดสอบ Shapiro-Wilk และ Shapiro-Francia) ซึ่งคุณสามารถเข้าถึงได้โดยการพิมพ์ใน Stata:

แก้ไข: ทำไมตรรกะของ TOST จึงเป็นเสียงและมีการใช้การจัดรูปแบบการทดสอบความเท่าเทียมกันในการทดสอบรถโดยสารฉันได้รับการโน้มน้าวใจว่าโซลูชันของฉันมีพื้นฐานมาจากความเข้าใจผิดที่ลึกซึ้งของสถิติโดยประมาณสำหรับการทดสอบ Shapiro-Wilk และ Shapiro-Francia

— อเล็กซิส
แหล่งที่มา

ไม่ใช่ TOST ต่อ se แต่การทดสอบ Komolgorov-Smirnovอนุญาตให้หนึ่งทดสอบความสำคัญของความแตกต่างระหว่างการกระจายตัวอย่างและการแจกแจงการอ้างอิงที่สองที่คุณสามารถระบุได้ คุณสามารถใช้การทดสอบนี้เพื่อแยกประเภทการกระจายที่แตกต่างกันออกไป แต่ไม่ใช่การแจกแจงที่แตกต่างกันโดยทั่วไป (อย่างน้อยไม่ได้โดยไม่มีการควบคุมสำหรับความผิดพลาดเงินเฟ้อในการทดสอบทางเลือกที่เป็นไปได้ทั้งหมด ... สมมติฐานทางเลือกสำหรับการทดสอบใด ๆ จะยังคงเป็นสมมติฐาน "catch-all" ที่เฉพาะเจาะจงน้อยลงตามปกติ

หากคุณสามารถตัดสินการทดสอบความแตกต่างของการแจกแจงระหว่างสองกลุ่มที่สมมุติฐานว่างคือว่าทั้งสองกลุ่มมีการกระจายเท่ากันคุณสามารถใช้การทดสอบ Komolgorov-Smirnov เพื่อเปรียบเทียบการกระจายของกลุ่มหนึ่งกับกลุ่มอื่น นั่นอาจเป็นวิธีการทั่วไป: ไม่สนใจความแตกต่างหากพวกเขาไม่ได้มีนัยสำคัญทางสถิติและปรับการตัดสินใจครั้งนี้ด้วยสถิติทดสอบ

ไม่ว่าในกรณีใดคุณอาจต้องการพิจารณาประเด็นที่ลึกซึ้งที่เกิดขึ้นจากวิธี "ทั้งหมดหรือไม่มีอะไร" เพื่อปฏิเสธสมมติฐานว่าง หนึ่งในปัญหาดังกล่าวได้รับความนิยมอย่างมากในการตรวจสอบความถูกต้องของครอส: " การทดสอบเชิงปกติ 'ไร้ประโยชน์เป็นหลัก' หรือไม่ " ผู้คนชอบที่จะตอบคำถามทดสอบการทดสอบเชิงบรรทัดฐานด้วยคำถาม: "ทำไมคุณต้องการทดสอบ โดยทั่วไปฉันตั้งใจจะทำให้เหตุผลการทดสอบเป็นโมฆะซึ่งอาจนำไปสู่ทิศทางที่ถูกต้องในที่สุด ส่วนสำคัญของการตอบสนองที่เป็นประโยชน์ต่อคำถามที่ฉันเชื่อมโยงที่นี่ดูเหมือนจะเป็นดังนี้:

หากคุณกังวลเกี่ยวกับการละเมิดสมมติฐานการทดสอบพารามิเตอร์คุณควรหาการทดสอบแบบไม่มีพารามิเตอร์ที่ไม่ได้ทำการตั้งสมมติฐานแบบกระจาย อย่าทดสอบว่าคุณต้องใช้การทดสอบแบบไม่มีพารามิเตอร์หรือไม่ แค่ใช้มัน!
คุณควรแทนที่คำถาม "การกระจายของฉันไม่ธรรมดาหรือไม่?" ด้วย "การกระจายตัวของฉันเป็นวิธีที่ผิดปกติและสิ่งนี้มีแนวโน้มที่จะส่งผลกระทบต่อการวิเคราะห์ความสนใจของฉันอย่างไร" ตัวอย่างเช่นการทดสอบเกี่ยวกับแนวโน้มกลาง (โดยเฉพาะที่เกี่ยวข้องกับวิธีการ) อาจมีความอ่อนไหวต่อความเบ้มากกว่าการตรวจแบบ Kurtosis และในทางกลับกันสำหรับการทดสอบเกี่ยวกับความแปรปรวน (co) อย่างไรก็ตามมีทางเลือกที่แข็งแกร่งสำหรับจุดประสงค์ในการวิเคราะห์ส่วนใหญ่ที่ไม่ได้มีความละเอียดอ่อนมากต่อประเภทที่ไม่ได้มาตรฐาน

หากคุณยังต้องการที่จะทำการทดสอบความเท่าเทียมนี่เป็นอีกการสนทนายอดนิยมในการตรวจสอบข้ามที่เกี่ยวข้องกับการทดสอบความเท่าเทียมกัน

— Nick Stauner
แหล่งที่มา

การทดสอบความเท่าเทียมนั้นได้รับการยอมรับอย่างดีและคุณเข้าใจผิดสมมติฐานว่างซึ่งโดยทั่วไปจะเป็นรูปแบบ H

_{0}^{-} : | θ - θ_{0} | \geq Δ

$^{-}_{0}: |\theta-\theta_{0}| \ge \Delta$ . นี่คือสมมติฐานช่วงเวลาที่สามารถแปลได้เช่นเป็นการทดสอบด้านเดียว (TOST) สองรายการ: H

_{01}^{-} : θ - θ_{0} \geq Δ

$^{-}_{01}: \theta-\theta_{0} \ge \Delta$ หรือเอช

_{01}^{-} : θ - θ_{0} \leq - Δ

$^{-}_{01}: \theta-\theta_{0} \le -\Delta$ . ถ้าใครปฏิเสธเอช

_{01}^{-}

$^{-}_{01}$ & ช

_{02}^{-}

$^{-}_{02}$ แล้วคุณจะต้องสรุปว่า

- Δ < θ - θ_{0} < Δ

$-\Delta < \theta - \theta_{0} < \Delta$ นั่นคือกลุ่มของคุณเทียบเท่าภายในช่วงเวลา

[- Δ, Δ]

$[-\Delta,\Delta]$ .

— Alexis

ยุติธรรมเพียงพอ ฉันอาจทำให้เข้าใจผิดเล็กน้อย ฉันได้ลบส่วนที่คุณดูเหมือนจะคัดค้าน อย่างไรก็ตามฉันคิดว่าคุณได้แสดงความคิดเห็นของคุณรุนแรงเกินไป แม้ว่าความจริงที่ว่าการแบ่งขั้วไฟฟ้าfail to/ rejectวิธีการบังคับนั้นดีขึ้น แต่ตัวอย่างส่วนใหญ่ก็ไม่สามารถแยกแยะความเป็นไปได้ที่ค่าว่างจะเป็นจริงอย่างสมบูรณ์ มีโอกาสที่จะเกิดข้อผิดพลาดในการปฏิเสธที่ผิดพลาดได้เสมอหากมีคนยืนยันว่าถูกปฏิเสธซึ่งมักไม่จำเป็นจริงๆ นั่นอาจเป็นจุดสำคัญที่ฉันตั้งใจจะทำในตอนแรก หวังว่ามันชัดเจนขึ้นเล็กน้อยในขณะนี้โดยไม่มีสิ่งที่ถูกลบ

— Nick Stauner

ในความคิดของฉันความแข็งแรงของการทดสอบความเท่ากัน (เช่น H

_{0}^{-}

$^{-}_{0}$ ) มาจากการรวมเข้ากับการทดสอบที่คุ้นเคยสำหรับความแตกต่าง (เช่น H

_{0}^{+}

$^{+}_{0}$ ) ลองดู: (1) ปฏิเสธ H

_{0}^{+}

$^{+}_{0}$ & ไม่ปฏิเสธ

_{0}^{-}

$^{-}_{0}$ สรุปความแตกต่างที่เกี่ยวข้อง ; (2) ไม่ปฏิเสธ H

_{0}^{+}

$^{+}_{0}$ & ปฏิเสธ H

_{0}^{-}

$^{-}_{0}$ สรุปความเท่าเทียม (สำหรับ

Δ

$\Delta$ ); (3) ปฏิเสธ H

_{0}^{+}

$^{+}_{0}$ & ปฏิเสธ H

_{0}^{-}

$^{-}_{0}$ สรุปความแตกต่างเล็กน้อย (เช่นมี แต่คุณไม่สนใจ); และ (4) ไม่ปฏิเสธ H

_{0}^{+}

$^{+}_{0}$ & ไม่ปฏิเสธ

_{0}^{-}

$^{-}_{0}$ สรุปการกำหนดไม่แน่นอน _ / _ การทดสอบที่ไม่ได้ผล ทำให้พลังงานมีประโยชน์ในการวิเคราะห์

— Alexis

แน่นอนปัญหาของความไวและความเฉพาะเจาะจง PPV และ NPV ไม่ได้หายไป

— Alexis

-1

ความเท่าเทียมไม่เคยเป็นสิ่งที่เราสามารถทดสอบได้ คิดเกี่ยวกับสมมติฐาน: $\mathcal{H}_0: f_x \ne f_y$ VS $\mathcal{H}_1: f_x = f_y$ . ทฤษฎี NHST บอกเราว่าภายใต้โมฆะเราสามารถเลือกสิ่งที่อยู่ภายใต้ $\mathcal{H}_0$ ที่เหมาะกับข้อมูลมากที่สุด นั่นหมายความว่าเราสามารถเข้าใกล้การแจกจ่ายได้ตามอำเภอใจ ตัวอย่างเช่นถ้าฉันต้องการทดสอบ $f_x \sim \mathcal{N}(0, 1)$ แบบจำลองความน่าจะเป็นที่อนุญาตให้แยกการแจกแจง $\hat{f}_x$ และ $\hat{f}_y$ มักจะมีแนวโน้มมากขึ้นภายใต้ค่า null ซึ่งเป็นการละเมิดสมมติฐานการทดสอบที่สำคัญ แม้ว่าตัวอย่างจะเป็น $X=Y$ ฉันจะได้อัตราส่วนความน่าจะเป็นที่ใกล้เคียงกับ 1 ด้วย $f_y \approx f_x$ .

หากคุณรู้ว่าแบบจำลองความน่าจะเป็นที่เหมาะสมสำหรับข้อมูลคุณสามารถใช้เกณฑ์ข้อมูลที่มีการลงโทษเพื่อจัดอันดับแบบจำลองทางเลือก วิธีหนึ่งคือใช้ BIC ของแบบจำลองความน่าจะเป็นสองแบบ $\mathcal{H}_0$ และ $\mathcal{H}_1$ . ฉันใช้โมเดลความน่าจะเป็นปกติ แต่คุณสามารถรับ BIC จากขั้นตอนโอกาสสูงสุดทุกประเภทไม่ว่าจะด้วยมือหรือโดยใช้ GLM โพสต์ Stackoverflow นี้ได้รับใน nitty-gritty สำหรับการกระจายที่เหมาะสม ตัวอย่างของการทำสิ่งนี้อยู่ที่นี่:

set.seed(123)
p <- replicate(1000, { ## generate data under the null
  x <- rnorm(100)
  g <- sample(0:1, 100, replace=T)
  BIC(lm(x~1)) > BIC(lm(x~g))
})
mean(p)

จะช่วยให้

> mean(p)
[1] 0.034

$p$ นี่คือสัดส่วนของเวลาที่ BIC ของโมเดลว่าง (แยกโมเดล) ดีกว่า (ต่ำกว่า) กว่าโมเดลสำรอง (โมเดลเทียบเท่า) สิ่งนี้อยู่ใกล้กับระดับการทดสอบทางสถิติเล็กน้อย 0.05

ในทางกลับกันถ้าเรารับ:

set.seed(123)
p <- replicate(1000, { ## generate data under the null
  x <- rnorm(100)
  g <- sample(0:1, 100, replace=T)
  x <- x + 0.4*g
  BIC(lm(x~1)) > BIC(lm(x~g))
})
mean(p)

ให้:

> mean(p)
[1] 0.437

เช่นเดียวกับ NHST มีประเด็นเกี่ยวกับพลังงานที่ละเอียดอ่อนและอัตราความผิดพลาดเชิงบวกผิด ๆ ที่ควรสำรวจด้วยการจำลองก่อนที่จะทำการสรุปที่ชัดเจน

ฉันคิดว่าวิธีที่คล้ายกัน (อาจเป็นวิธีทั่วไปมากกว่า) คือการใช้สถิติแบบเบย์เพื่อเปรียบเทียบหลังที่ประเมินไว้ภายใต้แบบจำลองความน่าจะเป็น

— Adamo
แหล่งที่มา

AdamO ดูเหมือนว่าคุณกำลังพูดถึง "การทดสอบความเท่าเทียมกัน" กับ "การทดสอบความเท่าเทียม" มีวิธีการและการประยุกต์ใช้วรรณคดีที่เก่าแก่และแข็งแรงมานานหลายทศวรรษ

— อเล็กซิส

ดูตัวอย่าง Wellek, S. (2010) การทดสอบทางสถิติสมมติฐานของความเท่าเทียมกันและไม่เหนือกว่า แชปแมนและฮอลล์ / ซีอาร์ซีกดรุ่นที่สอง

— อเล็กซิส

@Alexis hmm เราไม่สามารถเข้าถึงห้องสมุดได้ คุณกำลังบอกว่าการเทียบเท่านั้นเหมือนกับการไม่ด้อยกว่าตราบเท่าที่การประมาณการที่อยู่ในระยะขอบนั้นถือว่าเท่ากันหรือไม่?

— AdamO

ไม่มาก: ความไม่ด้อยกว่าคือการทดสอบด้านเดียวไม่ว่าจะเป็นประสิทธิภาพการรักษาใหม่ไม่เลวร้ายยิ่งกว่าบางมาตรฐานลบความแตกต่างที่เกี่ยวข้องที่เล็กที่สุดที่ระบุไว้เบื้องต้น การทดสอบเพื่อความเท่าเทียมกันมีการทดสอบสมมติฐานที่สอง (หรือมากกว่า) ในปริมาณที่แตกต่างกันในทั้งสองทิศทางโดยกว่าความแตกต่างที่เกี่ยวข้องที่เล็กที่สุดที่ระบุไว้เบื้องต้น เอกสารน้ำเชื้อ:

— Alexis

Schuirmann, DA (1987) การเปรียบเทียบของขั้นตอนการทดสอบทั้งสองด้านเดียวและวิธีการใช้พลังงานในการประเมินความสมดุลของการดูดซึมเฉลี่ย วารสารเภสัชจลนศาสตร์และชีวเภสัชศาสตร์ , 15 (6): 657–680

— Alexis