โพสต์ -hocs สำหรับการทดสอบภายในวิชา?

20

วิธีการที่ต้องการสำหรับการทำ post-hocs สำหรับการทดสอบในวิชาคืออะไร? ฉันเคยเห็นงานตีพิมพ์ที่มีการใช้ HSD ของ Tukey แต่การตรวจสอบ Keppel และ Maxwell & Delaney ชี้ให้เห็นว่าการละเมิดความกลมกลืนในการออกแบบเหล่านี้ทำให้คำผิดพลาดไม่ถูกต้องและวิธีนี้เป็นปัญหา Maxwell & Delaney ให้แนวทางในการแก้ไขปัญหาในหนังสือของพวกเขา แต่ฉันไม่เคยเห็นมันทำอย่างนั้นในแพคเกจสถิติใด ๆ พวกเขาเสนอวิธีการที่เหมาะสมหรือไม่ การแก้ไข Bonferroni หรือ Sidak ของการทดสอบตัวอย่างแบบหลายคู่จะสมเหตุสมผลหรือไม่ คำตอบที่ยอมรับได้จะให้รหัส R ทั่วไปที่สามารถดำเนินการโพสต์ hocs ในการออกแบบที่เรียบง่ายหลายทางและผสมที่ผลิตโดยezANOVAฟังก์ชั่นในezแพคเกจและการอ้างอิงที่เหมาะสมที่มีแนวโน้มที่จะผ่านการชุมนุมกับผู้ตรวจสอบ

— russellpierce
แหล่งที่มา

1

บทความโดย David Howell นี้อธิบายถึงปัญหาและวิธีแก้ไขปัญหาต่าง ๆ

— Harvey Motulsky

เมื่อคุณยอมรับคำตอบโดยใช้แพ็คเกจ multcomp คุณสามารถอธิบายเพิ่มเติมเล็กน้อยเกี่ยวกับวิธีที่คุณใช้ multcomp ในที่สุด คุณใช้มันกับฟังก์ชั่นlmeหรือlmerฟังก์ชั่นหรือวิธีการแบบดั้งเดิมมากขึ้นเป็น t-test หรือ ANOVA (ขณะที่ฉันกำลังพยายามใช้กับ ANOVAs)

— Henrik

ฉันยอมรับคำตอบ multcomp เป็นหลักเพราะฉันไม่พอใจอย่างสมบูรณ์กับเทคนิคการปรับค่า p ซึ่งชุมชนเลือกเป็นคำตอบ "ถูก" ฉันเหลือบมองไปที่มันและดูเหมือนว่าจะมีแนวโน้ม แต่ฉันไม่ได้ตรวจสอบเพิ่มเติม ฉันสนใจที่จะได้ยินเพิ่มเติมเกี่ยวกับสิ่งที่คุณพยายามและสิ่งที่คุณค้นหา

— russellpierce

ฉันพบวิธีระบุ ANOVA แบบวัดซ้ำโดยใช้lmeดูความคิดเห็นของคำตอบที่ได้รับการยอมรับ: stats.stackexchange.com/q/14088/442ด้วยออบเจ็กต์ของคลาสที่lmeคุณสามารถใช้multcompสำหรับเอฟเฟ็กต์ภายในเรื่อง มันเสนอการปรับอัลฟ่า - ข้อผิดพลาดประเภทต่าง ๆ แต่ส่วนใหญ่เป็นสิ่งที่คุณไม่ชอบโดยเฉพาะ นอกจากบทความแล้วยังมีหนังสือเล่มหนึ่งmultcompที่อธิบายวิธีการทั้งหมด หากคุณต้องการโพสต์ hocs โดยไม่มีการปรับใช้fit.contrastจากgmodelหรือcontrastแพคเกจใหม่

— Henrik

คุณยังสนใจวิธีแก้ปัญหาสำหรับezANOVAฟังก์ชั่นหรือไม่? ถ้าเป็นเช่นนั้นฉันคิดว่าฉันสามารถตอบได้ว่า Q แต่ A นั้นจะต้องอาศัยการทดสอบสำหรับแบบจำลองที่ไม่แปรเปลี่ยนซึ่งรูปทรงกลมเป็นข้อสันนิษฐานที่สำคัญ หากคุณไม่ต้องการให้ A ถูก จำกัด ในการคำนวณ ANOVA ของezแพ็คเกจฉันสามารถให้ A ที่ใช้โมเดลหลายตัวแปรสำหรับการทดสอบหลังการทดสอบ

— statmerkur

7

มีลักษณะที่เป็นmultcompแพคเกจและบทความของตนพร้อมกันในการอนุมานทั่วไป Parametric รุ่น ฉันคิดว่ามันควรทำในสิ่งที่ไม่ต้องการและบทความนี้มีตัวอย่างที่ดีมากและมีการอ้างอิงที่ครอบคลุม

— Matti Pastell
แหล่งที่มา

21

ฉันกำลังเขียนบทความที่ฉันมีความสุขที่จะดำเนินการเปรียบเทียบระหว่างและภายในวิชา หลังจากที่ได้หารือกับหัวหน้างานของฉันเราตัดสินใจที่จะทำงานที -tests และใช้ง่ายสวยHolm-Bonferroni method( วิกิพีเดีย ) สำหรับการแก้ไขข้อผิดพลาดสำหรับ cumulation อัลฟา มันควบคุมอัตราการเกิดข้อผิดพลาดแบบครอบครัว แต่มีพลังมากกว่าขั้นตอน Bonferroni ทั่วไป ขั้นตอน:

คุณรันการทดสอบเสื้อเพื่อเปรียบเทียบทั้งหมดที่คุณต้องการ
คุณสั่งp- value ตามมูลค่าของมัน
คุณทดสอบค่าp-value ที่น้อยที่สุดเทียบกับalpha / k , ค่าที่น้อยที่สุดที่สองต่อalpha / ( k - 1), และอื่น ๆ จนกระทั่งการทดสอบครั้งแรกเปลี่ยนเป็นไม่มีนัยสำคัญในลำดับการทดสอบนี้

Cite โฮล์ม (1979) ซึ่งสามารถดาวน์โหลดได้ผ่านทางลิงค์ที่วิกิพีเดีย

— เฮนริก
แหล่งที่มา

1

อาจเป็น ANOVA ก่อนการทดสอบหลายครั้ง?

— สแตน

2

ฉันคิดว่านั่นเป็นนัยจากคำตอบ คุณทำการทดสอบ post-hoc หลังจาก ANOVA ที่มีนัยสำคัญ

— Henrik

2

@Henrik: ฉันหวังว่าฉันจะไม่ตีม้าที่ตายแล้วที่นี่ ... โดยโพสต์ในโพสต์เก่า ดังนั้นฉันจึงมีคำถามเกี่ยวกับวิธีที่คุณรันการทดสอบ t คุณใช้ค่าความแปรปรวนร่วม (จาก ANOVA) หรือคุณใช้การทดสอบทีแบบสองทางอิสระหรือไม่ เหตุผลที่ฉันถามสิ่งนี้คือเพราะฉันพยายามใช้pairwise.t.test()การเปรียบเทียบแบบคู่โดยใช้วิธี Bonferroni หรือวิธี Holm-Bonf แต่ผลลัพธ์แตกต่างกันอย่างมากขึ้นอยู่กับว่าฉันใช้ SD ที่รวมกันหรือใช้การเปรียบเทียบแต่ละรายการแยกกัน -ทดสอบ. ขอบคุณ!

— อเล็กซ์

2

@Alex: การใช้ 'การป้องกัน' วิธีการที่การทดสอบ t- จะดำเนินการเฉพาะหลังจาก ANOVA ที่สำคัญหมายถึงการใช้คำว่าข้อผิดพลาดพู อย่างไรก็ตามเนื่องจากนี่ไม่ใช่ตัวเลือกที่มีให้โดยซอฟต์แวร์ทางสถิติผู้คนมักจะไม่ทำเช่นนั้น ยิ่งกว่านั้นการละเมิดขอบเขตความกลมกลืนเป็นสิ่งที่น่าสงสัยในตอนแรก

— russellpierce

5

ฉันจำการอภิปรายบางอย่างเกี่ยวกับเรื่องนี้ในอดีต; ฉันไม่ได้ตระหนักถึงการดำเนินการตามแนวทางของ Maxwell & Delaney แม้ว่ามันจะไม่ยากเกินไปที่จะทำ มีลักษณะที่เป็น " วัดซ้ำ ANOVA ใช้ R " ซึ่งยังแสดงให้เห็นวิธีการหนึ่งของการแก้ไขปัญหาความกลมในของ Tukey HSD

คุณอาจพบคำอธิบายของการทดสอบความสนใจของฟรีดแมน

— เชน
แหล่งที่มา

ขอบคุณฉันคิดว่าการทดสอบของ Friedman นั้นน่าสนใจ แต่ฉันก็ไม่สามารถทราบได้ว่าการปรับนั้นสำหรับข้อผิดพลาด Type I นั้นเกิดขึ้นได้อย่างไรใน post-hoc ความคิดเห็นบอกว่ามันเป็น "การทดสอบ Wilcoxon-Nemenyi-McDonald-Thompson" แต่ฉันไม่เคยได้ยินเรื่องนี้มาก่อนคุณจะอธิบายได้ไหม

— russellpierce

@Shane ลิงก์แรกตาย :-(

— Adam Ryczkowski

2

มีสองตัวเลือกสำหรับการทดสอบ F แบบอนุมานใน SPSS หลายตัวแปรไม่ถือว่าเป็นทรงกลมและใช้ประโยชน์จากความสัมพันธ์แบบคู่ที่แตกต่างกันสำหรับตัวแปรแต่ละคู่ "การทดสอบของผลกระทบภายในอาสาสมัคร" รวมถึงการทดสอบหลังการโพสต์ใด ๆ ถือว่าเป็นทรงกลมและทำการแก้ไขบางอย่างสำหรับการใช้ความสัมพันธ์ทั่วไปในการทดสอบทั้งหมด ขั้นตอนเหล่านี้เป็นมรดกของวันที่การคำนวณมีราคาแพงและเสียเวลากับสิ่งอำนวยความสะดวกด้านการคำนวณที่ทันสมัย

คำแนะนำของฉันคือใช้ Omnibus MULTIVARIATE F สำหรับมาตรการซ้ำ ๆ จากนั้นติดตามด้วย t-test แบบ post hoc pairwise หรือ ANOVA ที่มีเพียง 2 ระดับในการเปรียบเทียบการวัดซ้ำแต่ละครั้งหากยังมีปัจจัยระหว่างวัตถุด้วย ฉันจะทำให้การแก้ไข bon ferroni ง่าย ๆ ของการหารระดับอัลฟาตามจำนวนการทดสอบ

นอกจากนี้ต้องแน่ใจว่าดูขนาดของเอฟเฟกต์ [พร้อมใช้งานในกล่องโต้ตอบตัวเลือก] ขนาดของเอฟเฟกต์ขนาดใหญ่ที่ 'ใกล้' ถึงนัยสำคัญอาจมีค่าน่าสนใจ [และการทดลองในอนาคต] มากกว่าเอฟเฟกต์ขนาดเล็ก แต่มีนัยสำคัญ

วิธีการที่ซับซ้อนกว่านี้มีให้ในขั้นตอน SPSS ที่ผสมกันและในแพ็คเกจที่เป็นมิตรกับผู้ใช้ [แต่ฟรี] เช่น R

สรุป, ใน SPSSS, F หลายตัวแปรตามด้วยโพสต์คู่ hocs eith Bon Ferroniwith Bonferroni น่าจะเพียงพอสำหรับความต้องการส่วนใหญ่

0

ฉันจะใช้ฟังก์ชัน R qtukey (1-alpha, mean, df) เพื่อสร้าง CIs ที่เหมาะกับครอบครัว

$tukey_{0.05,4,16}$

$MS_{Error}$ $\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{{{M}_{j}}-{{\mu }_{j}}}{{{\sigma }_{M}}} \right\}}{S{{E}_{M}}/{{\sigma }_{M}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{\mu }_{{{j}_{1}}}} \right)-\left( {{M}_{{{j}_{2}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ \end{align}$

The radius of family-wise 1-α CIs is $S{{E}_{M}}\times tuke{{y}_{\alpha ,4,16}}=\sqrt{\frac{M{{S}_{Error}}}{5}}\times tuke{{y}_{\alpha ,4,16}}$ because--

\begin{aligned} {T u k e y_{k, d f} \leq t u k e y_{0.05, 4, 16}} \\ = {\frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{S E_{M}} \leq t u k e y_{.05, 4, 16}} \\ = \cap_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) | \leq S E_{M} \times t u k e y_{.05, 4, 16}} \end{aligned}

$\begin{align} & \left\{ Tuke{{y}_{k,df}}\le tuke{{y}_{0.05,4,16}} \right\} \\ & =\left\{ \frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}}\le tuke{{y}_{.05,4,16}} \right\} \\ & ={{\cap }_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right|\le S{{E}_{M}}\times tuke{{y}_{.05,4,16}} \right\} \\ \end{align}$

Given a within-subject design with k=4 levels, 17 sample size e.g. (17-1)=16 df for $MS_{Error}$ , and ${{X}_{i,j}}=\left( {{\mu }_{j}}+{{v}_{i}} \right)+{{\varepsilon }_{i,j}}={{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}}$ , the radius of family-wise (1-α) CIs is $\sqrt{M{{S}_{Error}}/17}\times tuke{{y}_{\alpha ,4,16}}$ because--

\begin{aligned} T u k e y_{k, d f} = \frac{M a x_{j = 1, 2, \dots, k} {z_{j}} - M i n_{j = 1, 2, \dots, k} {z_{j}}}{\sqrt{χ_{d f}^{2} / d f}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {\frac{M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j} + ε_{i, j}} - M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j}}}{σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}}}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}} / σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - (μ_{j} + M e a n_{1 \leq i \leq n} {v_{i}})}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - μ_{j}}}{\sqrt{M S_{E r r o r} / n}} \\ = \frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{\sqrt{M S_{E r r o r} / n}} \end{aligned}

$\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}} \right\}-Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}} \right\}}{{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}/{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-\left( {{\mu }_{j}}+Mea{{n}_{1\le i\le n}}\left\{ {{v}_{i}} \right\} \right) \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ \end{align}$

— Xiaoxu LI
แหล่งที่มา