ความสัมพันธ์ระหว่าง ANOVA เพื่อเปรียบเทียบวิธีการของหลายกลุ่มและ ANOVA เพื่อเปรียบเทียบแบบจำลองที่ซ้อนกันคืออะไร?

12

ฉันเคยเห็น ANOVA ใช้สองวิธี:

อันดับแรกในข้อความสถิติเบื้องต้นของฉัน ANOVA ถูกนำมาใช้เป็นวิธีเปรียบเทียบกลุ่มสามกลุ่มหรือมากกว่านั้นเพื่อปรับปรุงมากกว่าการเปรียบเทียบแบบคู่เพื่อที่จะตัดสินว่าหนึ่งในวิธีนั้นมีความแตกต่างอย่างมีนัยสำคัญทางสถิติหรือไม่

ประการที่สองในข้อความการเรียนรู้เชิงสถิติของฉันฉันเคยเห็น ANOVA เคยใช้แบบจำลองซ้อนกันสอง (หรือมากกว่า) เพื่อตรวจสอบว่าแบบจำลอง 1 ซึ่งใช้ชุดย่อยของตัวทำนายรุ่น 2 เหมาะกับข้อมูลเท่ากันหรือเต็ม รุ่น 2 ยอดเยี่ยม

ตอนนี้ฉันคิดว่าในทางใดทางหนึ่งหรือทั้งสองสิ่งนี้คล้ายกันจริง ๆ เพราะพวกเขาทั้งสองใช้การทดสอบ ANOVA แต่บนพื้นผิวพวกเขาดูเหมือนจะแตกต่างกันมากสำหรับฉัน สำหรับหนึ่งการใช้งานครั้งแรกเปรียบเทียบสามกลุ่มขึ้นไปในขณะที่วิธีที่สองสามารถใช้เพื่อเปรียบเทียบเพียงสองรุ่น มีใครบ้างที่โปรดอธิบายการเชื่อมต่อระหว่างการใช้งานทั้งสองนี้

— ออสติน
แหล่งที่มา

3

ฉันคิดว่าบทที่สอง "anova" ไม่ใช่ ANOVA เลย (ถ้าคุณอ่านen.wikipedia.org/wiki/Analysis_of_varianceคุณจะไม่เห็นการเปรียบเทียบแบบซ้อน) มันเป็นen.wikipedia.org/wiki/F-testและถูกนำมาใช้ใน R เป็นanova()ฟังก์ชั่นเพราะสิ่งแรกที่แท้จริง ANOVA ก็ใช้แบบทดสอบ F สิ่งนี้นำไปสู่ความสับสนของคำศัพท์

— อะมีบา

ขอบคุณฉันคิดว่าคุณโดนเล็บที่หัว! ฉันไม่ได้พิจารณาว่าanova()ฟังก์ชั่นนั้นสามารถทำได้มากกว่าแค่ ANOVA โพสต์นี้รองรับข้อสรุปของคุณ: stackoverflow.com/questions/20128781/f-test-for-two-models-in-r

— Austin

1

ฉันได้รับการสอนโดยนักสถิติผู้สำเร็จการศึกษาที่ ANOVA ในการทดสอบหลายตัวอย่างเป็นสิ่งเดียวกันกับ ANOVA ในฐานะการทดสอบแบบจำลองอำนาจสูงสุดแบบซ้อน สิ่งเดียวกันคือความเข้าใจของฉันว่าเราเปรียบเทียบผลรวม (หรือค่าเฉลี่ย) ของส่วนที่เหลือที่เกิดจากไม่มีแบบจำลองหรือแบบจำลองที่ง่ายกว่ากับส่วนที่เหลือซึ่งเกิดจากแบบจำลองและการทดสอบ F ใช้ได้กับทั้งสองสถานการณ์ คำตอบที่ฉันพยายามนั้นเป็นเรื่องจริง ฉันเองจะสนใจในการทำความเข้าใจการเชื่อมต่อระหว่างสัมประสิทธิ์อย่างน้อยหนึ่ง lm ที่แตกต่างจากศูนย์ (แบบจำลอง F-one) และผลรวมของส่วนที่เหลือ

— Alexey Burnakov

11

ในความเข้าใจของฉันปรีชานามธรรมของ ANOVA มีดังต่อไปนี้: หนึ่งย่อยสลายแหล่งที่มาของความแปรปรวนของตัวแปรสังเกตในทิศทางต่าง ๆ และตรวจสอบการมีส่วนร่วมตามลำดับ เพื่อให้มีความแม่นยำมากขึ้นเราจะสลายการระบุตัวตนของแผนที่เป็นผลรวมของการคาดการณ์และตรวจสอบว่าการคาดการณ์ / ทิศทางใดมีส่วนสำคัญในการอธิบายความแปรปรวนและสิ่งที่ไม่ ทฤษฎีพื้นฐานคือทฤษฎีบทค็อชฮาน

เพื่อให้เป็นนามธรรมที่น้อยกว่าฉันจึงโยนแบบฟอร์มที่สองที่กล่าวถึงโดย OPลงในกรอบที่เพิ่งอธิบาย ต่อจากนั้นฉันตีความรูปแบบแรกเป็นกรณีพิเศษของรูปแบบที่สอง

ให้เราพิจารณาแบบจำลองการถดถอยด้วยตัวแปรอธิบาย (แบบเต็ม) และเปรียบเทียบกับแบบจำลองที่ จำกัด กับตัวแปรWLOG, ตัวแปรสุดท้ายของโมเดลเต็มไม่รวมอยู่ในโมเดลที่ จำกัด คำถามที่ตอบโดย ANOVA คือ $K$ $K-J$ $J$

"เราสามารถอธิบายความแปรปรวนได้มากขึ้นในตัวแปรที่สังเกตได้หรือไม่ถ้าเรารวมตัวแปรเพิ่มเติม" $J$ ?

คำถามนี้ตอบโดยการเปรียบเทียบการมีส่วนร่วมความแปรปรวนของตัวแปรแรกตัวแปรถัดไปและส่วนที่เหลือ / ไม่ได้อธิบาย (ผลรวมที่เหลือของกำลังสอง) การสลายตัวนี้ (ได้รับเช่นจากทฤษฎีบทของ Cochran) ถูกใช้เพื่อสร้างการทดสอบ F ดังนั้นหนึ่งวิเคราะห์การลดลง (โดยรวมถึงตัวแปรเพิ่มเติม) ในผลรวมที่เหลือของกำลังสองของแบบ จำกัด (ตรงกับสัมประสิทธิ์ทั้งหมดที่เกี่ยวข้องกับตัวแปรสุดท้ายเป็นศูนย์ ) โดยรวมตัวแปรเพิ่มเติมและได้รับสถิติ F $K-J$ $J$ $H_0:$ $J$ หากค่ามีขนาดใหญ่พอค่าความแปรปรวนที่อธิบายโดยตัวแปรเพิ่มเติมนั้นมีความสำคัญ

\frac{\frac{R S S_{r e s t r} - R S S_{f u l l}}{J}}{\frac{R S S_{f u l l}}{N - K}}

$\frac{ \frac{RSS_{restr} - RSS_{full}}{J} }{ \frac{RSS_{full}}{N-K} }$

J

$J$

ตอนนี้รูปแบบครั้งแรกที่กล่าวถึงโดยสหกรณ์จะถูกตีความว่าเป็นกรณีพิเศษของรูปแบบที่สอง พิจารณาสามกลุ่มที่แตกต่างกัน A, B และ C ด้วยวิธีการ , และ Cมีการทดสอบโดยการเปรียบเทียบความแปรปรวนอธิบายโดยการถดถอยในการสกัดกั้น (รุ่นที่ จำกัด ) ที่มีความแปรปรวนอธิบายได้ด้วยรูปแบบเต็มรูปแบบที่มีการตัด, หุ่นสำหรับกลุ่มและ หุ่นสำหรับกลุ่มบีส่งผลให้สถิติ F- $\mu_A$ $\mu_B$ $\mu_C$ $H_0: \mu_A = \mu_B = \mu_C$ เทียบเท่ากับ ANOVA ทดสอบในวิกิพีเดีย ตัวส่วนเท่ากับความแปรปรวนภายในกลุ่มตัวเศษจะเท่ากับความผันแปรระหว่างกลุ่ม หากการเปลี่ยนแปลงระหว่างกลุ่มมีขนาดใหญ่กว่าการเปลี่ยนแปลงภายในกลุ่มหนึ่งปฏิเสธสมมติฐานที่หมายถึงทั้งหมดจะเท่ากัน

\frac{\frac{R S S_{ผม n เสื้อ อี R ค อี พี เสื้อ} - R S S_{d ยู ม. ม. ผม อี s}}{2}}{\frac{R S S_{d ยู ม. ม. ผม อี s}}{ยังไม่มีข้อความ - 3}}

$\frac{ \frac{RSS_{intercept} - RSS_{dummies}}{2} }{ \frac{RSS_{dummies}}{N-3} }$

— bmbb
แหล่งที่มา

+1 ฉันสงสัยว่าคุณจะเห็นด้วยกับคำพูดของฉันเกี่ยวกับคำศัพท์ในความคิดเห็นที่นี่: stats.stackexchange.com/questions/315979/#comment602611_315979

— อะมีบา

ฉันเห็นด้วยอย่างแน่นอนว่ามีความสับสนมากมายในคำศัพท์ ;-) เรียกขานฉันเชื่อมโยง ANOVA เฉพาะกับรูปแบบแรกของ OP ฉันเพิ่งดูหนังสือของScheffé "การวิเคราะห์ความแปรปรวน" ซึ่งกล่าวถึง "การออกแบบซ้อนกัน"

— bmbb

@bmbb ฉันจะเพิ่มความคิดเห็นสุดท้ายของคุณนี้: กรณีง่าย ๆ ที่เราเปรียบเทียบโมเดล lm ที่ซ้อนกันซึ่งหนึ่งในนั้นถูกสกัดกั้นเท่านั้น ความจริงที่ทำให้ฉันเกี่ยวกับแบบจำลองที่มีการสกัดกั้นคือเมื่อเราอ้างถึงส่วนที่เหลือของมันเราจะอ้างถึงความแปรปรวนของมันเนื่องจากส่วนที่เหลือจะถูกคำนวณเทียบกับค่าเฉลี่ยของตัวแปร (ซึ่งเป็นรูปแบบของการสกัดกั้น) ค่าเฉลี่ยตัวอย่าง ดังนั้นเรายังคงทำการวิเคราะห์ความแปรปรวนในกรณีของแบบจำลองแบบซ้อนแม้ว่าเราจะทำการวิเคราะห์เศษซากอย่างเป็นทางการ

— Alexey Burnakov

6

หากคุณกำลังทำการวิเคราะห์ทางเดียวเพื่อทดสอบว่ามีความแตกต่างอย่างมีนัยสำคัญระหว่างกลุ่มหรือไม่โดยปริยายคุณกำลังเปรียบเทียบสองโมเดลซ้อนกัน (ดังนั้นจึงมีการซ้อนเพียงระดับเดียว แต่ยังคงซ้อนอยู่)

ทั้งสองรุ่นคือ:

$y_{ij}$ $i$ $j$ $\hat{\beta}_0$ $Y_{ผม J} = {\hat{β}}_{0} + ε_{ผม}$ $y_{ij} = \hat{\beta}_0 + \epsilon_i$
รุ่นที่ 1: ค่าถูกสร้างแบบจำลองโดยวิธีการประมาณของกลุ่ม

$\hat{\beta_j}$

$Y_{ผม} = {\hat{β}}_{0} + {\hat{β}}_{J} + ε_{ผม}$ $y_i = \hat{\beta}_0 + \hat{\beta}_j + \epsilon_i$

ตัวอย่างของการเปรียบเทียบค่าเฉลี่ยและความเท่าเทียมกับแบบจำลองที่ซ้อนกัน:ลองเอาความยาว sepal (ซม.) จากชุดข้อมูล iris (ถ้าเราใช้ตัวแปรทั้งสี่ที่เราสามารถทำได้ LDA หรือ MANOVA เช่นเดียวกับ Fisher ในปี 1936)

ค่าเฉลี่ยรวมและกลุ่มที่สังเกตได้คือ:

\begin{matrix} μ_{เสื้อ โอ เสื้อ a ล.} & = 5.83 \\ μ_{s อี เสื้อ โอ s a} & = 5.01 \\ μ_{โวลต์ อี R s ผม ค โอ ล. โอ R} & = 5.94 \\ μ_{โวลต์ ผม R ก. ผม n ผม ค a} & = 6.59 \end{matrix}

$\begin{array} \\ \mu_{total} &= 5.83\\ \mu_{setosa} &= 5.01\\ \mu_{versicolor} &= 5.94\\ \mu_{virginica} &= 6.59\\ \end{array}$

ซึ่งอยู่ในรูปแบบโมเดล:

\begin{matrix} แบบ 1: & Y_{ผม J} = 5.83 + ε_{ผม} \\ รุ่น 2: & Y_{ผม J} = 5.01 + {[\begin{matrix} 0 \\ 0.93 \\ 1.58 \end{matrix}]}_{J} + ε_{ผม} \end{matrix}

$\begin{array}\\ \text{model 1: }& y_{ij} = 5.83 + \epsilon_i\\ \text{model 2: }& y_{ij} = 5.01 + \begin{bmatrix} 0 \\ 0.93 \\ 1.58 \end{bmatrix}_j + \epsilon_i\\ \end{array}$

$\sum{\epsilon_i^2} = 102.1683$

$\sum{\epsilon_i^2} = 38.9562$

และตาราง ANOVA จะเป็นเช่นนั้น (และคำนวณความแตกต่างโดยปริยายซึ่งเป็นผลรวมระหว่างกลุ่มของกำลังสองซึ่งคือ 63.212 ในตารางที่มี 2 องศาอิสระ):

> model1 <- lm(Sepal.Length ~ 1 + Species, data=iris)
> model0 <- lm(Sepal.Length ~ 1, data=iris)
> anova(model0, model1)
Analysis of Variance Table

Model 1: Sepal.Length ~ 1
Model 2: Sepal.Length ~ 1 + Species
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1    149 102.168                                  
2    147  38.956  2    63.212 119.26 < 2.2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

F = \frac{\frac{R S S_{d ผม ฉ ฉ อี R อี n ค อี}}{D F_{d ผม ฉ ฉ อี R อี n ค อี}}}{\frac{R S S_{n อี W}}{D F_{n อี W}}} = \frac{\frac{63.212}{2}}{\frac{38.956}{147}} = 119.26

$F = \frac{\frac{RSS_{difference}}{DF_{difference}}}{\frac{RSS_{new}}{DF_{new}}} = \frac{\frac{63.212}{2}}{\frac{38.956}{147}} = 119.26$

ชุดข้อมูลที่ใช้ในตัวอย่าง:

ความยาวกลีบดอก (ซม.) สำหรับดอกไอริสสามชนิด

Iris setosa            Iris versicolor      Iris virginica
5.1                    7.0                    6.3
4.9                    6.4                    5.8
4.7                    6.9                    7.1
4.6                    5.5                    6.3
5.0                    6.5                    6.5
5.4                    5.7                    7.6
4.6                    6.3                    4.9
5.0                    4.9                    7.3
4.4                    6.6                    6.7
4.9                    5.2                    7.2
5.4                    5.0                    6.5
4.8                    5.9                    6.4
4.8                    6.0                    6.8
4.3                    6.1                    5.7
5.8                    5.6                    5.8
5.7                    6.7                    6.4
5.4                    5.6                    6.5
5.1                    5.8                    7.7
5.7                    6.2                    7.7
5.1                    5.6                    6.0
5.4                    5.9                    6.9
5.1                    6.1                    5.6
4.6                    6.3                    7.7
5.1                    6.1                    6.3
4.8                    6.4                    6.7
5.0                    6.6                    7.2
5.0                    6.8                    6.2
5.2                    6.7                    6.1
5.2                    6.0                    6.4
4.7                    5.7                    7.2
4.8                    5.5                    7.4
5.4                    5.5                    7.9
5.2                    5.8                    6.4
5.5                    6.0                    6.3
4.9                    5.4                    6.1
5.0                    6.0                    7.7
5.5                    6.7                    6.3
4.9                    6.3                    6.4
4.4                    5.6                    6.0
5.1                    5.5                    6.9
5.0                    5.5                    6.7
4.5                    6.1                    6.9
4.4                    5.8                    5.8
5.0                    5.0                    6.8
5.1                    5.6                    6.7
4.8                    5.7                    6.7
5.1                    5.7                    6.3
4.6                    6.2                    6.5
5.3                    5.1                    6.2
5.0                    5.7                    5.9

— Sextus Empiricus
แหล่งที่มา

1

+1 แต่การจัดรูปแบบตารางข้อมูลเป็นตารางลาเท็กซ์เป็นการปฏิบัติที่แย่จริงๆ !! ไม่มีใครสามารถคัดลอกวางได้ทุกที่! หากคุณต้องการรวมข้อมูลทำไมไม่จัดรูปแบบเป็นบล็อกรหัส? แต่ในกรณีนี้คุณสามารถเชื่อมโยงไปยังบทความ Wikipedia Fisher Iris ที่มีข้อมูล

— อะมีบา

นอกเหนือจากสิ่งที่คุณใช้เวลาในปัญหาคำศัพท์ที่ฉันพูดถึงในความคิดเห็นนี้stats.stackexchange.com/questions/315979/#comment602611_315979 ?

— อะมีบา

1

ฉันไม่เชื่อว่าคำศัพท์คลุมเครือเป็นปัญหาใหญ่ ในใจของฉันฉันไม่เคยคำนึงถึง ANOVA มากเท่าการเปรียบเทียบความแปรปรวนภายในและระหว่างกลุ่มและทำให้การประมาณการทางจิตกับการเปรียบเทียบแบบจำลองสองแบบเสมอ ฉันไม่เชื่อว่ามันเป็นปัญหาใหญ่ตั้งแต่การแจกแจงแบบ f, อัตราส่วนของตัวแปรการกระจายแบบไคสแควร์อิสระสองตัวในแง่หนึ่งคืออัตราส่วนของการแปรผัน การใช้การทดสอบ f เพื่อทดสอบแบบจำลองที่ซ้อนอยู่นั้นเป็นการเรียงลำดับของการเปรียบเทียบการวิเคราะห์ความแปรปรวนดังนั้น ANOVA จึงดูเหมือนว่าใช้ได้สำหรับฉัน (ฉันกำลังพยายามค้นหาการอ้างอิงทางประวัติศาสตร์บางอย่าง)

— Sextus Empiricus

ฉันไม่ได้บอกว่านี่เป็นปัญหา แต่ฉันสงสัยว่าคำว่า "ANOVA" หมายถึงการทดสอบ F เปรียบเทียบกับรุ่นที่ซ้อนกันเฉพาะใน R (ตามที่ฉันแนะนำในความคิดเห็นที่เชื่อมโยงของฉัน) หรือว่าเป็นคำศัพท์ที่ยอมรับกันในวงกว้างขึ้น ฉันไม่ได้ตรวจสอบตำราเรียนดังนั้นหลักฐานของฉันมาจาก Wikipedia เท่านั้น

— อะมีบา

ในวิธีการทางสถิติของฟิชเชอร์ในปี 1925 สำหรับนักวิจัยเมื่อเขาอธิบายถึง 'การวิเคราะห์ความแปรปรวน' เขามีตัวอย่างที่ใช้เทคนิคนี้กับเส้นการถดถอย (แต่ไม่มีโมเดลที่ซ้อนกัน)

— Sextus Empiricus

1

การใช้ ANOVA ในการเปรียบเทียบระหว่างหลายรุ่นหมายถึงการทดสอบว่าอย่างน้อยหนึ่งค่าสัมประสิทธิ์ที่ใช้ในรูปแบบที่มีลำดับสูงกว่า (และขาดในรูปแบบที่มีลำดับต่ำกว่า) แตกต่างจากศูนย์อย่างมีนัยสำคัญ

นั่นเท่ากับการบอกว่าผลรวมของค่าตกค้างสำหรับโมเดลคำสั่งซื้อที่สูงกว่านั้นมีค่าน้อยกว่าโมเดลลำดับที่ต่ำกว่าอย่างมีนัยสำคัญ

มันเป็นสองรูปแบบตั้งแต่สมการพื้นฐานที่ใช้คือ

MSM/MSE

โดยที่ MSM คือค่าเฉลี่ยของกำลังสองตกค้างของโมเดลลำดับล่าง (โดยที่ลำดับต่ำสุดคือค่าเฉลี่ยของตัวแปรเป้าหมายนั่นคือสกัดกั้น)

( http://www.stat.yale.edu/Courses/1997-98/101/anovareg.htm )

คุณสามารถอ่านหัวข้อที่คล้ายกันใน CV เช่น

วิธีการใช้ anova สำหรับการเปรียบเทียบทั้งสองรุ่น?

— Alexey Burnakov
แหล่งที่มา

IMHO สิ่งนี้ไม่ตอบคำถาม

— อะมีบา

1

จากสิ่งที่ฉันได้เรียนรู้

คุณสามารถใช้ตาราง ANOVA เพื่อตรวจสอบว่าตัวแปรอธิบายของคุณมีผลกระทบอย่างมีนัยสำคัญต่อตัวแปรตอบกลับหรือไม่และสอดคล้องกับโมเดลที่เหมาะสม

$x_1$ $x_2$ $x_2$

Y = β_{0} + β_{1} x_{1} + β_{2} x_{2} + ε

$y=\beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

Y = β_{0} + β_{1} x_{1} + ε

$y=\beta_0 + \beta_1x_1 + \epsilon$

$x_1$

นี่คือตัวอย่างผลลัพธ์ ANOVA สำหรับโครงการที่ฉันทำงานใน R โดยที่ฉันทดสอบสองรุ่น (หนึ่งวันกับ Variable Days และอีกหนึ่งวันโดยไม่มี Variable Days):

อย่างที่คุณเห็นค่า p-value ที่สอดคล้องกันจากการทดสอบ F คือ 0.13 ซึ่งมากกว่า 0.05 ดังนั้นเราไม่สามารถปฏิเสธสมมติฐานว่าง ๆ ที่ว่า Days ไม่มีผลกับ Y ดังนั้นฉันเลือก model 1 over model 2

— JPMSpoof
แหล่งที่มา

IMHO สิ่งนี้ไม่ตอบคำถาม

— อะมีบา