ANOVA เทียบกับการถดถอยเชิงเส้นหลายเส้น? ทำไม ANOVA จึงถูกใช้กันอย่างแพร่หลายในการศึกษาทดลอง?

ANOVA เทียบกับการถดถอยเชิงเส้นหลายเส้น?

ฉันเข้าใจว่าวิธีการทั้งสองนี้ดูเหมือนจะใช้ตัวแบบสถิติเดียวกัน อย่างไรก็ตามภายใต้สถานการณ์ใดฉันควรใช้วิธีใด

อะไรคือข้อดีและข้อเสียของวิธีการเหล่านี้เมื่อเปรียบเทียบ?

ทำไม ANOVA จึงถูกนำมาใช้กันอย่างแพร่หลายในการศึกษาทดลองและฉันแทบจะไม่เคยพบการถดถอย

มันจะน่าสนใจที่จะชื่นชมว่าแตกต่างที่อยู่ในประเภทของตัวแปรและอื่น ๆ โดยเฉพาะอย่างยิ่งประเภทของตัวแปร ใน ANOVA ทั่วไปเรามีตัวแปรเด็ดขาดที่มีกลุ่มแตกต่างกันและเราพยายามตรวจสอบว่าการวัดตัวแปรต่อเนื่องแตกต่างกันระหว่างกลุ่มหรือไม่ บนมืออื่น ๆ , OLS มีแนวโน้มที่จะถูกมองว่าเป็นความพยายามที่เป็นหลักในการประเมินความสัมพันธ์ระหว่าง regressand ต่อเนื่องหรือตัวแปรตอบสนองและการหนึ่งหรือregressors หรือหลายตัวแปร ในแง่นี้การถดถอยสามารถถูกมองว่าเป็นเทคนิคที่แตกต่างให้ยืมตัวมันเองเพื่อทำนายค่าตามบรรทัดการถดถอย

อย่างไรก็ตามความแตกต่างนี้ไม่ได้มีส่วนช่วยในการวิเคราะห์ ANOVA กับส่วนที่เหลือของการวิเคราะห์ความแปรปรวนของซุปอักษร (ANCOVA, MANOVA, MANCOVA) หรือการรวมของตัวแปรจำลองที่จำลองในการถดถอย OLS ฉันไม่ชัดเจนเกี่ยวกับสถานที่สำคัญทางประวัติศาสตร์ที่เฉพาะเจาะจง แต่ราวกับว่าทั้งสองเทคนิคได้ปรับตัวแบบขนานเพื่อรับมือกับโมเดลที่ซับซ้อนมากขึ้น

ตัวอย่างเช่นเราจะเห็นว่าความแตกต่างระหว่างANCOVAกับOLS กับตัวแปรดัมมี่ (หรือหมวดหมู่) (ในทั้งสองกรณีที่มีการโต้ตอบ)เป็นเครื่องสำอางมากที่สุด โปรดยกโทษให้ฉันออกจากขอบเขตในชื่อคำถามของคุณเกี่ยวกับการถดถอยเชิงเส้นหลายครั้ง

ในทั้งสองกรณีรูปแบบเป็นหลักเหมือนกันกับจุดที่ใน R ฟังก์ชั่นที่ใช้ในการดำเนินการ ANCOVA อย่างไรก็ตามมันสามารถนำเสนอที่แตกต่างกันโดยคำนึงถึงการรวมของการสกัดกั้นที่สอดคล้องกับระดับแรก (หรือกลุ่ม) ของตัวแปร (หรือหมวดหมู่) ตัวแปรในรูปแบบการถดถอยlm

ในแบบจำลองที่สมดุล ( กลุ่มมีขนาดเท่ากัน, ) และเพียงหนึ่ง covariate (เพื่อทำให้การนำเสนอเมทริกซ์ง่ายขึ้น) เมทริกซ์โมเดลใน ANCOVA สามารถพบได้ในรูปแบบต่าง ๆ ดังนี้:n 1 , 2 , $i$$n_{1,2,\cdots\, i}$

$$X=\begin{bmatrix} 1_{n_1} & 0 & 0 & x_{n_1} & 0 & 0\\ 0 & 1_{n_2} & 0 & 0 & x_{n_2} & 0\\ 0 & 0 & 1_{n_3} & 0 & 0 & x_{n_3} \end{bmatrix}$$

สำหรับตัวแปรกลุ่มกลุ่มซึ่งแสดงเป็นบล็อคเมทริก$3$

สิ่งนี้สอดคล้องกับโมเดลเชิงเส้น:

α i

$$y = \alpha_i + \beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$ กับเทียบเท่ากับกลุ่มวิธีการที่แตกต่างกันในการวิเคราะห์ความแปรปรวน แบบจำลองในขณะที่ต่างกันคือลาดของโควาเรียตสำหรับแต่ละกลุ่ม$\alpha_i$$\beta$

การนำเสนอของโมเดลเดียวกันในฟิลด์การถดถอยและโดยเฉพาะใน R จะพิจารณาการสกัดกั้นโดยรวมซึ่งสอดคล้องกับหนึ่งในกลุ่มและเมทริกซ์โมเดลสามารถแสดงเป็น:

$$X=\begin{bmatrix} \color{red}\vdots & 0 & 0 &\color{red}\vdots & 0 &0 & 0\\ \color{red}{J_{3n,1}} & 1_{n_2} & 0 & \color{red}{x} & 0 & x_{n_2} & 0\\ \color{red}\vdots& 0 & 1_{n_3} & \color{red}\vdots & 0 & 0 & x_{n_3} \end{bmatrix}$$

ของสมการ OLS:

$$y =\color{red}{\beta_0} + \mu_i +\beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$ \

ในโมเดลนี้การสกัดกั้นโดยรวมจะถูกแก้ไขในแต่ละระดับกลุ่มโดยและกลุ่มก็มีความแตกต่างกันμ $\beta_0$$\mu_i$

ดังที่คุณเห็นจากแบบจำลองการฝึกอบรมการนำเสนอนั้นจะต้องมีตัวตนที่แท้จริงระหว่างการถดถอยและการวิเคราะห์ความแปรปรวน

ผมชอบที่จะตรวจสอบชนิดของสายนี้กับบางส่วนของรหัสและชุดข้อมูลที่ชื่นชอบmtcarsในการวิจัย ฉันใช้lmสำหรับ ANCOVA ตามกระดาษเบน Bolker ที่มีอยู่ที่นี่

mtcars$cyl <- as.factor(mtcars$cyl)         # Cylinders variable into factor w 3 levels
D <- mtcars  # The data set will be called D.
D <- D[order(D$cyl, decreasing = FALSE),]   # Ordering obs. for block matrices.

model.matrix(lm(mpg ~ wt * cyl, D))         # This is the model matrix for ANCOVA

ในส่วนของคำถามเกี่ยวกับวิธีการใช้งาน (การถดถอยด้วย R!) คุณอาจพบว่าคำวิจารณ์ออนไลน์นี้น่าขบขันฉันเจอในขณะที่เขียนบทความนี้

การถดถอยของ ANOVA และ OLS นั้นเหมือนกันทางคณิตศาสตร์ในกรณีที่ตัวทำนายของคุณเป็นหมวดหมู่ (ในแง่ของการอนุมานที่คุณวาดจากสถิติการทดสอบ) อีกวิธีหนึ่ง ANOVA เป็นกรณีพิเศษของการถดถอย ไม่มีอะไรที่ ANOVA สามารถบอกคุณได้ว่าการถดถอยไม่สามารถเกิดขึ้นได้ ตรงกันข้ามอย่างไรก็ตามไม่เป็นความจริง ANOVA ไม่สามารถใช้สำหรับการวิเคราะห์ด้วยตัวแปรต่อเนื่อง ดังนั้น ANOVA สามารถจัดเป็นเทคนิคที่ จำกัด มากขึ้น อย่างไรก็ตามการถดถอยนั้นไม่ได้มีประโยชน์เสมอไปสำหรับนักวิเคราะห์ที่มีความซับซ้อนน้อยกว่า ตัวอย่างเช่นสคริปต์ ANOVA ส่วนใหญ่จะสร้างเงื่อนไขการโต้ตอบโดยอัตโนมัติเช่นเดียวกับการถดถอยคุณมักจะต้องคำนวณเงื่อนไขเหล่านั้นด้วยตนเองโดยใช้ซอฟต์แวร์ การใช้ ANOVA อย่างกว้างขวางนั้นเป็นส่วนหนึ่งของการวิเคราะห์เชิงสถิติก่อนการใช้ซอฟต์แวร์ทางสถิติที่มีประสิทธิภาพมากขึ้น และในความเห็นของฉันเทคนิคที่ง่ายกว่าในการสอนให้กับนักเรียนที่ไม่มีประสบการณ์ซึ่งมีเป้าหมายคือความเข้าใจในระดับที่ค่อนข้างชัดเจนซึ่งจะช่วยให้พวกเขาวิเคราะห์ข้อมูลด้วยชุดโปรแกรมพื้นฐานทางสถิติ ลองบางครั้ง ... ตรวจสอบสถิติ t ที่การถดถอยขั้นพื้นฐานแยกออกแล้วยกกำลังสองแล้วเปรียบเทียบกับอัตราส่วน F จาก ANOVA กับข้อมูลเดียวกัน เหมือนกัน!

ประโยชน์หลักของการวิเคราะห์ความแปรปรวนในความคิดของฉันอยู่ในผลลัพธ์ หากคุณสนใจในนัยสำคัญทางสถิติของตัวแปรเด็ดขาด (ตัวประกอบ) เป็นบล็อก ANOVA จะให้การทดสอบนี้สำหรับคุณ ด้วยการถดถอยตัวแปรเด็ดขาดจะถูกแสดงด้วยตัวแปรดัมมี่ 2 ตัวหรือมากกว่านั้นขึ้นอยู่กับจำนวนหมวดหมู่และด้วยเหตุนี้คุณมีการทดสอบทางสถิติ 2 ครั้งขึ้นไปแต่ละการเปรียบเทียบค่าเฉลี่ยสำหรับหมวดหมู่เฉพาะกับค่าเฉลี่ยของหมวดหมู่โมฆะ ค่าเฉลี่ยโดยรวมขึ้นอยู่กับวิธีการเข้ารหัสแบบจำลอง) สิ่งเหล่านี้อาจไม่เป็นที่สนใจ ดังนั้นคุณต้องทำการวิเคราะห์หลังการประเมิน (โดยพื้นฐานแล้ว ANOVA) เพื่อรับการทดสอบโดยรวมของปัจจัยที่คุณสนใจ

ข้อได้เปรียบที่สำคัญของการถดถอยเชิงเส้นคือมันมีความทนทานต่อการละเมิดความสม่ำเสมอของความแปรปรวนเมื่อขนาดตัวอย่างข้ามกลุ่มไม่เท่ากัน อีกอย่างก็คือมันช่วยอำนวยความสะดวกในการรวมโควาเรียหลายตัว (แม้ว่าจะสามารถทำได้โดยง่ายด้วย ANCOVA เมื่อคุณสนใจรวมถึงโควาเรียเพียงตัวเดียว) การถดถอยกลายเป็นที่แพร่หลายในช่วงอายุเจ็ดสิบในการถือกำเนิดของความก้าวหน้าในอำนาจการใช้คอมพิวเตอร์ คุณอาจพบว่าการถดถอยสะดวกกว่าโดยเฉพาะถ้าคุณสนใจที่จะตรวจสอบความแตกต่างระหว่างตัวแปรเฉพาะของหมวดหมู่เมื่อมีมากกว่าสองระดับ (ตราบใดที่คุณตั้งค่าตัวแปรจำลองในการถดถอยเพื่อให้หนึ่งในสองระดับนี้ แสดงถึงกลุ่มอ้างอิง)