การคัดเลือกโมเดลเชิงเส้นหลายตัวแปรเป็นการถดถอยหลายครั้ง

การรีไซเคิลโมเดลการถดถอยเชิงเส้นหลายตัวแปรเป็นการถดถอยเชิงเส้นแบบหลายค่าเท่ากันทั้งหมดหรือไม่ ผมไม่ได้หมายถึงเพียงแค่ทำงาน$t$ถดถอยแยกต่างหาก

ฉันได้อ่านเรื่องนี้ในสถานที่ไม่กี่ (คชกรรมวิเคราะห์ข้อมูล - Gelman et al, และหลายตัวแปรโรงเรียนเก่า -. Marden) ที่เป็นรูปแบบเชิงเส้นหลายตัวแปรสามารถจะreparameterizedเป็นถดถอยพหุคูณ อย่างไรก็ตามไม่มีแหล่งที่มาใด ๆ เกี่ยวกับเรื่องนี้เลย พวกเขาเพียงแค่พูดถึงมันจากนั้นใช้โมเดลหลายตัวแปรต่อไป ในทางคณิตศาสตร์ฉันจะเขียนเวอร์ชั่นหลายตัวแปรก่อน

YXR

$$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$$ ซึ่งตัวแปรตัวหนาเป็นเมทริกซ์ที่มีขนาดต่ำกว่าพวกมัน ตามปกติคือข้อมูลคือเมทริกซ์การออกแบบมักจะมีการแจกจ่ายเศษเหลือทิ้งและคือสิ่งที่เราสนใจทำการอนุมานด้วย$\mathbf{Y}$$\mathbf{X}$$\mathbf{R}$$\mathbf{B}$

ในการจัดทำซ้ำพารามิเตอร์นี้เป็นการถดถอยเชิงเส้นหลาย ๆ อันที่คุ้นเคยหนึ่งตัวแปรจะเขียนใหม่เป็น:

$$\underset{nt \times 1}{\mathbf{y}} = \underset{nt \times nk}{\mathbf{D}} \hspace{2mm} \underset{nk \times 1}{\boldsymbol{\beta}} + \underset{nt \times 1}{\mathbf{r}},$$

โดยที่ reparameterizations ใช้คือ$\mathbf{y} = row(\mathbf{Y})$ , $\boldsymbol\beta = row(\mathbf{B})$ , และ$\mathbf{D} = \mathbf{X} \otimes \mathbf{I}_{n}${n} $row()$หมายความว่าแถวของ matrix ถูกจัดเรียงแบบ end to end เป็นเวกเตอร์ที่มีความยาวและ$\otimes$คือ kronecker หรือผลิตภัณฑ์ด้านนอก

ดังนั้นถ้าเป็นเรื่องง่ายทำไมต้องเขียนหนังสือในรุ่นหลายตัวแปรทดสอบสถิติให้พวกเขาเป็นต้น มันมีประสิทธิภาพมากที่สุดเพียงแค่แปลงตัวแปรก่อนและใช้เทคนิค univariate ทั่วไป ฉันแน่ใจว่ามีเหตุผลที่ดีฉันแค่คิดถึงเรื่องหนึ่งอย่างน้อยก็ในกรณีของตัวแบบเชิงเส้น มีสถานการณ์ที่มีโมเดลเชิงเส้นหลายตัวแปรและข้อผิดพลาดแบบสุ่มกระจายตามปกติที่การใช้การแก้ไขซ้ำนี้ไม่ได้ใช้หรือจำกัดความเป็นไปได้ของการวิเคราะห์ที่คุณสามารถทำได้?

แหล่งที่มาฉันได้เห็นสิ่งนี้: Marden - สถิติหลายตัวแปร: Old School ดูหัวข้อ 5.3 - 5.5 หนังสือเล่มนี้ให้บริการฟรีจาก: http://istics.net/stat/

Gelman และคณะ - การวิเคราะห์ข้อมูลแบบเบย์ ฉันมีรุ่นที่สองและในรุ่นนี้มีย่อหน้าเล็ก ๆ ใน Ch 19 'Multivariate Regression Models' หัวข้อ: "แบบจำลองการถดถอยแบบหลายตัวแปรที่เท่าเทียมกัน"

โดยพื้นฐานแล้วคุณสามารถทำทุกอย่างด้วยแบบจำลองการถดถอยเชิงเส้นเชิงเส้นเดียวที่คุณสามารถทำได้กับโมเดลหลายตัวแปรได้หรือไม่? ถ้าเป็นเช่นนั้นทำไมต้องพัฒนาวิธีการสำหรับตัวแบบเชิงเส้นหลายตัวแปรเลย?

สิ่งที่เกี่ยวกับวิธีการแบบเบย์?

โดยพื้นฐานแล้วคุณสามารถทำทุกอย่างด้วยแบบจำลองการถดถอยเชิงเส้นเชิงเส้นเดียวที่คุณสามารถทำได้กับโมเดลหลายตัวแปรได้หรือไม่?

ฉันเชื่อว่าคำตอบคือไม่

หากเป้าหมายของคุณเป็นเพียงการประมาณผลกระทบ (พารามิเตอร์ใน ) หรือทำการคาดการณ์เพิ่มเติมตามตัวแบบแล้วใช่มันไม่สำคัญที่จะนำมาใช้กำหนดรูปแบบระหว่างทั้งสอง$\mathbf{B}$

อย่างไรก็ตามเพื่อให้การอนุมานทางสถิติโดยเฉพาะอย่างยิ่งเพื่อทำการทดสอบความสำคัญคลาสสิกสูตรหลายตัวแปรดูเหมือนจะไม่สามารถถูกแทนที่ได้จริง โดยเฉพาะอย่างยิ่งให้ฉันใช้การวิเคราะห์ข้อมูลทั่วไปในด้านจิตวิทยาเป็นตัวอย่าง ข้อมูลจากวิชาจะแสดงเป็น$n$

$$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$$

ที่ระหว่าง - วิชาตัวแปรอธิบาย (ปัจจัยหรือ / และเชิงปริมาณ covariates) เป็นรหัสในคอลัมน์ในขณะที่มาตรการวัดซ้ำ (หรือภายใน - เรื่อง) เป็นปัจจัยระดับตัวแปรหรือพร้อมกัน คอลัมน์ใน{Y}X t $k-1$$\mathbf{X}$$t$$\mathbf{Y}$

ด้วยการกำหนดข้างต้นสมมติฐานเชิงเส้นทั่วไปใด ๆ สามารถแสดงได้อย่างง่ายดายเป็น

$$\mathbf{L} \mathbf{B} \mathbf{M} = \mathbf{C},$$

ที่ประกอบด้วยน้ำหนักระหว่างตัวแปรอธิบายระหว่างอาสาสมัคร -มีน้ำหนักอยู่ในระดับต่าง ๆ ของปัจจัย - มาตรการซ้ำแล้วซ้ำอีกและเป็นเมทริกซ์คงที่มัก{0}L C $\mathbf{L}$$\mathbf{L}$$\mathbf{C}$$\mathbf{0}$

ความงามของระบบหลายตัวแปรตั้งอยู่ในการแยกระหว่างตัวแปรสองประเภทระหว่างและภายในเรื่อง เป็นการแยกที่ช่วยให้การกำหนดสูตรง่ายสำหรับการทดสอบที่สำคัญสามประเภทภายใต้กรอบการทำงานหลายตัวแปร ได้แก่ การทดสอบหลายตัวแปรแบบคลาสสิกการทดสอบหลายตัวแปรซ้ำหลายครั้งและการทดสอบซ้ำหลายตัวแปร นอกจากนี้การทดสอบ Mauchly สำหรับการละเมิด sphericity และวิธีการแก้ไขที่สอดคล้องกัน (Greenhouse-Geisser และ Huynh-Feldt) ก็กลายเป็นเรื่องธรรมดาสำหรับการทดสอบแบบ univariate ในระบบหลายตัวแปร นี่เป็นวิธีที่แพ็คเกจทางสถิติใช้การทดสอบเหล่านั้นเช่นcarใน R, GLMใน IBM SPSS Statistics และคำสั่งREPEATEDใน PROC GLMของ SAS

ฉันไม่แน่ใจว่าสูตรมีความสำคัญในการวิเคราะห์ข้อมูลแบบเบย์หรือไม่ แต่ฉันสงสัยว่าความสามารถในการทดสอบข้างต้นนั้นสามารถกำหนดและนำไปใช้งานได้ภายใต้แพลตฟอร์มที่ไม่เปลี่ยนแปลง

ทั้งสองโมเดลนั้นเทียบเท่ากันถ้าคุณพอดีกับโครงสร้างความแปรปรวนร่วม - ความแปรปรวนร่วมที่เหมาะสม ในโมเดลเชิงเส้นที่ถูกแปลงเราจำเป็นต้องปรับให้เข้ากับเมทริกซ์ความแปรปรวนร่วม - ความแปรปรวนร่วมของส่วนประกอบข้อผิดพลาดกับผลิตภัณฑ์ kronecker ซึ่งมีจำนวน จำกัด ในซอฟต์แวร์คอมพิวเตอร์ที่มีอยู่ แบบจำลองเชิงเส้นของทฤษฎี -Univariate, หลายตัวแปรและตัวแบบผสมเป็นการอ้างอิงที่ดีเยี่ยมสำหรับหัวข้อนี้

แก้ไข

นี่คืออีกหนึ่งการอ้างอิงที่ดีที่สามารถใช้ได้อย่างอิสระ