ทำไมเราไม่สามารถใช้สำหรับการแปลงของตัวแปรตาม

ลองนึกภาพเรามีรูปแบบการถดถอยเชิงเส้นที่มีตัวแปรตามYเราได้พบกับสิ่งRตอนนี้เราทำถดถอยอีก แต่คราวนี้และเช่นเดียวกันสิ่ง(y)} ฉันถูกบอกว่าฉันไม่สามารถเปรียบเทียบทั้งเพื่อดูว่าแบบจำลองใดเหมาะสมกว่า ทำไมถึงเป็นอย่างนั้น? เหตุผลที่ทำให้ฉันคือเราจะเปรียบเทียบความแปรปรวนของปริมาณที่แตกต่างกัน (ตัวแปรตามต่างกัน) ฉันไม่แน่ใจว่านี่ควรเป็นเหตุผลเพียงพอสำหรับเรื่องนี้ $y$ $R^2_y$ $\log(y)$ $R^2_{\log(y)}$ $R^2$

นอกจากนี้ยังมีวิธีที่จะทำให้เป็นระเบียบนี้หรือไม่?

ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชม

regression data-transformation r-squared

— ชายชราในทะเล
แหล่งที่มา

ฉันสงสัยว่าอาจมีการพูดคุยกันก่อนหน้านี้ในการตรวจสอบความถูกต้องของ Cross คุณผ่านหัวข้อที่คล้ายกันอย่างละเอียด? นอกจากนี้คุณสนใจตัวแปรที่ต่างกัน (เช่น GDP เทียบกับราคาน้ำมัน) หรือการเปลี่ยนแปลงของตัวแปรเดียวกัน (GDP กับการเติบโตของ GDP) หรือทั้งสองอย่าง?

— Richard Hardy

@RichardHardy ฉันพบบางอย่าง แต่ฉันคิดว่าพวกเขาสัมผัสกับคำถามของฉัน เช่นนี้: stats.stackexchange.com/questions/235117/… คำตอบเพียงแค่ระบุว่าใช่ไม่ใช่อธิบายว่าทำไม

— ชายแก่ในทะเล

@RichardHardy ฉันสนใจการเปลี่ยนแปลงของตัวแปรตาม

— ชายแก่ในทะเล

R^{2}

$R^2$ การเปรียบเทียบเหมาะสมสำหรับรุ่นที่ซ้อนกันเท่านั้น

— LVRao

@ LVRao ขอบคุณสำหรับความคิดเห็นของคุณ ทำไมถึงเป็นเช่นนั้น?

— ชายแก่ในทะเล

มันเป็นคำถามที่ดีเพราะ "ปริมาณที่แตกต่าง" ดูเหมือนจะไม่ได้คำอธิบายอะไรมากมายนัก

มีเหตุผลสำคัญสองข้อที่ต้องระวังในการใช้เพื่อเปรียบเทียบโมเดลเหล่านี้: มันหยาบเกินไป (มันไม่ได้ประเมินความเหมาะสมที่เหมาะสม ) และมันจะไม่เหมาะสมสำหรับโมเดลอย่างน้อยหนึ่งรุ่น คำตอบนี้ระบุถึงปัญหาที่สอง $R^2$

การรักษาเชิงทฤษฎี

$R^2$ เปรียบเทียบความแปรปรวนของแบบจำลองส่วนที่เหลือกับความแปรปรวนของการตอบสนอง ความแปรปรวนเป็นค่าเบี่ยงเบนบวกส่วนเบี่ยงเบนกำลังสองจากขนาดพอดี ดังนั้นเราอาจเข้าใจเปรียบเทียบสองรุ่นของการตอบสนองY $R^2$ $y$

รูปแบบ "ฐาน"คือ

\begin{matrix} (1) & y_{i} = μ + δ_{i} \end{matrix}

$y_i = \mu + \delta_i\tag{1}$

ที่เป็นพารามิเตอร์ (หมายถึงการตอบสนองในทางทฤษฎี) และมีความเป็นอิสระ "ข้อผิดพลาด" สุ่มแต่ละคนมีศูนย์เฉลี่ยและความแปรปรวนที่พบบ่อยของ 2 $\mu$ $\delta_i$ $\tau^2$

ตัวแบบการถดถอยเชิงเส้นแนะนำเวกเตอร์เป็นตัวแปรอธิบาย: $x_i$

\begin{matrix} (2) & y_{i} = β_{0} + x_{i} β + ε_{i} . \end{matrix}

$y_i = \beta_0 + x_i \beta + \varepsilon_i.\tag{2}$

หมายเลขและ vectorเป็นพารามิเตอร์ (การสกัดกั้นและ "ลาด") อีกครั้งคือข้อผิดพลาดแบบสุ่มอิสระแต่ละกับศูนย์ค่าเฉลี่ยและความแปรปรวนร่วมกัน 2 $\beta_0$ $\beta$ $\varepsilon_i$ $\sigma^2$

$R^2$ ประมาณการลดลงในแปรปรวนเมื่อเทียบกับความแปรปรวนเดิม 2 $\tau^2-\sigma^2$ $\tau^2$

เมื่อคุณใช้ลอการิทึมและใช้กำลังสองน้อยที่สุดเพื่อให้พอดีกับแบบจำลองคุณจะเปรียบเทียบความสัมพันธ์ของแบบฟอร์มโดยปริยาย

\begin{matrix} (1a) & \log (y_{i}) = ν + ζ_{i} \end{matrix}

$\log(y_i) = \nu + \zeta_i\tag{1a}$

ไปที่หนึ่งในแบบฟอร์ม

\begin{matrix} (2a) & \log (y_{i}) = γ_{0} + x_{i} γ + η_{i} . \end{matrix}

$\log(y_i) = \gamma_0 + x_i\gamma + \eta_i.\tag{2a}$

เหล่านี้เป็นเหมือนรุ่นและแต่มีการตอบสนองบันทึก แม้ว่ามันจะไม่เทียบเท่ากับสองรุ่นแรก ยกตัวอย่างเช่นการยกกำลังทั้งสองด้านของจะให้ $(1)$ $(2)$ $(2\text{a})$

y_{i} = \exp (\log (y_{i})) = \exp (γ_{0} + x_{i} γ) \exp (η_{i}) .

$y_i = \exp(\log(y_i)) = \exp(\gamma_0 + x_i\gamma)\exp(\eta_i).$

เงื่อนไขข้อผิดพลาดตอนนี้คูณความสัมพันธ์พื้นฐานแกมมา) ผลต่างของการตอบสนองคือ $\exp(\eta_i)$ $y_i = \exp(\gamma_0 + x_i\gamma)$

Var (y_{i}) = \exp (γ_{0} + x_{i} γ)^{2} Var (e^{η_{i}}) .

$\operatorname{Var}(y_i) = \exp(\gamma_0 + x_i\gamma)^2\operatorname{Var}(e^{\eta_i}).$

ผลต่างขึ้นอยู่กับx_i $x_i$ นั่นไม่ใช่รูปแบบซึ่งซึมแปรปรวนทุกคนเท่าเทียมกันที่จะคงที่ 2 $(2)$ $\sigma^2$

โดยปกติแล้วชุดแบบจำลองเพียงชุดเดียวเท่านั้นที่สามารถเป็นคำอธิบายที่สมเหตุสมผลของข้อมูลได้ การใช้ชุดที่สองและเมื่อชุดแรกและเป็นแบบอย่างที่ดีหรือชุดแรกเมื่อชุดที่สองดีทำงานกับ ชุดข้อมูลแบบไม่เชิงเส้นชุดแบบ heteroscedastic ซึ่งควรมีคุณภาพไม่ดีเมื่อใช้การถดถอยเชิงเส้น เมื่อทั้งสองกรณีนี้เป็นจริงเราอาจคาดหวังว่าแบบจำลองที่ดีกว่าจะแสดงใหญ่ขึ้น อย่างไรก็ตามจะเกิดอะไรขึ้นถ้าไม่มีทั้งสองกรณี เราสามารถคาดหวังเพื่อช่วยเราระบุรุ่นที่ดีกว่านี้ได้หรือไม่? $(1\text{a})$ $(2\text{a})$ $(1)$ $(2)$ $R^2$ $R^2$

การวิเคราะห์

ในแง่นี้มันไม่ได้เป็นคำถามที่ดีเพราะถ้าไม่ใช่ทั้งสองแบบที่เหมาะสมเราควรหาแบบจำลองที่สาม อย่างไรก็ตามปัญหาก่อนที่เราจะเกี่ยวข้องกับยูทิลิตี้ของในการช่วยให้เราทำการตัดสินใจนี้ นอกจากนี้หลายคนคิดว่าเป็นครั้งแรกเกี่ยวกับรูปร่างของความสัมพันธ์ระหว่างและ --is มันเส้นมันเป็นลอการิทึมมันเป็นสิ่งอื่น - โดยไม่ต้องกังวลเกี่ยวกับลักษณะของข้อผิดพลาดของการถดถอยที่หรือ\เหตุฉะนั้นให้เราพิจารณาสถานการณ์ที่รูปแบบของเราได้รับสัมพันธ์ที่ถูกต้อง แต่เป็นความผิดเกี่ยวกับโครงสร้างข้อผิดพลาดหรือของตนในทางกลับกัน $R^2$ $x$ $y$ $\varepsilon_i$ $\eta_i$

แบบจำลองดังกล่าว (ซึ่งมักเกิดขึ้น) เป็นรูปสี่เหลี่ยมจัตุรัสขนาดเล็กที่สุดที่เหมาะสมกับความสัมพันธ์เชิงเลขชี้กำลัง

\begin{matrix} (3) & y_{i} = \exp (α_{0} + x_{i} α) + θ_{i} . \end{matrix}

$y_i = \exp\left(\alpha_0 + x_i\alpha\right) + \theta_i.\tag{3}$

ตอนนี้ลอการิทึมของเป็นเชิงเส้นการทำงานของในขณะที่ , แต่เงื่อนไขข้อผิดพลาดเป็นสารเติมแต่งในขณะที่(2) ในกรณีดังกล่าวอาจทำให้เข้าใจผิดเราเข้าไปเลือกรุ่นที่มีความสัมพันธ์ที่ไม่ถูกต้องระหว่างและy ที่ $y$ $x$ $(2\text{a})$ $\theta_i$ $(2)$ $R^2$ $x$ $y$

นี่คือตัวอย่างของรูปแบบ(3)มีข้อสังเกตสำหรับ (1-vector กระจายเท่ากันระหว่างและ ) ด้านซ้ายแสดงให้เห็นแผงเดิมข้อมูลในขณะที่ด้านขวาแสดงข้อมูลเปลี่ยน เส้นประสีแดงแสดงความสัมพันธ์ที่แท้จริงพื้นฐานในขณะที่เส้นสีฟ้าทึบแสดงสี่เหลี่ยมจัตุรัสที่มีขนาดเล็กที่สุด ข้อมูลและความสัมพันธ์ที่แท้จริงนั้นเหมือนกันในทั้งสองพาเนล: เฉพาะรุ่นและขนาดที่พอดีเท่านั้น $(3)$ $300$ $x_i$ $1.0$ $1.6$ $(x,y)$ $(x,\log(y))$

พอดีกับบันทึกการตอบสนองทางด้านขวาอย่างชัดเจนดี: มันเกือบจะสอดคล้องกับความสัมพันธ์ที่แท้จริงและทั้งสองเป็นเชิงเส้น ความพอดีกับคำตอบดั้งเดิมทางซ้ายชัดเจนว่าแย่กว่า: มันเป็นเส้นตรงในขณะที่ความสัมพันธ์ที่แท้จริงนั้นมีความหมายอย่างมาก แต่น่าเสียดายที่มันมีค่าสะดุดตาขนาดใหญ่ของ :เมื่อเทียบกับ0.56นั่นเป็นเหตุผลที่เราไม่ควรไว้วางใจเพื่อนำเราไปสู่รุ่นที่ดีกว่า นั่นเป็นเหตุผลที่เราไม่ควรพึงพอใจกับความพอดีแม้เมื่อเป็น "สูง" (และในหลาย ๆ แอปพลิเคชันค่าก็ถือว่าสูงมาก) $R^2$ $0.70$ $0.56$ $R^2$ $R^2$ $0.70$

วิธีที่ดีกว่าในการประเมินแบบจำลองเหล่านี้รวมถึงความดีของการทดสอบแบบพอดี (ซึ่งจะบ่งบอกถึงความเหนือกว่าของแบบจำลองบันทึกทางด้านขวา) และแผนการวินิจฉัยสำหรับความคงที่ของส่วนที่เหลือ (ซึ่งจะเน้นปัญหาของทั้งสองรุ่น) การประเมินดังกล่าวจะนำไปสู่หนึ่งในรูปแบบน้ำหนักน้อยที่สุดของหรือโดยตรงกับแบบจำลองซึ่งจะต้องเหมาะสมกับการใช้โอกาสสูงสุดหรือวิธีกำลังสองน้อยที่สุดแบบไม่เชิงเส้น $\log(y)$ $(3)$

— whuber
แหล่งที่มา

การวิจารณ์ใน R ^ 2 นั้นไม่ยุติธรรม เนื่องจากเครื่องมือทุกตัวมันควรเข้าใจการใช้งานเป็นอย่างดี ในตัวอย่างของคุณด้านบน R ^ 2 แสดงข้อความที่ถูกต้อง R ^ 2 เป็นวิธีในการลดอัตราส่วนสัญญาณต่อเสียงรบกวนให้ดีขึ้น แน่นอนว่ามันไม่ชัดเจนเมื่อคุณใส่กราฟสองกราฟที่มีสเกลต่างกันโดยสิ้นเชิง ในความเป็นจริงสัญญาณด้านซ้ายนั้นแรงมากเมื่อเทียบกับการเบี่ยงเบนของเสียง

— Cagdas Ozgenc

@Cagdas คุณดูเหมือนจะเสนอข้อความที่ขัดแย้งโดยเนื้อแท้ เนื่องจากทั้งสองแปลงไม่สามารถหลีกเลี่ยงได้บนสเกลสองที่แตกต่างกัน - แปลงหนึ่งตอบสนองดั้งเดิมและอีกแปลงของลอการิทึมของพวกเขา - แล้วอ้อนวอนว่าบางสิ่งบางอย่าง "ไม่ชัดเจน" เพราะข้อเท็จจริงที่หลีกเลี่ยงไม่ได้ดูเหมือนจะไม่สนับสนุนกรณีของคุณ บ่นว่าคำตอบนี้ "ไม่ยุติธรรม" จริงๆไม่ได้ถือในแง่ของการวิเคราะห์ที่ชัดเจนของแบบจำลองที่ฉันเสนอ

— whuber

ไม่มีความขัดแย้งในสิ่งที่ฉันพูด R ^ 2 เลือกอัตราส่วนสัญญาณต่อเสียงรบกวนที่สูงขึ้น นั่นคือสิ่งที่มันทำ พยายามที่จะหันไปหาสิ่งอื่นและอ้างว่ามันไม่ทำงานเป็นเรื่องผิด การวิพากษ์วิจารณ์ทั้งหมดเพื่อ R ^ 2 ยังนำไปใช้กับความดีอื่น ๆ ของตัวบ่งชี้ที่พอดีเมื่อนำไปใช้กับตัวแปรตอบสนองที่แตกต่างกัน แต่ด้วยเหตุผลบางอย่าง R ^ 2 ได้รับเลือกให้เป็นแพะรับบาป

— Cagdas Ozgenc

ฉันจะอย่างแท้จริงจะสนใจในการรู้ @Cagdas เพียงสิ่งที่เป็นส่วนหนึ่งของการวิเคราะห์นี้คุณดูเป็น "แพะรับบาป" 2 เท่าที่ฉันสามารถบอกได้ว่ามันเป็นการประเมินที่ไม่เหมาะสมและเป็นเทคนิคในการประเมินว่าคืออะไรและไม่สามารถบรรลุผลได้ ฉันไม่เห็นว่ามันเกี่ยวข้องกับการอ้างถึง "อัตราส่วนสัญญาณต่อเสียงรบกวน" ในความเป็นจริงตัวอย่างที่แสดงให้เห็นอย่างชัดเจนว่าแบบจำลองที่ดีกว่า (ในแง่ที่ฉันอธิบายซึ่งสอดคล้องกับสิ่งที่คนส่วนใหญ่หมายถึงโดย "ความดีพอดี") ที่เลวร้ายยิ่ง 2

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— whuber

ขอบคุณสำหรับความช่วยเหลือของคุณ ขออภัยสำหรับการรับสายฉันไม่ได้มีเวลาว่างเมื่อเร็ว ๆ นี้ ;)

— ชายชราในทะเล