ตัวทำนายบางตัวของฉันอยู่ในสเกลที่แตกต่างกันมาก - ฉันต้องเปลี่ยนพวกมันก่อนที่จะปรับตัวแบบถดถอยเชิงเส้นหรือไม่?

ฉันต้องการรันการถดถอยเชิงเส้นบนชุดข้อมูลแบบหลายมิติ มีความแตกต่างระหว่างมิติต่าง ๆ ในแง่ของขนาดของระเบียบ ตัวอย่างเช่นโดยทั่วไปส่วนข้อมูล 1 มีช่วงค่า [0, 1] และส่วนข้อมูล 2 มีช่วงค่า [0, 1,000]

ฉันจำเป็นต้องทำการแปลงใด ๆ เพื่อให้แน่ใจว่าช่วงข้อมูลสำหรับมิติข้อมูลที่แตกต่างกันอยู่ในระดับเดียวกันหรือไม่ ถ้ามีจะมีแนวทางใดสำหรับการเปลี่ยนแปลงเช่นนี้หรือไม่?

regression multiple-regression linear-model

— บิตคำถาม
แหล่งที่มา

คำตอบ:

ตัวแปรการเลื่อน / การปรับจะไม่ส่งผลต่อความสัมพันธ์กับการตอบสนอง

เพื่อดูว่าทำไมนี้เป็นจริงสมมติว่าความสัมพันธ์ระหว่าง $Y$ และ $X$ คือ $\rho$ . จากนั้นความสัมพันธ์ระหว่าง $Y$ และ $(X-a)/b$ คือ

\frac{ค โอ โวลต์ (Y, (X - a) / ข)}{S D ((X - a) / ข) \cdot S D (Y)} = \frac{ค โอ โวลต์ (Y, X / ข)}{S D (X / ข) \cdot S D (Y)} = \frac{\frac{1}{ข} \cdot ค โอ โวลต์ (Y, X)}{\frac{1}{ข} S D (X) \cdot S D (Y)} = ρ

$\frac{ {\rm cov}(Y,(X-a)/b) }{ {\rm SD}((X-a)/b) \cdot {\rm SD}(Y) } = \frac{ {\rm cov}(Y,X/b) }{ {\rm SD}(X/b) \cdot {\rm SD}(Y) } = \frac{ \frac{1}{b} \cdot {\rm cov}(Y,X) }{ \frac{1}{b}{\rm SD}(X) \cdot {\rm SD}(Y) } = \rho$

ซึ่งตามมาจากคำจำกัดความของความสัมพันธ์และข้อเท็จจริงสามประการ:

${\rm cov}(Y, X+a) = {\rm cov}(Y,X) + \underbrace{{\rm cov}(Y,a)}_{=0} = {\rm cov}(Y,X)$
${\rm cov}(Y,aX) = a {\rm cov}(Y,X)$
${\rm SD}(aX) = a \cdot {\rm SD}(X)$

ดังนั้นในแง่ของรูปแบบที่เหมาะสม (เช่น $R^2$ หรือค่าติดตั้ง) การขยับหรือปรับขนาดตัวแปรของคุณ (เช่นวางไว้ในระดับเดียวกัน) จะไม่เปลี่ยนรูปแบบเนื่องจากค่าสัมประสิทธิ์การถดถอยเชิงเส้นสัมพันธ์กับความสัมพันธ์ระหว่างตัวแปร มันจะเปลี่ยนขนาดของค่าสัมประสิทธิ์การถดถอยของคุณเท่านั้นซึ่งควรคำนึงถึงเมื่อคุณตีความผลลัพธ์หากคุณเลือกที่จะแปลงตัวทำนายของคุณ

แก้ไข: ข้างต้นสันนิษฐานว่าคุณกำลังพูดถึงการถดถอยปกติด้วยการสกัดกั้น อีกสองประเด็นที่เกี่ยวข้องกับสิ่งนี้ (ขอบคุณ @cardinal):

การสกัดกั้นสามารถเปลี่ยนแปลงได้เมื่อคุณเปลี่ยนตัวแปรของคุณและเมื่อ @cardinal ชี้ให้เห็นในความคิดเห็นสัมประสิทธิ์จะเปลี่ยนเมื่อคุณเปลี่ยนตัวแปรของคุณหากคุณไม่ตัดการสกัดจากโมเดลแม้ว่าฉันจะถือว่าคุณไม่ได้ทำเช่นนั้น เหตุผลที่ดี (ดูเช่นคำตอบนี้ )
หากคุณปรับค่าสัมประสิทธิ์เป็นประจำในบางวิธี (เช่น Lasso, การถดถอยของสันเขา) จากนั้นการจัดกึ่งกลาง / การปรับขนาดจะส่งผลต่อความพอดี ตัวอย่างเช่นหากคุณกำลังลงโทษ $\sum \beta_{i}^{2}$ (บทลงโทษจากการถดถอยของสันเขา) จากนั้นคุณจะไม่สามารถกู้คืนความฟิตที่เท่ากันได้หลังจากสร้างมาตรฐานเว้นแต่ตัวแปรทั้งหมดจะอยู่ในระดับเดียวกันในตอนแรกนั่นคือไม่มีตัวคูณคงที่ที่จะเรียกคืนการลงโทษเดิมได้

เกี่ยวกับเวลา / สาเหตุที่นักวิจัยอาจต้องการเปลี่ยนการทำนาย

สถานการณ์ทั่วไป (กล่าวถึงในคำตอบต่อมาโดย @Paul) คือนักวิจัยจะสร้างมาตรฐานของการทำนายเพื่อให้สัมประสิทธิ์ทั้งหมดอยู่ในระดับเดียวกัน ในกรณีดังกล่าวขนาดของการประมาณจุดสามารถให้ความคิดคร่าวๆว่าผู้ทำนายมีผลกระทบมากที่สุดเมื่อขนาดเชิงตัวเลขของเครื่องทำนายนั้นเป็นมาตรฐาน

อีกเหตุผลหนึ่งที่นักวิจัยอาจต้องการปรับขนาดตัวแปรที่มีขนาดใหญ่มากคือค่าสัมประสิทธิ์การถดถอยไม่ได้อยู่ในระดับที่เล็กมาก ตัวอย่างเช่นหากคุณต้องการดูอิทธิพลของขนาดประชากรของประเทศที่มีต่ออัตราการเกิดอาชญากรรม (ไม่สามารถนึกถึงตัวอย่างที่ดีกว่า) คุณอาจต้องการวัดขนาดประชากรเป็นล้าน ๆแทนที่จะเป็นหน่วยดั้งเดิมเนื่องจากค่าสัมประสิทธิ์ อาจจะเป็นสิ่งที่ชอบ $.00000001$ .

— มาโคร
แหล่งที่มา

ข้อสังเกตอย่างรวดเร็วสองข้อ: แม้ว่าจุดเริ่มต้นของการโพสต์นั้นถูกต้อง แต่ก็ยังขาดความจริงที่ว่าการจัดกึ่งกลางจะมีผลหากการสกัดกั้นขาดหายไป :) ประการที่สองการจัดกึ่งกลางและการลดขนาดมีผลสำคัญหากใช้การทำให้เป็นมาตรฐาน ในขณะที่ OP อาจไม่ได้พิจารณาสิ่งนี้ แต่ก็อาจเป็นจุดที่ควรคำนึงถึง

— พระคาร์ดินัล

ความแปรปรวนของการลดอัตราการหายใจยังสามารถมองเห็นได้อย่างง่ายดายถ้าใครเห็นด้วยกับสัญกรณ์เมทริกซ์ กับ

X

$X$ อันดับเต็ม (สำหรับความเรียบง่าย)

\hat{y} = X (X^{'} X)^{- 1} X^{'} y

$\hat y = X (X'X)^{-1} X'y$ . ตอนนี้ถ้าเราแทนที่

X

$X$ โดย

X D

$X D$ ที่ไหน

D

$D$ เราได้เส้นทแยงมุม

\tilde{Y} = (X D) ((X D)^{'} X D)^{- 1} (X D)^{'} Y = X D (D X^{'} X D)^{- 1} D X^{'} Y = X (X^{'} X)^{- 1} X^{'} Y = \hat{Y} .

$\tilde y = (X D) ((XD)'XD)^{-1} (XD)'y = X D(D X'X D)^{-1} D X'y = X (X'X)^{-1} X'y = \hat y\>.$

— พระคาร์ดินัล

@cardinal ฉันได้ตัดสินใจที่จะพูดถึงความจริงที่ว่าหากการประมาณของคุณเป็นปกติการกำหนด / การปรับขนาดอาจมีผลกระทบ ตอนแรกฉันไม่เห็นด้วยเพราะฉันคิดว่าจะเริ่มพูดนอกเรื่องยาวซึ่งอาจสร้างความสับสนให้กับผู้ที่ไม่คุ้นเคยกับการทำให้เป็นปกติ แต่ฉันพบว่าฉันสามารถพูดคุยกับพื้นที่ค่อนข้างน้อย ขอบคุณ

— มาโคร

ความคิดเห็นของฉันไม่ได้มีไว้เพื่อแนะนำว่าควรจะปรับปรุงคำตอบ หลายครั้งที่ฉันชอบพูดออกไปในคำพูดเสริมภายใต้คำตอบที่ดีเพื่อให้ความคิดสองสามเกี่ยวกับความคิดที่เกี่ยวข้องที่อาจเป็นที่สนใจของผู้สัญจรไปมา (+1)

— พระคาร์ดินัล

มีบางอย่างที่ขี้ขลาดกำลังเกิดขึ้นกับการนับคะแนน อีกครั้งฉัน upvoting นี้เมื่อความคิดเห็นก่อนหน้าของฉันและมันไม่ได้ "ใช้" อืมมม

— พระคาร์ดินัล

"การทำให้เป็นมาตรฐาน" ที่เรียกว่าเป็นกิจวัตรทั่วไปสำหรับวิธีการถดถอยส่วนใหญ่ มีสองวิธี:

แมปตัวแปรแต่ละตัวเป็น [-1, 1] ขอบเขต (mapminmax ใน MatLab
ลบค่าเฉลี่ยออกจากตัวแปรแต่ละตัวแล้วหารค่าเบี่ยงเบนมาตรฐาน (mapstd ใน MatLab) นั่นคือ "ปกติ" หากค่าเฉลี่ยที่แท้จริงนั้นไม่เป็นที่รู้จัก ${\tilde{X}}_{ผม J} = \frac{X_{ผม J} - μ_{ผม}}{σ_{ผม}}$ $\tilde{X}_{ij}=\frac{X_{ij}-\mu_i}{\sigma_i}$ หรือ ${\tilde{X}}_{ผม J} = \frac{X_{ผม J} - \bar{X_{ผม}}}{s เสื้อ d (X_{ผม})}$ $\tilde{X}_{ij}=\frac{X_{ij} - \overline{X_i}}{std({X_i})}$ ที่ไหน $E[X_i] = \mu$ , $E[X_i^2-E[X_i]^2]=\sigma^2$ , $\overline{X_i}=\frac{1}{N}\sum_{j=1}^{N}X_{ij}$ และ $std({X_i}) = \sqrt{\frac{1}{N}\sum_{j=1}^{N}(X_{ij}^2 -\overline{X_{i}}^2)}$

เนื่องจากการถดถอยเชิงเส้นมีความอ่อนไหวต่อช่วงของตัวแปรโดยทั่วไปฉันจะแนะนำให้ทำให้ตัวแปรทั้งหมดเป็นปกติถ้าคุณไม่มีความรู้ก่อนหน้าเกี่ยวกับการพึ่งพาอาศัยกันและคาดว่าตัวแปรทั้งหมดจะมีความสำคัญ

เช่นเดียวกันกับตัวแปรตอบสนองแม้ว่าจะไม่สำคัญสำหรับพวกเขา

ทำไมการทำให้เป็นมาตรฐานหรือการทำให้เป็นมาตรฐาน? ส่วนใหญ่เพื่อกำหนดผลกระทบสัมพัทธ์ของตัวแปรต่าง ๆ ใน model.that สามารถทำได้หากตัวแปรทั้งหมดอยู่ในหน่วยเดียวกัน

หวังว่านี่จะช่วยได้!

— พอล
แหล่งที่มา

คุณหมายถึงอะไรเมื่อคุณพูดว่าการถดถอยเชิงเส้นมีความไวต่อตัวแปรมาก สำหรับx1,x2,yสองคำสั่งเหล่านี้: summary(lm(y~x1+x2))$r.sqและsummary(lm(y~scale(x1)+scale(x2)))$r.sq-

R^{2}

$R^2$ ค่าเมื่อคุณไม่ได้มาตรฐานค่าสัมประสิทธิ์และเมื่อคุณ - ให้ค่าเดียวกันแสดงให้เห็นพอดี

— มาโคร

ฉันไม่ถูกต้องครบถ้วนในการกำหนด ฉันหมายถึงคนโง่ การถดถอยจะเหมือนกันเสมอ (ในแง่ของ

R^{2}

$\mathbf{R^2}$ ) ถ้าคุณทำการแปลงเชิงเส้นของข้อมูลเท่านั้น แต่ถ้าคุณต้องการทราบว่าตัวแปรใดที่สำคัญที่สุดและเกือบจะมีเสียงรบกวน มันเป็นเพียงการแปลงค่าตัวแปรให้เป็นมาตรฐานและลืมเกี่ยวกับสเกลดั้งเดิมของมัน ดังนั้นการถดถอยจึงเป็น "ความรู้สึก" ในแง่ของการทำความเข้าใจผลกระทบที่สัมพันธ์กัน

— Paul

ขอบคุณสำหรับคำชี้แจง แต่ซึ่งตัวแปร crusial และที่เกือบจะมีเสียงดังเรื่องขนาดมักจะตัดสินใจโดย

p

$p$ - ค่าซึ่งจะไม่เปลี่ยนแปลงเมื่อคุณสร้างมาตรฐาน (ยกเว้นการสกัดกั้นแน่นอน) ฉันเห็นด้วยกับประเด็นของคุณว่ามันให้ตีความที่ดีกว่าของการประมาณค่าสัมประสิทธิ์ดิบ

— แมโคร