ฉันเจอข้อความที่ดีมากใน Bayes / MCMC ฝ่ายไอทีแนะนำว่าการสร้างมาตรฐานของตัวแปรอิสระของคุณจะทำให้อัลกอริทึม MCMC (Metropolis) มีประสิทธิภาพมากขึ้น นั่นเป็นเรื่องจริงเหรอ? นี่คือสิ่งที่ฉันควรทำตามมาตรฐาน (ขออภัย)

Kruschke 2011, ทำการวิเคราะห์ข้อมูลแบบเบย์ (AP)

แก้ไข: ตัวอย่างเช่น

     > data(longley)
     > cor.test(longley$Unemployed, longley$Armed.Forces)

Pearson's product-moment correlation

     data:  longley$Unemployed and longley$Armed.Forces 
     t = -0.6745, df = 14, p-value = 0.5109
     alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
     -0.6187113  0.3489766 
     sample estimates:
      cor 
     -0.1774206 

     > standardise <- function(x) {(x-mean(x))/sd(x)}
     > cor.test(standardise(longley$Unemployed), standardise(longley$Armed.Forces))

Pearson's product-moment correlation

     data:  standardise(longley$Unemployed) and standardise(longley$Armed.Forces) 
     t = -0.6745, df = 14, p-value = 0.5109
      alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
      -0.6187113  0.3489766 
      sample estimates:
       cor 
     -0.1774206 

สิ่งนี้ไม่ได้ลดความสัมพันธ์หรือดังนั้นการ จำกัด การพึ่งพาเชิงเส้นของเวกเตอร์

เกิดอะไรขึ้น?

R

มันไม่เปลี่ยน collinearity ระหว่างผลกระทบหลักเลย การปรับสเกลไม่ได้เช่นกัน การแปลงเชิงเส้นใด ๆ จะไม่ทำเช่นนั้น สิ่งที่เปลี่ยนแปลงคือความสัมพันธ์ระหว่างเอฟเฟ็กต์หลักและการโต้ตอบ แม้ว่า A และ B จะขึ้นอยู่กับความสัมพันธ์ของ 0 แต่ความสัมพันธ์ระหว่าง A และ A: B จะขึ้นอยู่กับปัจจัยระดับ

ลองทำสิ่งต่อไปนี้ในคอนโซล R โปรดทราบว่าrnormเพิ่งสร้างตัวอย่างสุ่มจากการแจกแจงแบบปกติด้วยค่าประชากรที่คุณตั้งค่าในกรณีนี้ 50 ตัวอย่าง scaleฟังก์ชั่นมาตรฐานตัวอย่างเพื่อค่าเฉลี่ย 0 และ SD 1

set.seed(1) # the samples will be controlled by setting the seed - you can try others
a <- rnorm(50, mean = 0, sd = 1)
b <- rnorm(50, mean = 0, sd = 1)
mean(a); mean(b)
# [1] 0.1004483 # not the population mean, just a sample
# [1] 0.1173265
cor(a ,b)
# [1] -0.03908718

ความสัมพันธ์แบบบังเอิญมีค่าใกล้ 0 สำหรับตัวอย่างอิสระเหล่านี้ ทีนี้ทำให้ค่าเฉลี่ยเป็น 0 และ SD เท่ากับ 1

a <- scale( a )
b <- scale( b )
cor(a, b)
# [1,] -0.03908718

อีกครั้งนี้เป็นค่าเดียวกันแน่นอนแม้ว่าค่าเฉลี่ยคือ 0 และ SD = 1 สำหรับทั้งสองและab

cor(a, a*b)
# [1,] -0.01038144

สิ่งนี้อยู่ใกล้มาก 0 (a * b ถือได้ว่าเป็นคำศัพท์ที่ใช้โต้ตอบ)

แต่มักจะเป็น SD bและค่าเฉลี่ยของการพยากรณ์ที่แตกต่างกันค่อนข้างมากดังนั้นการเปลี่ยนแปลงให้ของ แทนที่จะเก็บตัวอย่างใหม่ฉันจะขายต้นฉบับbให้โดยมีค่าเฉลี่ย 5 และ SD เป็น 2

b <- b * 2 + 5
cor(a, b)
 # [1] -0.03908718

อีกครั้งความสัมพันธ์ที่คุ้นเคยที่เราได้เห็นมาตลอด มาตราส่วนจะมีผลกระทบต่อความสัมพันธ์ระหว่างไม่มีและa bแต่!!

cor(a, a*b)
# [1,] 0.9290406

ตอนนี้จะมีความสัมพันธ์ที่สำคัญซึ่งคุณสามารถทำให้หายไปได้โดยการวางศูนย์กลางและ / หรือทำให้เป็นมาตรฐาน ฉันมักจะไปด้วยเพียงแค่ศูนย์กลาง

ตามที่คนอื่น ๆ ได้กล่าวไปแล้วการสร้างมาตรฐานไม่เกี่ยวข้องกับความเป็นคู่กัน

collinearity ที่สมบูรณ์แบบ

มาเริ่มด้วยมาตรฐาน (อาคาการทำให้เป็นมาตรฐาน) คืออะไร, สิ่งที่เราหมายถึงคือการลบค่าเฉลี่ยและหารด้วยค่าเบี่ยงเบนมาตรฐานเพื่อให้ค่าเฉลี่ยที่เป็นผลลัพธ์เท่ากับศูนย์และส่วนเบี่ยงเบนมาตรฐานเป็นเอกภาพ ดังนั้นถ้าตัวแปรสุ่มมีค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานดังนั้นμ X σ $X$$\mu_X$$\sigma_X$

$$\newcommand{Var}{\mathrm{Var}} Z_X = \frac{X - \mu_X}{\sigma_X}$$

มีค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานได้รับคุณสมบัติของค่าที่คาดหวังและความแปรปรวนที่ ,และ ,โดยที่คือ rv และเป็นค่าคงที่$\mu_Z = 0$$\sigma_Z = 1$$E(X + a) = E(X) + a$$E(bX) = b\,E(X)$$\Var(X + a) = \Var(X)$$\Var(bX) = b^2 \Var(X)$$X$$a,b$

เราบอกว่าตัวแปรสองตัวและนั้นสมบูรณ์แบบถ้ามีค่าดังกล่าวและนั่น$X$$Y$$\lambda_0$$\lambda_1$

$$Y = \lambda_0 + \lambda_1 X$$

สิ่งต่อไปนี้ถ้ามีค่าเฉลี่ยและค่าเบี่ยงเบนมาตรฐานแล้วมีค่าเฉลี่ยและค่าเบี่ยงเบนมาตรฐาน\ ตอนนี้เมื่อเราสร้างมาตรฐานของตัวแปรทั้งสอง (ลบค่าเฉลี่ยและหารด้วยค่าเบี่ยงเบนมาตรฐาน) เราจะได้ ...$X$$\mu_X$$\sigma_X$$Y$$\mu_Y = \lambda_0 + \lambda_1 \mu_X$$\sigma_Y = \lambda_1 \sigma_X$$Z_X = Z_X$

ความสัมพันธ์

แน่นอน collinearity ที่สมบูรณ์แบบไม่ได้เป็นสิ่งที่เราจะเห็นว่าบ่อยครั้ง แต่ตัวแปรที่มีความสัมพันธ์กันอย่างมากอาจเป็นปัญหาได้ ดังนั้นมาตรฐานจะมีผลต่อสหสัมพันธ์หรือไม่ โปรดเปรียบเทียบแปลงต่อไปนี้ที่แสดงตัวแปรที่สัมพันธ์กันสองรายการบนสองแปลงก่อนและหลังการปรับอัตราส่วน:

คุณเห็นความแตกต่างได้ไหม? อย่างที่คุณเห็นฉันตั้งใจลบเลเบลแกนเพื่อที่จะทำให้คุณมั่นใจว่าฉันไม่ได้โกงดูแปลงที่มีเลเบลเพิ่ม:

การพูดทางคณิตศาสตร์หากความสัมพันธ์คือ

$$\newcommand{Corr}{\mathrm{Corr}} \newcommand{Cov}{\mathrm{Cov}} \Corr(X, Y) = \frac{\Cov(X,Y)}{\Var(X)\,\Var(Y)}$$

จากนั้นด้วยตัวแปร collinear ที่เรามี

$$\require{cancel} \begin{align} \Corr(X, Y) &= \frac{E[(X - \mu_X)(Y - \mu_Y)]}{\sigma_X\sigma_Y} \\ &=\frac{E[(X - \mu_X)(\cancel{\lambda_0} + \lambda_1 X - \cancel{\lambda_0} - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)(\lambda_1 X - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)\lambda_1( X - \mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{\cancel{\lambda_1} E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\;\cancel{\lambda_1}\sigma_X} \\ &= \frac{E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\sigma_X} \end{align}$$

ตอนนี้ตั้งแต่ ,$\Cov(X,X) = \Var(X)$

$$\begin{align} &= \frac{\Cov(X, X)}{\sigma_X^2} = \frac{\Var(X)}{\Var(X)} = 1 \end{align}$$

ในขณะที่มีตัวแปรมาตรฐาน

$$\begin{align} \Corr(Z_X, Z_Y) &= \frac{E[(Z_X - 0)(Z_Y - 0)]}{1 \times 1} \\ &= \Cov(Z_X, Z_Y) = \Var(Z_X) = 1 \end{align}$$

ตั้งแต่ ...$Z_X = Z_Y$

ในที่สุดสังเกตว่าสิ่งที่ Kruschke พูดถึงคือมาตรฐานของตัวแปรทำให้ชีวิตง่ายขึ้นสำหรับตัวอย่างกิ๊บส์และนำไปสู่การลดความสัมพันธ์ระหว่างการสกัดกั้นและความลาดชันในรูปแบบการถดถอยที่เขานำเสนอ เขาไม่ได้บอกว่าตัวแปรที่เป็นมาตรฐานช่วยลดความเหลื่อมล้ำระหว่างตัวแปร

การกำหนดมาตรฐานไม่ส่งผลกระทบต่อความสัมพันธ์ระหว่างตัวแปร พวกเขายังคงเหมือนเดิม ความสัมพันธ์จับการประสานของทิศทางของตัวแปร ไม่มีอะไรในมาตรฐานที่เปลี่ยนทิศทางของตัวแปร

หากคุณต้องการกำจัดความหลากหลายทางหลายทางระหว่างตัวแปรของคุณฉันขอแนะนำให้ใช้การวิเคราะห์ส่วนประกอบหลัก (PCA) อย่างที่คุณทราบ PCA นั้นมีประสิทธิภาพมากในการขจัดปัญหาความสัมพันธ์ระหว่างกันหลายค่า ในอีกทางหนึ่ง PCA วาทกรรมตัวแปรรวมกัน (องค์ประกอบหลัก P1, P2, ฯลฯ ... ) ค่อนข้างทึบแสง แบบจำลอง PCA นั้นมีความท้าทายมากกว่าที่จะอธิบายมากกว่าแบบหลายตัวแปรแบบดั้งเดิม

มันไม่ลดความเป็นเส้นตรง แต่สามารถลด VIF ได้ โดยทั่วไปเราใช้ VIF เป็นตัวบ่งชี้สำหรับข้อกังวลสำหรับ collinearity

ที่มา: http://blog.minitab.com/blog/adventures-in-statistics-2/what-are-the-effects-of-multicollinearity-and-when-can-i-ignore-them

การกำหนดมาตรฐานเป็นวิธีการทั่วไปในการลดความเป็นคู่ (คุณควรจะสามารถตรวจสอบได้อย่างรวดเร็วว่ามันทำงานได้โดยลองกับตัวแปรสองสามคู่) ไม่ว่าคุณจะทำอย่างนั้นหรือไม่นั้นขึ้นอยู่กับจำนวน collinearity ของปัญหาในการวิเคราะห์ของคุณ

แก้ไข: ฉันเห็นว่าฉันมีข้อผิดพลาด แม้ว่าการทำมาตรฐานจะทำอะไรลดความน่าเชื่อถือด้วยเงื่อนไขผลิตภัณฑ์ (เงื่อนไขการโต้ตอบ)