การถดถอยหลายครั้งหรือสัมประสิทธิ์สหสัมพันธ์บางส่วน? และความสัมพันธ์ระหว่างคนทั้งสอง

ฉันไม่รู้ด้วยซ้ำว่าคำถามนี้สมเหตุสมผลหรือไม่ แต่อะไรคือความแตกต่างระหว่างการถดถอยหลายครั้งและสหสัมพันธ์บางส่วน (นอกเหนือจากความแตกต่างที่ชัดเจนระหว่างสหสัมพันธ์และการถดถอยซึ่งไม่ใช่สิ่งที่ฉันกำลังตั้งเป้าไว้)

ฉันต้องการหาข้อมูลต่อไปนี้:
ฉันมีตัวแปรอิสระสองตัว ( , ) และอีกหนึ่งตัวแปรขึ้นอยู่กับ ( ) ตอนนี้ทีละตัวแปรอิสระไม่ได้มีความสัมพันธ์กับตัวแปรตาม แต่สำหรับกำหนดจะลดลงเมื่อลดลง ดังนั้นฉันจะวิเคราะห์ว่าโดยวิธีการถดถอยหลายครั้งหรือความสัมพันธ์บางส่วน ? $x_1$ $x_2$ $y$ $x_1$ $y$ $x_2$

แก้ไขเพื่อหวังปรับปรุงคำถามของฉัน: ฉันพยายามเข้าใจความแตกต่างระหว่างการถดถอยหลายครั้งและสหสัมพันธ์บางส่วน ดังนั้นเมื่อลดลงสำหรับกำหนดเมื่อลดลงนั่นเป็นเพราะผลรวมของและต่อ (การถดถอยหลายครั้ง) หรือเป็นเพราะการลบผลกระทบของ (ความสัมพันธ์บางส่วน)? $y$ $x_1$ $x_2$ $x_1$ $x_2$ $y$ $x_1$

multiple-regression regression-coefficients partial-correlation

— user34927
แหล่งที่มา

คำถามสำคัญที่คุณพยายามตอบคืออะไร

— gung - Reinstate Monica

คำถามที่ยังดูคล้ายกันมากstats.stackexchange.com/q/50156/3277

— ttnphns

สัมประสิทธิ์การถดถอยเชิงเส้นหลายเส้นและสหสัมพันธ์บางส่วนเชื่อมโยงโดยตรงและมีความสำคัญเหมือนกัน (p-value) บางส่วนRเป็นเพียงวิธีการมาตรฐานค่าสัมประสิทธิ์อีกพร้อมกับเบต้าค่าสัมประสิทธิ์ (ค่าสัมประสิทธิ์ถดถอยมาตรฐาน) 1 ดังนั้นหากตัวแปรตามคือและที่ปรึกษาคือและดังนั้น $^1$ $y$ $x_1$ $x_2$

Beta: β_{x_{1}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{1 - r_{x_{1} x_{2}}^{2}}

$\text{Beta:} \quad \beta_{x_1} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{1-r_{x_1x_2}^2}$

Partial r: r_{y x_{1} . x_{2}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{\sqrt{(1 - r_{y x_{2}}^{2}) (1 - r_{x_{1} x_{2}}^{2})}}

$\text{Partial r:} \quad r_{yx_1.x_2} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{\sqrt{ (1-r_{yx_2}^2)(1-r_{x_1x_2}^2) }}$

คุณจะเห็นว่า numerators จะเหมือนกันที่บอกว่าทั้งสองสูตรวัดผลที่ไม่ซ้ำกันเดียวกันของx_1ฉันจะพยายามอธิบายว่าสูตรทั้งสองมีความเหมือนกันทางโครงสร้างอย่างไรและไม่เป็นอย่างไร $x_1$

สมมติว่าคุณมีค่ามาตรฐาน z (หมายถึง 0, ความแปรปรวน 1) ทั้งสามตัวแปร เศษจากนั้นจะมีค่าเท่ากับความแปรปรวนร่วมระหว่างสองชนิดของเหลือ : (ก) ที่เหลือที่เหลืออยู่ในการคาดการณ์โดย [ตัวแปรทั้งสองมาตรฐาน] และ (ข) ที่เหลือที่เหลืออยู่ในการทำนายโดย [ทั้งตัวแปรมาตรฐาน] นอกจากนี้ความแปรปรวนของส่วนที่เหลือ (a) คือ ; ความแปรปรวนของความคลาดเคลื่อน (ข) เป็น 2 $y$ $x_2$ $x_1$ $x_2$ $1-r_{yx_2}^2$ $1-r_{x_1x_2}^2$

สูตรสำหรับความสัมพันธ์บางส่วนนั้นปรากฏอย่างชัดเจนสูตรของเพียร์สันที่คำนวณได้ในกรณีนี้ระหว่างส่วนที่เหลือ (a) และส่วนที่เหลือ (b): เพียร์สันเรารู้ว่ามันคือความแปรปรวนร่วมหารด้วยตัวหาร ความแตกต่างสองอย่าง $r$ $r$

มาตรฐานค่าสัมประสิทธิ์เบต้ามีโครงสร้างเช่นเพียร์สันเท่านั้นที่ตัวหารเป็นค่าเฉลี่ยเรขาคณิตของความแปรปรวนด้วยตนเอง ความแปรปรวนของค่าคงที่ (a) ไม่ถูกนับ มันถูกแทนที่ด้วยการนับที่สองของความแปรปรวนของสารตกค้าง (b) เบต้าจึงแปรปรวนของทั้งสองเหลือญาติแปรปรวนของหนึ่งของพวกเขา (โดยเฉพาะหนึ่งที่เกี่ยวข้องกับการทำนายของดอกเบี้ย ) ในขณะที่ความสัมพันธ์บางส่วนดังที่ได้สังเกตเห็นแล้วก็คือความแปรปรวนร่วมเดียวกันนั้นเทียบกับความแปรปรวนแบบผสม สัมประสิทธิ์ทั้งสองประเภทเป็นวิธีการสร้างมาตรฐานผลกระทบของในสภาพแวดล้อมของตัวทำนายอื่น ๆ $r$ $x_1$ $x_1$

ผลที่ตามมาบางประการของความแตกต่าง หาก R-square ของการถดถอยหลายครั้งของด้วยและเกิดขึ้น 1 แล้วความสัมพันธ์บางส่วนของตัวทำนายที่ขึ้นอยู่กับจะเป็น 1 ค่าสัมบูรณ์ด้วย (แต่โดยทั่วไป betas จะไม่ใช่ 1) แท้จริงเป็นกล่าวก่อนคือความสัมพันธ์ระหว่างความคลาดเคลื่อนของและที่เหลือของ หากสิ่งที่ไม่ภายในจะตรงกับสิ่งที่ไม่ได้ภายในแล้วมีอะไรที่อยู่ในที่ไม่มิได้ $y$ $x_1$ $x_2$ $r_{yx_1.x_2}$ y <- x2x1 <- x2 $x_2$ $y$ $x_2$ $x_1$ $y$ $x_1$ $x_2$ : แบบเต็ม อะไรก็ตามที่เป็นปริมาณของส่วนที่ยังไม่ได้อธิบาย (โดย ) ที่เหลือใน ( ) ถ้ามันถูกจับได้ค่อนข้างสูงโดยส่วนที่เป็นอิสระของ (โดย )จะสูง ในมืออื่น ๆ จะได้รับการสูงให้เฉพาะที่ส่วนที่ไม่ได้อธิบายถูกจับของตัวเองเป็นส่วนหนึ่งที่สำคัญของปี $x_2$ $y$ $1-r_{yx_2}^2$ $x_1$ $1-r_{x_1x_2}^2$ $r_{yx_1.x_2}$ $\beta_{x_1}$ $y$ $y$

จากสูตรข้างต้นที่ได้รับ (และขยายจากการถดถอยแบบ 2 ตัวทำนายไปสู่การถดถอยด้วยจำนวนตัวทำนาย ) สูตรการแปลงระหว่างเบต้าและ r บางส่วนที่สอดคล้องกัน: $x_1,x_2,x_3,...$

r_{y x_{1} . X} = β_{x_{1}} \sqrt{\frac{var (e_{x_{1} \leftarrow X})}{var (e_{y \leftarrow X})}},

$r_{yx_1.X} = \beta_{x_1} \sqrt{ \frac {\text{var} (e_{x_1 \leftarrow X})} {\text{var} (e_{y \leftarrow X})}},$

โดยที่ย่อมาจากชุดของตัวทำนายทั้งหมดยกเว้นกระแส ( ) มีความคลาดเคลื่อนจากการถอยโดยและมีความคลาดเคลื่อนจากการถอยโดยตัวแปรทั้งในการถดถอยเหล่านี้ใส่พวกเขาได้มาตรฐาน $X$ $x_1$ $e_{y \leftarrow X}$ $y$ $X$ $e_{x_1 \leftarrow X}$ $x_1$ $X$

หมายเหตุ: หากเราจำเป็นต้องคำนวณความสัมพันธ์บางส่วนของกับตัวทำนายทุกตัวเรามักจะไม่ใช้สูตรนี้เพื่อทำการถดถอยเพิ่มเติมสองครั้ง แต่การดำเนินการกวาด (มักใช้ในอัลกอริธึมการถดถอยแบบย่อยและชุดย่อยทั้งหมด) จะกระทำหรือเมทริกซ์สหสัมพันธ์ภาพจะถูกคำนวณ $y$ $x$

$^1$ $\beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y}$ คือความสัมพันธ์ระหว่าง rawและค่าสัมประสิทธิ์มาตรฐานในการถดถอยด้วยการสกัดกั้น $b$ $\beta$

— ttnphns
แหล่งที่มา

ขอขอบคุณ. แต่ฉันจะตัดสินใจได้อย่างไรว่าจะเลือกอันไหนเช่นด้วยเพื่อจุดประสงค์ที่อธิบายไว้ในคำถามของฉัน

— user34927

เห็นได้ชัดว่าคุณมีอิสระที่จะเลือก: ตัวเศษเหมือนกันดังนั้นพวกมันจึงถ่ายทอดข้อมูลเดียวกัน สำหรับคำถามของคุณ (ยังไม่ได้รับการอธิบายอย่างชัดเจน) ดูเหมือนว่าจะเกี่ยวกับหัวข้อ "สามารถ regr. coef เป็น 0 เมื่อrไม่ได้ 0"; "สามารถ regr. coef ได้ไม่ใช่ 0 เมื่อrคือ 0" มีคำถามมากมายเกี่ยวกับสิ่งนั้นในเว็บไซต์ ตัวอย่างเช่นคุณอาจอ่านstats.stackexchange.com/q/14234/3277 ; stats.stackexchange.com/q/44279/3277

— ttnphns

ฉันพยายามที่จะชี้แจงคำถามของฉัน ..

— user34927

แก้ไข X1 ("x1 ที่กำหนด") = ลบ (ควบคุม) เอฟเฟกต์ของ X1 ไม่มีสิ่งเช่น "เอฟเฟ็กต์รวม" ในการถดถอยหลายครั้ง (เว้นแต่คุณจะเพิ่มการโต้ตอบ X1 * X2) ผลในการถดถอยแบบหลายจุดมีการแข่งขัน ผลกระทบการถดถอยเชิงเส้นเป็นจริงความสัมพันธ์บางส่วน

— ttnphns

รอหน่อย @ user34927

to prove that the DV (Y) is significantly correlated with one of two IVs (X1) if the effect of the other IV (X2) is removed

ผลลบออกจากที่ไหน ? หากคุณ "ลบ" X2 ออกจากทั้ง Y และ X1 ก็ให้ค่า corr ระหว่าง Y และ X1 คือความสัมพันธ์บางส่วน หากคุณ "ลบ" X2 จาก X1 เท่านั้นแล้วความสัมพันธ์ ระหว่าง Y และ X1 เรียกว่าความสัมพันธ์ส่วน (หรือกึ่งบางส่วน) คุณถามเกี่ยวกับเรื่องนี้จริงๆเหรอ?

— ttnphns

เพิ่งชนกับดอกยางนี้โดยบังเอิญ ในคำตอบดั้งเดิมในสูตรสำหรับตัวประกอบนั่นคือ ที่และ2} $\beta_{x_1}$ $\sqrt{SSY/SSX_1}$

β_{x_{1}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{1 - r_{x_{1} x_{2}}^{2}} \times \sqrt{\frac{S S Y}{S S X_{1}}},

$\beta_{x_1} = \frac{r_{yx_1} - r_{y x_2} ~r_{x_1 x_2}} {1-r^2_{x_1 x_2}} \times \sqrt{\frac{SSY}{SSX_1}},$

S S Y = \sum_{i} (y_{i} - \bar{y})^{2}

$SSY=\sum_i (y_i-\bar y)^2$

S S X_{1} = \sum_{i} (x_{1 i} - {\bar{x}}_{1})^{2}

$SSX_1 = \sum_i {(x_{1i} - \bar{x}_1)^2}$

— Brani
แหล่งที่มา

คุณจะให้สูตรของขคำตอบของฉันเป็นเรื่องเกี่ยวกับ\

b

$b$

β

$\beta$

— ttnphns