เวกเตอร์ของตัวแปรสามารถแสดงไฮเปอร์เพลนได้อย่างไร?

12

ฉันกำลังอ่านองค์ประกอบของการเรียนรู้เชิงสถิติและหน้า 12 (ส่วน 2.3) โมเดลเชิงเส้นจะได้รับการบันทึกเป็น:

\hat{Y} = X^{T} \hat{β}

$\widehat{Y} = X^{T} \widehat{\beta}$

... โดยที่คือการย้ายของเวกเตอร์คอลัมน์ของตัวทำนาย / ตัวแปรอิสระ / อินพุต (มันระบุก่อนหน้านี้ "เวกเตอร์ทั้งหมดจะถือว่าเป็นพาหะคอลัมน์" เพื่อที่จะไม่ทำให้นี้เวกเตอร์แถวและเวกเตอร์คอลัมน์?) $X^{T}$ $X^{T}$ $\widehat{\beta}$

สิ่งที่รวมอยู่ในคือ " " ที่จะถูกคูณกับสัมประสิทธิ์ที่สอดคล้องกันซึ่งให้การสกัด (ค่าคงที่) $X$ $1$

มันพูดต่อไปว่า:

ในพื้นที่อินพุทมิติ, หมายถึงไฮเปอร์เพล หากค่าคงที่รวมอยู่ในแล้วไฮเปอร์เพลนจะรวมค่าเริ่มต้นและเป็นพื้นที่ย่อย หากไม่ได้ก็เป็นชุดเลียนแบบตัดแกนที่จุด ) $(p + 1)$ $(X,\ \widehat{Y})$ $X$ $Y$ $(0,\ \widehat{\beta_0})$

ไม่ " " อธิบายเวกเตอร์ที่เกิดขึ้นจากกำหนดการพยากรณ์ตัดของ "ที่ " และ ? และทำไมไม่รวมทั้ง " " ในบังคับไฮเปอร์เพลที่จะผ่านจุดเริ่มต้นแน่นอนว่า " " คือจะต้องคูณด้วย ? $(X,\ \widehat{Y})$ $1$ $\widehat{Y}$ $1$ $X$ $1$ $\widehat{\beta_0}$

ฉันไม่เข้าใจหนังสือ ความช่วยเหลือ / คำแนะนำ / ลิงค์ไปยังแหล่งข้อมูลจะได้รับการชื่นชมอย่างมาก

regression references statistical-learning

— สกอตต์
แหล่งที่มา

4

มันอาจช่วยพิจารณา

ก่อน

กับ

ตัด นี่คือสมการของเส้นผ่านที่

)

ส่วนขยายไปยังมิติที่สูงกว่านั้นจะเกิดขึ้นทันที

p = 1

$p = 1$

\hat{y} = {\hat{β}}_{0} + x \hat{β}

$\hat{y} = \hat{\beta}_0 + x \hat{\beta}$

β_{0}

$\beta_0$

(0, {\hat{β}}_{0})

$(0, \hat{\beta}_0)$

— ocram

หากความช่วยเหลือของ @ocram ไม่เพียงพอลองเขียนเวกเตอร์และทำการคูณ

— Peter Flom

2

นี่คือการนำเสนอกราฟิกดี: blog.stata.com/2011/03/03/... สัญกรณ์เป็นที่แตกต่างกันมีคุณ X และ X คือβ

\hat{β}

$\hat \beta$

— Dimitriy V. Masterov

2

หนังสือเล่มนี้ผิดหรืออย่างน้อยก็ไม่สอดคล้องกัน เห็นได้ชัดว่ามีตัวแปร

ไม่รวมค่าคงที่ ดังนั้นชุด

เป็นไฮเปอร์เพลน แต่มันไม่ถูกต้องที่จะบอกว่าค่าคงที่คือ "รวมอยู่ใน

" แต่ผมคิดว่าหนังสือเล่มนี้หมายถึงว่าคงถูกรวมอยู่ในการถดถอยแต่ก็ยังไม่ควรได้รับการพิจารณาเป็นส่วนหนึ่งของX

ดังนั้นรูปแบบจริงๆควรจะเขียน

p

$p$

{(X, \hat{Y}) | X \in R^{p}}

$\{(X,\hat{Y})|X\in\mathbb{R}^p\}$

X

$X$

X

$X$

ที่

'

การตั้งค่า

ให้การยืนยันเกี่ยวกับการสกัดกั้นทันที

\hat{Y} = {\hat{β}}_{0} + X^{'} \hat{β}

$\hat{Y}=\hat\beta_0 + X'\hat\beta$

β = (β_{1}, β_{2}, \dots, β_{p})^{'}

$\beta=(\beta_1,\beta_2,\ldots,\beta_p)'$

X = 0

$X=0$

— whuber

1

(ถ้าเราแทนรวมคงที่ใน

แล้วเราไม่สามารถปล่อยให้

ได้อย่างอิสระแตกต่างกันไปทั่ว

: มันเป็นข้อ จำกัด ที่จะอยู่ภายใน

มิติสเปซกราฟ.

แล้วมี codimension อย่างน้อย

และดังนั้นจึงไม่ใช่ "ไฮเปอร์เพลน")

X

$X$

X

$X$

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

{(X, \hat{Y})}

$\{(X,\hat Y)\}$

2

$2$

— whuber

คำตอบ:

4

$N$ $K$

$X$ $N\!\times\!K$ $x_i^T$ $K\!\times\!1$ $\beta$ $Y$ $N\!\times\!1$ $Y_n$

$Y$ $X$ $X$ $N\!\times\!K$ $X$ $Y$ $Y$ $X$

$Y$ $X$ $K$ $X$ $K\!+\!1$

$X$ $1$ $\beta_1$ $\beta_1$ $Y$ $x_{1i}$ $K\!+\!1$ $K$ $\beta_1$ $K$

y_{i} = β_{1} x_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_1x_{1i} + \beta_2x_{2i} +u_i$

Y = X β + u

$Y=X\beta +u$

X

$X$

N \times 2

$N\!\times\!2$

$<Y,X>$

$x_1$ $1$

y_{i} = β_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_{1i} + \beta_2x_{2i} + u_i$

X, Y

$X,\ Y$

< Y, X >

$<Y,X>$

β_{1}

$\beta_1$

x_{2 i} = 0

$x_{2i}=0$

$<0,\beta_1>$ $<0,0>$ $\beta$

(X^{'} X) β = X^{'} y ⟹ (X^{'} X) β - X^{'} y = 0 ⟹ X^{'} (y - X β) = 0.

$(X'X)\beta=X'y \implies (X'X)\beta-X'y=0 \implies X'(y-X\beta)=0.$

X

$X$

y - X β = 0

$y-X\beta=0$

( แก้ไข: ฉันเพิ่งรู้ว่าสำหรับคำถามที่สองของคุณนี่เป็นสิ่งที่ตรงกันข้ามกับคุณที่ได้เขียนการรวมหรือการแยกค่าคงที่ regading อย่างไรก็ตามฉันได้คิดวิธีแก้ปัญหาที่นี่แล้วและฉันยืนแก้ไขถ้าผิดในคำถามนั้น )

ฉันรู้ว่าการแทนค่าเมทริกซ์ของการถดถอยนั้นค่อนข้างสับสนตั้งแต่แรก แต่ในที่สุดมันก็ลดความซับซ้อนลงมากเมื่อได้รับพีชคณิตที่ซับซ้อนมากขึ้น หวังว่านี่จะช่วยได้เล็กน้อย

— Majte
แหล่งที่มา

1

ฉันคิดว่าวิธีคิดคือการจัดเรียงสมการใหม่:

\hat{Y} - X^{T} \hat{β} = 0

$\widehat{Y} - X^{T} \widehat{\beta} = 0$

\hat{Y}

$\widehat{Y}$

— dwin
แหล่งที่มา

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว

Licensed under cc by-sa 3.0 with attribution required.