คำถามเกี่ยวกับการพิสูจน์สมการปกติ

คุณจะพิสูจน์ได้อย่างไรว่าสมการปกติ: $(X^TX)\beta = X^TY$มีวิธีแก้ปัญหาหนึ่งวิธีหรือมากกว่าโดยไม่มีสมมติฐานว่า X กลับด้านได้?

สิ่งเดียวที่ฉันคาดเดาก็คือมันมีบางอย่างที่เกี่ยวข้องกับการผกผันทั่วไป แต่ฉันก็หลงทางไปหมด

หนึ่งถูกล่อลวงให้เป็นกะล่อนและชี้ให้เห็นว่าเพราะรูปแบบกำลังสอง

$$\beta \to (Y - X\beta)'(Y - X\beta)$$

เป็นบวกกึ่งแน่นอนมีอยู่ซึ่งมันเป็นขั้นต่ำและต่ำสุดที่พบ (โดยการตั้งค่าการไล่ระดับสีที่เกี่ยวกับβศูนย์) กับสมการปกติ$\beta$$\beta$

$$X'X(Y - X\beta) = 0,$$

ไหนจะต้องมีอย่างน้อยหนึ่งวิธีการแก้ปัญหาโดยไม่คำนึงถึงตำแหน่งของ$X'X$ X อย่างไรก็ตามการโต้แย้งนี้ดูเหมือนจะไม่ได้อยู่ในจิตวิญญาณของคำถามซึ่งดูเหมือนจะเป็นคำเกี่ยวกับพีชคณิตอย่างหมดจด บางทีมันเป็นเรื่องที่น่าสนใจที่จะเข้าใจว่าทำไมสมการดังกล่าวจึงต้องมีทางออกและอยู่ภายใต้เงื่อนไขที่แน่นอน ดังนั้นเรามาเริ่มต้นใหม่และแกล้งทำเป็นว่าเราไม่รู้จักการเชื่อมต่อที่มีกำลังสองน้อยที่สุด

---

มันทั้งหมดลงมาถึงความหมายของ , ไขว้ของX สิ่งนี้จะกลายเป็นเรื่องของคำนิยามที่เรียบง่ายสัญกรณ์ที่เหมาะสมและแนวคิดของรูปแบบ sesquilinear ที่ไม่ได้สร้างขึ้น จง จำไว้ว่าXคือ "เมทริกซ์การออกแบบ" ของnแถว (หนึ่งแถวสำหรับการสังเกตแต่ละครั้ง) และคอลัมน์p (หนึ่งคอลัมน์สำหรับแต่ละตัวแปรรวมถึงค่าคงที่ถ้ามี) ดังนั้นจึงแสดงให้เห็นถึงการเปลี่ยนแปลงเชิงเส้นจากปริภูมิเวกเตอร์V = R Pเพื่อW = R n$X'$$X$$X$$n$$p$$\mathbb V = \mathbb{R}^p$$\mathbb W = \mathbb{R}^n$

transpose ของ , คิดว่าเป็นแปลงเชิงเส้นเป็นแปลงเชิงเส้นของช่องว่างคู่X ' : W * → V * เพื่อที่จะทำให้ความรู้สึกขององค์ประกอบเช่นX ' Xแล้วมันเป็นสิ่งจำเป็นที่จะระบุW *กับW นั่นคือสิ่งที่ผลิตภัณฑ์ภายในปกติ (ผลรวมของกำลังสอง) บนWทำ$X$ $X': \mathbb{W}^* \to \mathbb{V}^*$$X'X$$\mathbb{W}^*$$\mathbb{W}$$\mathbb{W}$

จริง ๆ แล้วมีผลิตภัณฑ์ภายในสองตัวคือและg W ที่นิยามไว้บนVและWตามลำดับ เหล่านี้เป็นจริงมูลค่า bilinear หน้าที่สมมาตรที่ไม่ใช่คนเลว หลังหมายถึงว่า$g_V$$g_W$$\mathbb V$$\mathbb W$

$$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$$

กับงบคล้ายคลึง V ผลิตภัณฑ์ภายในเหล่านี้ช่วยให้เราสามารถวัดความยาวและมุมได้ สภาพกรัม( U , V ) = 0สามารถจะคิดว่าเป็นยูเป็น "ตั้งฉาก" เพื่อโวลต์ Nondegeneracy หมายความว่าเฉพาะเวกเตอร์ศูนย์เท่านั้นที่ตั้งฉากกับพื้นที่เวกเตอร์ทั้งหมด (ทั่วไปซึ่งหมายความว่าผลที่ได้รับที่นี่จะนำไปใช้ทั่วไปน้อยสแควร์ตั้งค่าซึ่งกรัมWไม่จำเป็นต้องเป็นสินค้าภายในปกติให้เป็นผลรวมของผลิตภัณฑ์ของส่วนประกอบ แต่บางรูปแบบ nondegenerate พล. เราสามารถจัดการกับ$g_V$$g(u,v)=0$$u$$v$$g_W$โดยรวม, นิยาม X ′ : W → V ∗ , แต่ฉันคาดว่าผู้อ่านหลายคนจะไม่คุ้นเคยหรืออึดอัดกับช่องว่างคู่และเลือกที่จะหลีกเลี่ยงสูตรนี้)$g_V$$X':\mathbb W\to\mathbb V^*$

ด้วยผลิตภัณฑ์ด้านในมือการขนย้ายการแปลงเชิงเส้นใด ๆถูกกำหนดโดยX ′ : W → Vผ่าน$X: \mathbb V \to \mathbb W$$X': \mathbb W \to \mathbb V$

$$g_V(X'(w), v) = g_W(w, X(v))$$

สำหรับทุกและวี∈ V จริง ๆ แล้วมีเวกเตอร์X ′ ( w ) ∈ V ที่มีคุณสมบัตินี้สามารถสร้างขึ้นได้โดยการเขียนสิ่งต่าง ๆ ด้วยฐานสำหรับVและW ; เวกเตอร์นี้มีลักษณะเฉพาะดังต่อไปนี้จากการเสื่อมสภาพของผลิตภัณฑ์ชั้นใน สำหรับถ้าv 1และv 2เป็นเวกเตอร์สองตัวที่g V ( v 1 , v ) = g V ( v 2 , $w\in \mathbb W$$v\in \mathbb V$$X'(w) \in \mathbb V$$\mathbb V$$\mathbb W$$v_1$$v_2$สำหรับทุกวี∈ Vแล้ว (จากเส้นตรงในองค์ประกอบแรก)กรัมวี ( V 1 - วี2 , V ) = 0สำหรับทุกวีหมายความโวลต์1 - วี2 = 0$g_V(v_1,v)=g_V(v_2,v)$$v\in\mathbb V$$g_V(v_1-v_2,v)=0$$v$$v_1-v_2=0$

เมื่อเขียนU ⊥สำหรับชุดของเวกเตอร์ทั้งหมดที่ตั้งฉากกับเวกเตอร์ในทุกU เช่นเดียวกับสัญกรณ์ให้เขียนX ( V )สำหรับภาพของXซึ่งกำหนดเป็นชุด{ X ( v ) | วี∈ V } ⊂ W ความสัมพันธ์พื้นฐานระหว่างXและ transpose ของX 'คือ$\mathbb U \subset \mathbb W,$$\mathbb{U}^\perp$$\mathbb U$$X(\mathbb V)$$X$$\{X(v) | v \in \mathbb V\} \subset \mathbb W$$X$$X'$

$$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$$

นั่นคืออยู่ในเคอร์เนลของX 'และถ้าหากWจะตั้งฉากกับภาพของX$w$$X'$$w$$X$ การยืนยันนี้บอกว่าสองสิ่ง:

1. ถ้าดังนั้นg W ( w , X ( v ) ) = g V ( X ′ ( w ) , v ) = g V ( 0 , v ) = 0สำหรับv ∈ Vทั้งหมดซึ่งเพียง วิธีWจะตั้งฉากกับX ( V )$X'(w) = 0$$g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$$v\in\mathbb V$$w$$X(V)$

2. หากตั้งฉากกับX ( V )นั่นหมายถึงเฉพาะg W ( w , X ( v ) ) = 0สำหรับv ∈ Vทั้งหมด แต่นี่เทียบเท่ากับg V ( X ′ ( w ) , v ) = 0และ nondegeneracy ของกรัมVหมายถึงX ' ( W ) = 0$w$$X(\mathbb V)$$g_W(w, X(v)) = 0$$v\in\mathbb V$$g_V(X'(w), v) = 0$$g_V$$X'(w)=0$

ตอนนี้เราเสร็จแล้ว การวิเคราะห์แสดงให้เห็นว่าสลายตัวเป็นสินค้าโดยตรงW = X ( V ) ⊕ X ( V ) ⊥ นั่นก็คือเราสามารถใช้ใด ๆโดยพลY ∈ Wและเขียนไม่ซ้ำกันเป็นY = Y 0 + Y ⊥กับY 0 ∈ X ( V )และY ⊥ ∈ X ( V ) ⊥ นั่นหมายถึงy $\mathbb W$$\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$$y = y_0 + y^\perp$$y_0\in X(\mathbb V)$$y^\perp \in X(\mathbb V)^\perp$$y_0$จะอยู่ในรูปเป็นเวลาอย่างน้อยหนึ่งβ ∈ V แจ้งให้ทราบแล้วว่า$X(\beta)$$\beta\in\mathbb V$

$$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$$

ความสัมพันธ์ขั้นพื้นฐานกล่าวว่าเหมือนกับด้านซ้ายมือที่อยู่ในเคอร์เนลของ :$X'$

$$X'(y - X\beta) = 0,$$

ไหนแก้สมการปกติX ' X β = X '$\beta$$X'X\beta = X'y.$

---

ขณะนี้เราอยู่ในฐานะที่จะให้คำตอบทางเรขาคณิตสั้น ๆ สำหรับคำถาม (พร้อมกับความเห็นที่เปิดเผย): สมการปกติมีทางออกเพราะ vector y ∈ Wสลายตัว (ไม่ซ้ำกัน) เป็นผลรวมของเวกเตอร์y 0ใน ช่วงของXและอีกเวกเตอร์ Y ⊥ตั้งฉากกับY 0และY 0คือภาพของอย่างน้อยหนึ่งหน้าเวกเตอร์บีตา∈ V มิติของภาพX ( V ) ( อันดับของมัน) คือขนาดของ$n$$y\in\mathbb W$$y_0$$X$$y^\perp$$y_0$$y_0$$p$$\beta\in\mathbb V$$X(\mathbb V)$พารามิเตอร์ที่ระบุตัวได้ มิติของเคอร์เนลของนับความสัมพันธ์เชิงเส้นที่ไม่สำคัญระหว่างพารามิเตอร์ พารามิเตอร์ทั้งหมดอยู่ที่สามารถระบุตัวเมื่อXคือแผนที่หนึ่งต่อหนึ่งจากVกับภาพในW$X$$X$$\mathbb V$$\mathbb W$

มันเป็นที่สุดมีประโยชน์ในการจัดการกับพื้นที่โดยสิ้นเชิงและการทำงานอย่างสิ้นเชิงกับสเปซU = X ( V ) ⊂ Wที่ "พื้นที่คอลัมน์" ของเมทริกซ์X จำนวนสมการปกติในการฉายภาพลงบนฉากU นั่นทำให้เราเป็นอิสระจากการเชื่อมโยงกับการกำหนดพารามิเตอร์เฉพาะของโมเดลและแสดงให้เห็นว่าโมเดลกำลังสองน้อยที่สุดมีมิติภายในที่เป็นอิสระจากการที่พารามิเตอร์ถูกสร้างขึ้น$\mathbb V$$\mathbb U = X(\mathbb V)\subset\mathbb W$$X$$\mathbb U$

---

ผลลัพธ์ที่น่าสนใจอย่างหนึ่งของการสาธิตพีชคณิตนามธรรมนี้คือเราสามารถแก้สมการปกติในปริภูมิเวกเตอร์โดยพลการ ผลที่ได้จะเก็บไว้พูดสำหรับช่องว่างที่ซับซ้อนสำหรับช่องว่างเหนือเขตข้อมูลอัน จำกัด (ซึ่งการลดผลรวมของช่องสี่เหลี่ยมทำให้มีความรู้สึกน้อย) และแม้กระทั่งช่องว่างที่ไม่มีที่สิ้นสุดที่รองรับรูปแบบการตัดต่อ

มันง่ายที่จะแสดง (ลองด้วยตัวเองสำหรับจำนวนคะแนนโดยพลการ ) ว่าค่าผกผันของX T X นั้นมีอยู่หากมีx -value (ทำนาย) ในชุดตัวอย่างอย่างน้อยสองค่า เฉพาะในกรณีที่ข้อมูลทั้งหมดของคุณมีค่าเดียวกันx i = x (เช่นจุดที่ซ้อนกันในy -direction ตามเส้นแนวตั้ง) จากนั้นเส้นใดก็ตามที่ลากผ่านค่าเฉลี่ยของ¯ yจะมีความชันตามอำเภอใจ (สัมประสิทธิ์การถดถอย) ดังนั้น ว่าบรรทัดการถดถอย LSE นั้นไม่ซ้ำกัน$n$$X^T X$$x$$x_i=x$$y$$\overline{y}$

ในการถดถอยทั่วไป X นั้นผอมและแน่นอนว่าไม่สามารถย้อนกลับได้ (แม้ว่ามันอาจจะไม่สามารถย้อนกลับได้) มันตรงไปตรงมาที่จะพิสูจน์ (ถามว่าคุณต้องการความช่วยเหลือหรือไม่) ว่าถ้า X ผอมและไม่สามารถย้อนกลับได้ ในกรณีนี้จะมีวิธีแก้ไขปัญหาเดียว และถ้า X ไม่มีอันดับของคอลัมน์แบบเต็มดังนั้น X ^ T * X จะไม่เป็นอันดับเต็มดังนั้นคุณจะมีระบบที่บ่อนทำลาย