เหตุใดการถดถอยแบบลอจิสติกจึงเป็นลักษณนามเชิงเส้น

เนื่องจากเราใช้ฟังก์ชันลอจิสติกส์ในการแปลงชุดค่าผสมเชิงเส้นของอินพุตให้เป็นเอาต์พุตแบบไม่เชิงเส้นการถดถอยลอจิสติกจะถือว่าเป็นลักษณนามเชิงเส้นได้อย่างไร

การถดถอยเชิงเส้นเป็นเหมือนเครือข่ายประสาทที่ไม่มีเลเยอร์ที่ซ่อนอยู่ดังนั้นทำไมเครือข่ายประสาทจึงพิจารณาว่าตัวแยกประเภทที่ไม่เป็นเชิงเส้นและการถดถอยแบบลอจิสติกเป็นแบบเชิงเส้น

logistic classification neural-networks

— แจ็คทเวน
แหล่งที่มา

เปลี่ยน "การรวมกันเชิงเส้นของการป้อนข้อมูลลงในการส่งออกที่ไม่ใช่เชิงเส้น" เป็นส่วนพื้นฐานของความหมายของการเชิงเส้นลักษณนาม ที่ลดคำถามนี้ไปยังส่วนที่สองซึ่งเป็นจำนวนที่แสดงให้เห็นว่าโดยทั่วไปเครือข่ายประสาทไม่สามารถแสดงเป็นตัวแยกประเภทเชิงเส้น

— whuber

@ โฮเบอร์: คุณอธิบายความจริงว่าแบบจำลองการถดถอยโลจิสติกสามารถใช้ตัวแปรตัวทำนายพหุนามได้อย่างไร (เช่น

) เพื่อสร้างขอบเขตการตัดสินใจที่ไม่ใช่เชิงเส้น นั่นยังคงเป็นลักษณนามเชิงเส้นหรือไม่?

w_{1} \cdot x_{1}^{2} + w_{2} \cdot x_{2}^{3}

$w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

— stackoverflowuser2010

@Stack แนวคิดของ "ตัวจําแนกเชิงเส้น" ดูเหมือนจะเกิดขึ้นกับแนวคิดของตัวแบบเชิงเส้น "เส้นตรง" ในรูปแบบที่สามารถใช้ในหลายรูปแบบตามที่อธิบายไว้ในstats.stackexchange.com/a/148713 ถ้าเรายอมรับลักษณะวิกิพีเดียลักษณนามเชิงเส้นแล้วตัวอย่างเช่นพหุนามของคุณจะถูกมองว่าเป็นไม่เชิงเส้นในแง่ของ "คุณสมบัติ" ที่กำหนด

และ

แต่มันจะเป็นเส้นตรงในแง่ของคุณสมบัติ

และ

ความแตกต่างนี้เป็นวิธีที่มีประโยชน์ในการใช้ประโยชน์จากคุณสมบัติของความเป็นเชิงเส้น

x_{1}

$x_1$

x_{2}

$x_2$

x_{1}^{2}

$x_1^2$

x_{2}^{3}

$x_2^3$

— whuber

ฉันยังสับสนอยู่เล็กน้อยเกี่ยวกับคำถามคือขอบเขตการตัดสินใจของลอจิสติกส์ลอจิคัลเชิงเส้น ฉันได้ติดตามหลักสูตรการเรียนรู้ของเครื่องจักร Andrew Ng บน Coursera แล้วและเขากล่าวถึงสิ่งต่อไปนี้: ! [ป้อนคำอธิบายภาพที่นี่ ] ( i.stack.imgur.com/gHxfr.png ) ดังนั้นจริง ๆ แล้วดูเหมือนว่าฉันจะไม่มีใครตอบ ขึ้นอยู่กับ linearity หรือ non-linearity ของขอบเขตการตัดสินใจที่ขึ้นอยู่กับฟังก์ชันสมมติฐานที่กำหนดเป็น Htheta (X) โดยที่ X คืออินพุตและ Theta เป็นตัวแปรของปัญหาของเรา มันสมเหตุสมผลสำหรับคุณหรือไม่

— brokensword

คำตอบ:

การถดถอยโลจิสติกเป็นเส้นตรงในแง่ที่ว่าการคาดการณ์สามารถเขียนเป็น ดังนั้นการคาดการณ์ที่สามารถเขียนในแง่ของซึ่งเป็นฟังก์ชั่นเชิงเส้นของx(แม่นยำยิ่งขึ้นอัตราต่อรองที่คาดการณ์ไว้เป็นฟังก์ชันเชิงเส้นของ)

\hat{พี} = \frac{1}{1 + {อี}^{- \hat{μ}}}, ที่ไหน \hat{μ} = \hat{θ} \cdot x .

$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$

\hat{μ}

$\hat{\mu}$

x

$x$

x

$x$

ในทางกลับกันไม่มีทางที่จะสรุปเอาท์พุทของโครงข่ายประสาทในแง่ของฟังก์ชันเชิงเส้นของและนั่นคือสาเหตุที่เครือข่ายประสาทเทียมเรียกว่าไม่ใช่เชิงเส้น $x$

นอกจากนี้สำหรับการถดถอยโลจิสติกขอบเขตการตัดสินใจเป็นเส้นตรง: มันเป็นวิธีการแก้ 0ขอบเขตการตัดสินใจของโครงข่ายประสาทเทียมนั้นโดยทั่วไปไม่ใช่เชิงเส้น $\{x:\hat{p} = 0.5\}$ $\hat{\theta} \cdot x = 0$

— Stefan Wager
แหล่งที่มา

คำตอบของคุณชัดเจนที่สุดและไม่ซับซ้อนสำหรับฉันจนถึงตอนนี้ แต่ฉันสับสนเล็กน้อย บางคนบอกว่าบอกกล่าวบันทึกอัตราต่อรองเป็นฟังก์ชันเชิงเส้นของ

และคนอื่น ๆ บอกว่ามันเป็นฟังก์ชั่นเชิงเส้นของθ

ดังนั้น?!

x

$x$

θ

$\theta$

— Jack Twain

จากนั้นตามคำอธิบายของคุณ เราสามารถบอกได้ไหมว่าการทำนายของโครงข่ายประสาทเป็นฟังก์ชันเชิงเส้นของการเปิดใช้งานเลเยอร์ล่าสุดที่ซ่อนอยู่

— Jack Twain

ที่คาดการณ์บันทึกอัตราต่อรอง

เป็นเส้นตรงทั้งใน

และx

แต่โดยทั่วไปแล้วเราสนใจมากที่สุดในความจริงที่ว่าอัตราการเข้าชมนั้นเป็นเส้นตรงใน

เพราะนี่ก็หมายความว่าขอบเขตการตัดสินใจเป็นเส้นตรงในอวกาศ

\hat{θ} \cdot x

$\hat{\theta} \cdot x$

\hat{θ}

$\hat{\theta}$

x

$x$

x

$x$

x

$x$

— Stefan Wager

ฉันใช้นิยามที่ตัวจําแนกเป็นเส้นตรงถ้าขอบเขตการตัดสินใจเป็นเส้นตรงในพื้นที่

สิ่งนี้ไม่เหมือนกับความน่าจะเป็นที่คาดการณ์ว่าจะเป็นแบบเชิงเส้นใน

(ซึ่งจะเป็นไปไม่ได้นอกเหนือจากกรณีเล็กน้อยเนื่องจากความน่าจะเป็นต้องอยู่ระหว่าง 0 ถึง 1)

x

$x$

x

$x$

— Stefan Wager

@ Pegah ฉันรู้ว่ามันเก่า แต่: Logistic regression มีขอบเขตการตัดสินใจเชิงเส้น ตัว ouptut นั้นไม่ได้เป็นเส้นตรงแน่นอน เอาต์พุตทั้งหมดจะเข้าใกล้ (แต่ไม่ถึง) 0 หรือ 1 ตามลำดับ และเพื่อเพิ่มคำตอบของ Stefan Wagners: ประโยคสุดท้ายไม่ถูกต้องทั้งหมดโครงข่ายประสาทเทียมจะไม่เป็นเส้นตรงเมื่อประกอบด้วยการเปิดใช้งานที่ไม่เป็นเชิงเส้นหรือฟังก์ชัน ouput แต่สามารถเป็นแบบเส้นตรงได้เช่นกัน (ในกรณีที่ไม่มีการเพิ่มแบบไม่มีเส้นตรง)

— คริส

ดังที่ Stefan Wagner กล่าวไว้ขอบเขตการตัดสินใจของลอจิสติกส์ลอจิสติกนั้นเป็นแบบเส้นตรง (ตัวจําแนกต้องการข้อมูลที่แยกได้เป็นเส้นตรง) ฉันต้องการขยายคณิตศาสตร์สำหรับเรื่องนี้ในกรณีที่ไม่ชัดเจน

ขอบเขตการตัดสินใจคือชุดของ x ที่

\frac{1}{1 + {อี}^{- θ \cdot x}} = 0.5

${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$

นิด ๆ หน่อย ๆ ของพีชคณิตแสดงให้เห็นว่านี้จะเทียบเท่ากับ

1 = {อี}^{- θ \cdot x}

${1 = e^{-{\theta \cdot x}}}$

และการบันทึกตามธรรมชาติของทั้งสองฝ่าย

0 = - θ \cdot x = - Σ_{ผม = 0}^{n} θ_{ผม} x_{ผม}

$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$

ดังนั้นขอบเขตการตัดสินใจจึงเป็นแบบเส้นตรง

เหตุผลที่ขอบเขตการตัดสินใจสำหรับเครือข่ายนิวรัลไม่ใช่เชิงเส้นคือเนื่องจากมีฟังก์ชัน sigmoid สองชั้นในเครือข่ายประสาท: หนึ่งในแต่ละโหนดเอาต์พุตพร้อมกับฟังก์ชัน sigmoid เพิ่มเติมเพื่อรวมและเกณฑ์ผลลัพธ์ของแต่ละโหนดเอาต์พุต

— Phil Bogle
แหล่งที่มา

ที่จริงแล้วคุณจะได้รับขอบเขตการตัดสินใจแบบไม่เป็นเชิงเส้นโดยมีเพียงเลเยอร์เดียวที่มีการเปิดใช้งาน ดูตัวอย่างมาตรฐานของ XOR ด้วยเครือข่ายฟีดไปข้างหน้า 2 ชั้น

— James Hirschorn

$C_{0}$ $C_{1}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x)}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x | C_{0}) P (C_{0}) + P (x | C_{1}) P (C_{1})} = \frac{1}{1 + ประสบการณ์ (- เข้าสู่ระบบ \frac{P (x | C_{0})}{P (x | C_{1})} - เข้าสู่ระบบ \frac{P (C_{0})}{P (C_{1})})}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$

1 + e^{ω x}

$1+e^{\omega x}$

P (x | C_{ผม}) = ประสบการณ์ (\frac{θ_{ผม} x - ข (θ_{ผม})}{a (φ)} + ค (x, φ))

$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$

เข้าสู่ระบบ \frac{P (x | C_{0})}{P (x | C_{1})} = [(θ_{0} - θ_{1}) x - ข (θ_{0}) + ข (θ_{1})] / a (φ)

$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$

โปรดสังเกตว่าเราสมมติว่าการแจกแจงทั้งสองเป็นของตระกูลเดียวกันและมีพารามิเตอร์การกระจายแบบเดียวกัน แต่ภายใต้สมมติฐานนั้นการถดถอยโลจิสติกส์สามารถจำลองความน่าจะเป็นสำหรับการแจกแจงเลขชี้กำลังทั้งครอบครัว

— jpmuc
แหล่งที่มา