อะไรคือความแตกต่างระหว่างการถดถอยโลจิสติกและเปอร์เซ็นตรอน

30

ฉันกำลังอ่านบันทึกการบรรยายของ Andrew Ng เกี่ยวกับ Machine Learning

บันทึกแนะนำให้รู้จักกับการถดถอยโลจิสติกและจากนั้นเพื่อ perceptron ในขณะที่อธิบาย Perceptron บันทึกย่อบอกว่าเราเพิ่งเปลี่ยนนิยามของฟังก์ชันขีด จำกัด ที่ใช้สำหรับการถดถอยโลจิสติก หลังจากนั้นเราสามารถใช้แบบจำลอง Perceptron สำหรับการจำแนกประเภท

ดังนั้นคำถามของฉันคือ - ถ้าจำเป็นต้องระบุและเราถือว่า Perceptron เป็นเทคนิคการจำแนกประเภทแล้วการถดถอยโลจิสติกคืออะไร? ใช้เพื่อให้ได้ความน่าจะเป็นของจุดข้อมูลที่เป็นหนึ่งในคลาสหรือไม่

— GrowinMan
แหล่งที่มา

เป็นคำถามที่ดีฉันพบว่ามันสำคัญมากที่คุณจะเริ่มอธิบายเกี่ยวกับ NN โดยเฉพาะอย่างยิ่งเพราะ NN อาจมีความซับซ้อนในการทำความเข้าใจ พิจารณาคำตอบของฉัน

— prosti

22

ในระยะสั้นการถดถอยโลจิสติกมีความหมายที่น่าจะเป็นไปได้ซึ่งนอกเหนือไปจากการใช้ตัวจําแนกใน ML ฉันมีบางอย่างเกี่ยวกับบันทึกการถดถอยโลจิสติกที่นี่

สมมติฐานในการถดถอยโลจิสติกให้การวัดความไม่แน่นอนในการเกิดขึ้นของผลไบนารีที่อยู่บนพื้นฐานของแบบจำลองเชิงเส้น เอาต์พุตมีขอบเขตแบบไม่แสดงสัญญาณระหว่าง $0$ ถึง $1$ และขึ้นอยู่กับโมเดลเชิงเส้นเช่นเมื่อเส้นการถดถอยพื้นฐานมีค่า $0$ สมการโลจิสติกคือ $0.5 = \frac{e^0}{1+e^0}$ เป็นจุดตัดตามธรรมชาติสำหรับการจำแนกประเภท อย่างไรก็ตามมันมีค่าใช้จ่ายในการทิ้งข้อมูลความน่าจะเป็นในผลลัพธ์ที่แท้จริงของ $h(\Theta^T\bf x) =\frac{e^{\Theta^T \bf x}}{1 +e^{\Theta^T\bf x}}$ ซึ่งมักเป็นที่น่าสนใจ (เช่นความน่าจะเป็นของการผิดนัดชำระเงินตามรายได้คะแนนเครดิตอายุ ฯลฯ )

อัลกอริทึมตรอนจำแนกเป็นขั้นตอนขั้นพื้นฐานมากขึ้นบนพื้นฐานของผลคูณจุดระหว่างตัวอย่างและน้ำหนัก เมื่อใดก็ตามที่ตัวอย่างถูกจำแนกสัญญาณของผลิตภัณฑ์ dot จะขัดแย้งกับค่าการจำแนกประเภท ( $-1$ และ $1$ ) ในชุดฝึกอบรม หากต้องการแก้ไขสิ่งนี้เวกเตอร์ตัวอย่างจะถูกเพิ่มหรือลบซ้ำ ๆ จากเวกเตอร์ของน้ำหนักหรือสัมประสิทธิ์การอัปเดตองค์ประกอบของมัน:

Vectorially ที่คุณสมบัติหรือคุณลักษณะของตัวอย่างมีและความคิดที่จะ "ผ่าน" ตัวอย่างเช่นถ้า: $d$ $\bf x$

หรือ ... $\displaystyle \sum_{1}^d \theta_i x_i > \text{theshold}$

)ฟังก์ชั่นสัญญาณผลในหรือซึ่งตรงข้ามกับและในการถดถอยโลจิสติก $h(x) = \text{sign}\big(\displaystyle \sum_{1}^d \theta_i x_i - \text{theshold}\big)$ $1$ $-1$ $0$ $1$

เกณฑ์จะถูกดูดซึมเข้าสู่อคติค่าสัมประสิทธิ์ 0สูตรคือตอนนี้: $+ \theta_0$

หรือ vectorized: ) $h(x) = \text{sign}\big(\displaystyle \sum_0^d \theta_i x_i\big)$ $h(x) = \text{sign}(\theta^T\bf x)$

จุดแบ่งจะต้องหมายความว่าผลิตภัณฑ์ที่จุดของและจะเป็นบวก (เวกเตอร์ในทิศทางเดียวกัน) เมื่อเป็นลบหรือผลิตภัณฑ์จุดจะเป็นค่าลบ (เวกเตอร์ ในทิศทางตรงข้าม) ในขณะที่เป็นบวก $\text{sign}(\theta^T\bf x) \neq y_n$ $\Theta$ $\bf x_n$ $y_n$ $y_n$

ฉันได้ทำงานกับความแตกต่างระหว่างสองวิธีนี้ในชุดข้อมูลจากหลักสูตรเดียวกันซึ่งผลการทดสอบในการสอบแยกสองชุดนั้นเกี่ยวข้องกับการยอมรับขั้นสุดท้ายไปยังวิทยาลัย:

ขอบเขตการตัดสินใจสามารถพบได้อย่างง่ายดายด้วยการถดถอยโลจิสติก แต่เป็นที่น่าสนใจที่จะเห็นว่าแม้ว่าค่าสัมประสิทธิ์ที่ได้รับกับตรอนเป็นอย่างมากมายแตกต่างกว่าในการถดถอยโลจิสติก, แอพลิเคชันที่เรียบง่ายของฟังก์ชั่นกับผลให้ผลเช่นเดียวกับที่ดีการจำแนกประเภท ขั้นตอนวิธี ในความเป็นจริงแล้วความแม่นยำสูงสุด (ขีด จำกัด ที่กำหนดโดยการแยกเชิงเส้นของตัวอย่างบางส่วน) ทำได้โดยการทำซ้ำครั้งที่สอง นี่คือลำดับของเส้นแบ่งเขตแดนเป็นรอบโดยประมาณน้ำหนักเริ่มต้นจากเวกเตอร์สุ่มของสัมประสิทธิ์: $\text{sign}(\cdot)$ $10$

ความแม่นยำในการจัดหมวดหมู่เป็นฟังก์ชันของจำนวนการวนซ้ำที่เพิ่มขึ้นอย่างรวดเร็วและเพลทที่สอดคล้องกันถึงขอบเขตการตัดสินใจที่ใกล้ที่สุดที่เหมาะสมที่สุดใน videoclip ด้านบน นี่คือพล็อตของเส้นโค้งการเรียนรู้: $90\%$

รหัสที่ใช้คือ ที่นี่

— Antoni Parellada
แหล่งที่มา

5

มีความสับสนเกิดขึ้นที่นี่ ในขั้นต้น perceptron หมายถึงเครือข่ายประสาทที่มีฟังก์ชั่นขั้นตอนเป็นฟังก์ชันถ่ายโอน ในกรณีนั้นแน่นอนว่าข้อแตกต่างคือการถดถอยโลจิสติกใช้ฟังก์ชันลอจิสติกและ Perceptron ใช้ฟังก์ชันขั้นตอน โดยทั่วไปอัลกอริทึมทั้งสองควรให้ขอบเขตการตัดสินใจเดียวกัน (อย่างน้อยสำหรับเซลล์ประสาทเดี่ยว) อย่างไรก็ตาม:

เวกเตอร์พารามิเตอร์สำหรับ perceptron อาจถูกปรับขนาดโดยพลการเปรียบเทียบกับค่าที่ได้จากการถดถอยโลจิสติก การปรับขนาดของพารามิเตอร์เวกเตอร์จะกำหนดขอบเขตเดียวกัน แต่ความน่าจะเป็นที่คำนวณโดยการถดถอยโลจิสติกขึ้นอยู่กับการปรับสเกลที่แน่นอน
แน่นอนว่าผลลัพธ์จากฟังก์ชันขั้นตอนไม่สามารถตีความได้ว่าเป็นความน่าจะเป็นใด ๆ
เนื่องจากฟังก์ชั่นขั้นตอนไม่แตกต่างกันจึงไม่สามารถฝึก perceptron โดยใช้อัลกอริทึมแบบเดียวกันที่ใช้สำหรับการถดถอยโลจิสติก

ในบางกรณีคำว่า perceptron ยังใช้เพื่ออ้างถึงเครือข่ายประสาทซึ่งใช้ฟังก์ชัน logistic เป็นฟังก์ชันถ่ายโอน (อย่างไรก็ตามสิ่งนี้ไม่สอดคล้องกับคำศัพท์ดั้งเดิม) ในกรณีนั้นการถดถอยโลจิสติกและ "perceptron" จะเหมือนกันทุกประการ แน่นอนด้วย perceptron มันเป็นไปได้ที่จะใช้หลายเซลล์ประสาททั้งหมดโดยใช้ฟังก์ชั่นการถ่ายโอนโลจิสติกซึ่งกลายเป็นความสัมพันธ์ที่ค่อนข้างจะซ้อนของการถดถอยโลจิสติก (ไม่เหมือนกัน แต่คล้ายกัน)

— LiKao
แหล่งที่มา

2

คุณสามารถใช้การถดถอยโลจิสติกเพื่อสร้าง perceptron การถดถอยแบบลอจิสติกใช้ฟังก์ชันลอจิสติกเพื่อสร้างเอาต์พุตจากอินพุตที่กำหนด ฟังก์ชันลอจิสติกสร้างเอาต์พุตที่ราบรื่นระหว่าง 0 ถึง 1 ดังนั้นคุณต้องการอีกหนึ่งสิ่งที่จะทำให้มันเป็นลักษณนามซึ่งเป็นเกณฑ์ Perceptrons สามารถสร้างขึ้นด้วยรูปแบบการทำงานอื่น ๆ แน่นอนไม่ใช่แค่โลจิสติกของหลักสูตรไม่ได้เป็นเพียงโลจิสติก

การถดถอยแบบลอจิสติกสร้างแบบจำลองที่มีลักษณะดังนี้: ส่วนการถดถอยคือวิธีการประมาณค่าสัมประสิทธิ์, ส่วนโลจิสติกส์เป็นฟังก์ชันของ

y (x_{1}, x_{2} | b) = \frac{e^{b_{0} + b_{1} x_{1} + b_{2} x_{2}}}{1 + e^{b_{0} + b_{1} x_{1} + b_{2} x_{2}}}

$y(x_1,x_2|b)=\frac{e^{b_0+b_1x_1+b_2x_2}}{1+e^{b_0+b_1x_1+b_2x_2}}$

b_{1}, b_{2}, b_{3}

$b_1,b_2,b_3$

\frac{e^{x}}{1 + e^{x}}

$\frac{e^x}{1+e^x}$

เมื่อคุณคำนวณกำหนดให้อินพุทและพารามิเตอร์คุณต้องตัดสินใจว่านี่คือ 0 หรือ 1 เพราะเอาต์พุตเป็นจำนวนใด ๆ ระหว่าง 0 ถึง 1 ดังนั้นคุณต้องใช้ threshold เช่นคุณสำหรับและสำหรับ Y $y(x|b)$ $x$ $b$ $y$ $Y$ $\tilde y=0$ $y(x|b)<Y$ $\tilde y=1$ $y(x|b)\ge Y$

— Aksakal
แหล่งที่มา

1

ทั้งคู่ใช้การถดถอยโดยการประมาณพารามิเตอร์ของโมเดลโลจิสติก - แปลงเดียวกัน ตามคุณสมบัติของฟังก์ชั่นนูนค่าของพารามิเตอร์จะเหมือนกันทุกประการที่คุณเลือกประเมิน หากต้องการอ้างตนเองจากคำตอบก่อนหน้า:

แบบจำลองการถดถอยโลจิสติกเป็นฟังก์ชันของค่าเฉลี่ยของการแจกแจงเบอร์นูลลีเป็นสมการเชิงเส้น โดยใช้การเชื่อมโยง logit เป็นฟังก์ชั่นของค่าเฉลี่ย (p) ลอการิทึมของอัตราต่อรอง (log-odds) สามารถวิเคราะห์และนำมาใช้เป็นการตอบสนองของโมเดลเชิงเส้นทั่วไปที่เรียกว่า ด้านบนของการทำนายนี้ช่วยให้คุณสามารถตีความรูปแบบในการอนุมานสาเหตุ นี่คือสิ่งที่คุณไม่สามารถทำได้ด้วย Perceptron เชิงเส้น

Perceptron ใช้ฟังก์ชั่นผกผันของ logx ของ wx และไม่ใช้สมมติฐานความน่าจะเป็นสำหรับตัวแบบและพารามิเตอร์ การฝึกอบรมออนไลน์จะให้ค่าประมาณเดียวกันสำหรับน้ำหนัก / พารามิเตอร์ของแบบจำลอง แต่คุณจะไม่สามารถตีความได้ในการอนุมานสาเหตุเนื่องจากการขาดค่า p ช่วงเวลาความเชื่อมั่นและแบบจำลองความน่าจะเป็นพื้นฐาน

— Digio
แหล่งที่มา

1

$x_1,\ldots, x_N \in \mathbb R^n$ $y_1,\ldots,y_N \in \{-1, 1 \}$ $1$ $x_i$

\begin{aligned} (1) & minimize & \frac{1}{N} \sum_{i = 1}^{N} max (- y_{i} β^{T} x_{i}, 0) . \end{aligned}

$\begin{align} \tag{1}\text{minimize} & \quad \frac{1}{N}\sum_{i=1}^N \max(-y_i\beta^T x_i,0). \end{align}$

β \in R^{n + 1}

$\beta \in \mathbb R^{n+1}$

$\frac{1}{N}\sum_i \ell_i(\beta)$

ℓ_{i} (β) = max (- y_{i} β^{T} x_{i}, 0) .

$\ell_i(\beta) = \max(-y_i \beta^T x_i,0).$

ℓ_{i}

$\ell_i$

β

$\beta$

g = {\begin{cases} 0 & if - y_{i} β^{T} x_{i} \leq 0 (so y_{i} and β^{T} x_{i} have the same sign) \\ - y_{i} x_{i} & otherwise. \end{cases}

$g = \begin{cases} 0 & \quad \text{if } -y_i \beta^T x_i \leq 0 \qquad \text{(so $y_i$ and $\beta^T x_i$ have the same sign)}\\ - y_i x_i & \quad \text{otherwise.} \end{cases}$

t > 0)

$t > 0)$

i

$i$

β \leftarrow β - t g = {\begin{cases} β & if y_{i} and β^{T} x_{i} have the same sign \\ β + t y_{i} x_{i} & otherwise. \end{cases}

$\beta \leftarrow \beta - t g = \begin{cases} \beta & \quad \text{if $y_i$ and $\beta^T x_i$ have the same sign} \\ \beta + t y_i x_i & \quad \text{otherwise.} \end{cases}$

t

$t$

— littleO
แหล่งที่มา

0

Andrew Ng ใช้คำว่า "logistic regression" เป็นแบบจำลองสำหรับการแก้ปัญหาการจำแนกเลขฐานสอง

อย่างที่คุณเห็นในกระดาษเขาจริง ๆ ไม่เคยวาดรูปแบบเอง

ให้ฉันเพิ่มรายละเอียดบางอย่างลงในที่เก็บข้อมูลเพื่อที่คุณจะพบเหตุผลว่าฉันคิดว่าเขาสร้างการบรรยายได้อย่างไร

รูปแบบที่ใช้สำหรับ "การถดถอยโลจิสติก" คือการรับรู้ในระดับเดียวกับจำนวนอินพุตที่กำหนดเองและหนึ่งเอาต์พุตตั้งแต่ 0 ถึง 1

ย้อนกลับไปใน 90's ฟังก์ชั่นการเปิดใช้งานที่นิยมมากที่สุดคือฟังก์ชั่นการเปิดใช้งาน sigmoidal และมีทฤษฎีทางคณิตศาสตร์ที่ดีในการสำรองข้อมูล

นี่เป็นรูปแบบที่ Andrew Ng ใช้อยู่เนื่องจากฟังก์ชันนั้นมีตั้งแต่ 0 ถึง 1

นอกจากนี้อนุพันธ์s'(x) = s(x)(1−s(x))ซึ่งs(x)เป็นฟังก์ชั่นการเปิดใช้งาน sigmoidal

สำหรับฟังก์ชั่นข้อผิดพลาดเขาใช้ L2 แม้ว่าในบางเอกสารเขาอาจใช้ฟังก์ชันอื่นสำหรับสิ่งนั้น

เพื่อสรุปเมื่อพิจารณา "การถดถอยโลจิสติก" เพียงแค่พิจารณาการรับรู้ระดับเดียวกับฟังก์ชั่นการเปิดใช้งาน sigmoidal จำนวนอินพุตที่กำหนดเองและเอาต์พุตเดียว

เพียงแค่ไม่กี่บันทึก: ไม่มีอะไรผิดปกติกับฟังก์ชั่นการเปิดใช้งาน sigmoidal แม้ว่าสำหรับเลขคณิตจุดลอยตัว ReLU ครองเลเยอร์ที่ซ่อนอยู่ในปัจจุบัน แต่ในอนาคตอันใกล้ posits (หรือหน่วยทางคณิตศาสตร์อื่น ๆ ) อาจทำให้ฟังก์ชั่นการเปิดใช้งาน sigmoidal .

ส่วนตัวฉันจะใช้แบบจำลองที่เรียบง่ายกว่าด้วยฟังก์ชั่น ReLU เพื่ออธิบาย SLP (single level perceptron) เนื่องจากมันใช้งานได้มากกว่าในปัจจุบัน

— prosti
แหล่งที่มา