ความแตกต่างระหว่างการถดถอยโลจิสติกและเปอร์เซ็น

16

ดังที่ฉันเข้าใจเครือข่ายประสาทเทียมของ perceptron / single-layer ที่มีฟังก์ชั่นการเปิดใช้งาน logistic sigmoid เป็นรูปแบบเดียวกับการถดถอยแบบโลจิสติกส์ ทั้งสองรุ่นได้รับจากสมการ:

$F(x) = \frac{1}{1-e^{-\beta X}}$

อัลกอริธึมการเรียนรู้ perceptron เป็นแบบออนไลน์และขับเคลื่อนด้วยข้อผิดพลาดในขณะที่พารามิเตอร์สำหรับการถดถอยโลจิสติกสามารถเรียนรู้ได้โดยใช้อัลกอริทึมแบบแบทช์รวมถึงการไล่ระดับสีลงและ BFGS หน่วยความจำ จำกัด มีความแตกต่างอื่น ๆ ระหว่างการถดถอยโลจิสติกและ perceptron sigmoid หรือไม่ ผลลัพธ์ของผู้ลงทะเบียนโลจิสติกส์ที่ผ่านการฝึกอบรมกับการไล่ระดับสีแบบสุ่ม Stochastic นั้นคาดว่าจะคล้ายกับ perceptron หรือไม่?

logistic communication

— gavinmh
แหล่งที่มา

2

ลักษณะเช่นนี้คำถามคือที่คล้ายกันและดูเหมือนว่าจะมีการตอบสนองที่ดีขึ้น :)

— ราล์ฟ Tigoumo

1

คุณพูดถึงความแตกต่างที่สำคัญแล้ว ดังนั้นผลลัพธ์ไม่ควรแตกต่างกันมาก

— Michael Dorner
แหล่งที่มา

1

สิ่งนี้ไม่ได้ให้คำตอบสำหรับคำถาม หากต้องการวิจารณ์หรือขอคำชี้แจงจากผู้แต่งโปรดแสดงความคิดเห็นใต้โพสต์ของพวกเขา

— ซีอาน

1

ที่จริงแล้วฉันพยายามตอบทั้งสองคำถาม: 1) "มีความแตกต่างอื่น ๆ ระหว่างการถดถอยโลจิสติกกับ sigmoid perceptron หรือไม่" และ 2) "คาดว่าผลลัพธ์ของการถดถอยโลจิสติกที่ผ่านการฝึกอบรมกับการไล่ระดับสีแบบสุ่มสุ่มคาดว่าจะคล้ายกับ perceptron หรือไม่"

— Michael Dorner

7

นั่นเป็นตำแหน่งที่เหมาะสม @MichaelDorner คุณจะช่วยขยายคำตอบเล็กน้อยเพื่อให้ชัดเจนขึ้นหรือไม่?

— gung - Reinstate Monica

3

ฉันเชื่อว่าความแตกต่างอย่างหนึ่งที่คุณขาดไปก็คือความจริงที่ว่าการถดถอยแบบโลจิสติกส์ส่งคืนความน่าจะเป็นในการจำแนกประเภทในขณะที่ perceptrons จัดประเภทด้วยขอบเขตที่ยาก

นี้จะกล่าวถึงในบทความวิกิพีเดียในพหุถดถอยโลจิสติ

— ynv
แหล่งที่มา

2

จริงๆแล้วมีความแตกต่างอย่างมากซึ่งเกี่ยวข้องกับความแตกต่างทางเทคนิคที่คุณกล่าวถึง แบบจำลองการถดถอยโลจิสติกเป็นฟังก์ชันของค่าเฉลี่ยของการแจกแจงเบอร์นูลลีเป็นสมการเชิงเส้น (ค่าเฉลี่ยเท่ากับความน่าจะเป็นpของเหตุการณ์เบอร์นูลลี) โดยใช้ลิงก์ logit เป็นฟังก์ชันของค่าเฉลี่ย ( p ) ลอการิทึมของอัตราต่อรอง (log-odds) สามารถได้รับการวิเคราะห์และใช้เป็นการตอบสนองของแบบจำลองเชิงเส้นทั่วไปที่เรียกว่า การประมาณค่าพารามิเตอร์ของ GLM นี้เป็นกระบวนการทางสถิติที่ให้ค่า p-value และช่วงความมั่นใจสำหรับพารามิเตอร์โมเดล ด้านบนของการทำนายนี้ช่วยให้คุณสามารถตีความรูปแบบในการอนุมานสาเหตุ นี่คือสิ่งที่คุณไม่สามารถทำได้ด้วย Perceptron เชิงเส้น

Perceptron เป็นกระบวนการทางวิศวกรรมย้อนกลับของการถดถอยโลจิสติก: แทนที่จะใช้ logit ของ y มันต้องใช้ฟังก์ชั่นผกผัน logit (logistic) ของwxและไม่ใช้สมมติฐานความน่าจะเป็นสำหรับตัวแบบหรือการประมาณค่าพารามิเตอร์ การฝึกอบรมออนไลน์จะให้ค่าประมาณที่แน่นอนเหมือนกันสำหรับน้ำหนัก / พารามิเตอร์ของแบบจำลอง แต่คุณจะไม่สามารถตีความได้ในการอนุมานเชิงสาเหตุเนื่องจากการขาดค่า p ช่วงเวลาความเชื่อมั่นและแบบจำลองความน่าจะเป็นพื้นฐาน

เรื่องสั้นสั้นการถดถอยแบบโลจิสติกส์คือ GLM ซึ่งสามารถทำการทำนายและอนุมานได้ในขณะที่ Perceptron เชิงเส้นสามารถบรรลุการทำนายได้เท่านั้น ความแตกต่างระหว่างทั้งสองยังเป็นความแตกต่างพื้นฐานระหว่างการสร้างแบบจำลองทางสถิติและการเรียนรู้ของเครื่อง

— Digio
แหล่งที่มา