เหตุใดการถดถอยแบบลอจิสติกจึงเรียกว่าอัลกอริทึมการเรียนรู้ของเครื่อง?


19

ถ้าฉันเข้าใจถูกต้องในอัลกอริทึมการเรียนรู้ของเครื่องโมเดลต้องเรียนรู้จากประสบการณ์ของมันเช่นเมื่อแบบจำลองให้การทำนายผิดสำหรับกรณีใหม่มันจะต้องปรับให้เข้ากับการสังเกตใหม่และในเวลานั้นแบบจำลองจะยิ่งดีขึ้น . ฉันไม่เห็นว่าการถดถอยโลจิสติกมีคุณสมบัตินี้ เหตุใดจึงยังถือว่าเป็นขั้นตอนวิธีการเรียนรู้ของเครื่อง? ความแตกต่างระหว่างการถดถอยโลจิสติกกับการถดถอยปกติในแง่ของ "การเรียนรู้" คืออะไร?

ฉันมีคำถามเดียวกันสำหรับป่าสุ่ม!

และคำจำกัดความของ "การเรียนรู้ของเครื่อง" คืออะไร?


4
ฉันแก้ไขคำถามของคุณเพื่อความชัดเจนทางไวยากรณ์ แต่ไม่แน่ใจว่าคุณหมายถึงอะไรโดยรวม ... Logistic Regression อยู่ภายใต้ ML เนื่องจากเป็นอัลกอริทึมการจำแนกประเภท การเรียนรู้ของเครื่องไม่ได้หมายความว่าอัลกอริทึมจะต้องมีการปรับตัว (แม้ว่าจะมีอัลกอริทึมที่เรียนรู้จากการสังเกตใหม่) การปรับตัวเป็นทางเลือกในการนำไปใช้งานมากขึ้นซึ่งมักจะเกิดจากอัลกอริธึมการเรียนรู้เครื่องจักรแบบกำเนิดซึ่งจำลองความน่าจะเป็นร่วม
Zhubarb

12
"การเรียนรู้ของเครื่อง" เป็นแนวคิดที่กำหนดไว้ค่อนข้างหลวม จริงๆแล้วทุกขั้นตอนทางสถิติที่เกี่ยวข้องกับการปรับตัวแบบสามารถนึกถึงการเรียนรู้ของเครื่อง (สมมติว่าการประกอบโมเดลสามารถทำได้โดยคอมพิวเตอร์ในระดับหนึ่ง!) นี่คือเหตุผลที่นักสถิติบางคนรู้สึกหงุดหงิดกับ "ข้อมูลขนาดใหญ่", "การเรียนรู้ของเครื่อง" และชุมชนอื่น ๆ ที่ทำให้สับสนเกี่ยวกับสถิติ (และไม่ใช่!)
P.Windridge


1
@ P.Windridge: ถ้า "ทุกขั้นตอนทางสถิติที่เกี่ยวข้องกับการสร้างแบบจำลองสามารถนึกถึงการเรียนรู้ของเครื่อง" ดังนั้นฉันไม่เห็นว่าทำไมเราควรแยกความแตกต่างของการเรียนรู้ของเครื่องและสถิติ
Metariat

4
@ XuanQuangDO เราอาจไม่ควรแยกความแตกต่างระหว่างการเรียนรู้ของเครื่องและสถิติ
Sycorax พูดว่า Reinstate Monica

คำตอบ:


21

การเรียนรู้ของเครื่องไม่ใช่คำที่กำหนดไว้อย่างดี

อันที่จริงถ้าคุณ Google "นิยามการเรียนรู้ของเครื่อง" สองสิ่งแรกที่คุณได้รับจะแตกต่างกันมาก

จากWhatIs.com ,

การเรียนรู้ของเครื่องเป็นประเภทของปัญญาประดิษฐ์ (AI) ที่ช่วยให้คอมพิวเตอร์มีความสามารถในการเรียนรู้โดยไม่ต้องตั้งโปรแกรมอย่างชัดเจน การเรียนรู้ของเครื่องมุ่งเน้นไปที่การพัฒนาโปรแกรมคอมพิวเตอร์ที่สามารถสอนตนเองให้เติบโตและเปลี่ยนแปลงเมื่อได้รับข้อมูลใหม่

จากWikipedia ,

การเรียนรู้ของเครื่องสำรวจการสร้างและการศึกษาอัลกอริทึมที่สามารถเรียนรู้และทำการทำนายข้อมูล

การถดถอยโลจิสติกไม่ต้องสงสัยตรงกับคำจำกัดความของวิกิพีเดียและคุณสามารถโต้แย้งได้ว่ามันเหมาะกับการกำหนดค่าแบบ WhatIs หรือไม่

ฉันกำหนดนิยามการเรียนรู้ด้วยตนเองของเครื่องจักรเช่นเดียวกับที่ Wikipedia ทำและถือว่าเป็นส่วนหนึ่งของสถิติ


1
ฉันเห็นด้วยกับสิ่งที่คุณพูดยกเว้นว่าเป็นส่วนย่อยของสถิติ มันมีการทับซ้อนกันมาก แต่มีประเภทของการเรียนรู้เช่นการเรียนรู้แบบเสริมซึ่งไม่สามารถพิจารณาได้ว่าเป็นส่วนย่อยของสถิติ
George

2
สิ่งเหล่านี้ไม่ใช่แหล่งที่ดี
Neil G

@ George Right แต่มาดูกันดีกว่าถ้าคุณต้องใช้เลเบลทั้งหมดในการเก็บรวบรวมข้อมูลการวิเคราะห์และวิธีการสร้างแบบจำลองไม่ว่าจะเป็นการเรียนรู้ของเครื่องจักร ML เป็นสาขาวิชาเฉพาะทางสถิติ
RobertF

@RobertF ฉันไม่เห็นด้วย การเรียนรู้ของเครื่องเป็นสาขาที่ศึกษาวิธีที่เครื่องจักรสามารถเรียนรู้ได้ ฉันยอมรับว่าวิธีการส่วนใหญ่ที่ใช้ใน ML ถือได้ว่าเป็นวิธีการทางสถิติ แต่ฟิลด์นั้นไม่ใช่ฟิลด์ย่อยของสถิติ ตัวอย่างเช่นฉันไม่คิดว่ากระบวนการตัดสินใจของมาร์คอฟถือเป็นวิธีการทางสถิติ
จอร์จ

1
@George Discrete time Markov models เป็นแบบจำลองความน่าจะเป็น เมื่อคุณประมาณพารามิเตอร์ที่ไม่รู้จักของโมเดลความน่าจะเป็น (เช่นกระบวนการตัดสินใจของมาร์คอฟ) นั่นคือคำจำกัดความของตำราเรียนของกระบวนการทางสถิติ ฉันคิดว่ากิจกรรมหลักที่เรียกว่า ML และไม่ใช่สถิติเป็นแอพพลิเคชั่นเฉพาะเช่นการสร้างหุ่นยนต์ที่เล่นหมากรุก อัลกอริทึมพื้นฐานจะเกี่ยวข้องกับความน่าจะเป็นและสถิติอย่างแน่นอน แต่แอปพลิเคชันไม่ใช่ "สถิติ" อย่างแท้จริง การวิจัยด้านจีโนมใช้สถิติอย่างหนัก แต่เป็นสาขาที่แตกต่างกัน
ahfoss

20

การเรียนรู้ของเครื่องร้อนและเป็นที่ที่มีเงินอยู่ ผู้คนเรียกสิ่งที่พวกเขากำลังพยายามขายสิ่งที่ร้อนในขณะนี้และดังนั้น "ขาย" ที่สามารถขายซอฟต์แวร์ ที่สามารถขายตัวเองเป็นพนักงานปัจจุบันพยายามรับการเลื่อนตำแหน่งเป็นพนักงานที่คาดหวังในฐานะที่ปรึกษา ฯลฯ อาจเป็นผู้จัดการที่พยายามรับงบประมาณที่ได้รับการอนุมัติจาก บริษัท ใหญ่ ๆ เพื่อจ้างคนและซื้อสิ่งของหรือโน้มน้าวให้นักลงทุนลงทุน การเริ่มต้นใหม่ที่ร้อนแรงของเขา / เธอซึ่งทำให้ Machine Learning เป็นกุญแจสำคัญในการสร้างแอพ sexting ที่ได้รับการปรับปรุง ดังนั้นการเรียนรู้ของเครื่องและผู้คนจึงเป็นผู้เชี่ยวชาญด้านการเรียนรู้ของเครื่องเพราะนั่นคือสิ่งที่ร้อนแรงและสิ่งที่ขายได้ ... อย่างน้อยก็ในตอนนี้

ฉันทำแบบจำลองสถิติเชิงเส้นและไม่เชิงเส้นทุกชนิดมานานกว่า 30 ปีแล้ว มันไม่ได้เรียกว่าการเรียนรู้ของเครื่อง ตอนนี้ส่วนใหญ่จะเป็น

เช่นเดียวกับทุกคนและลุงของพวกเขาตอนนี้เป็นข้อมูล "นักวิทยาศาสตร์" มันร้อนแรงและเซ็กซี่มาก ๆ นั่นคือสิ่งที่ผู้คนเรียกตัวเอง และนั่นคือสิ่งที่ผู้จัดการการจ้างงานที่ต้องได้รับการอนุมัติงบประมาณเพื่อจ้างงานบางตำแหน่ง ดังนั้นใครบางคนที่ไม่รู้สิ่งแรกเกี่ยวกับคณิตศาสตร์ความน่าจะเป็นสถิติการหาค่าเหมาะที่สุดหรือการคำนวณตัวเลข / จุดลอยตัวใช้แพ็คเกจ R หรือ Python ของความถูกต้องที่น่าสงสัยและความทนทานของการนำไปใช้ เพื่อนำไปใช้กับข้อมูลที่พวกเขาไม่เข้าใจและเรียกตัวเองว่า Data Scientist ตามประสบการณ์ในการทำเช่นนั้น

สิ่งนี้อาจฟังดูไม่ราบรื่น แต่ฉันเชื่อว่ามันเป็นสาระสำคัญของสถานการณ์

แก้ไข:ทวีตต่อไปนี้เมื่อวันที่ 26 กันยายน 2019:

https://twitter.com/daniela_witten/status/1177294449702928384

Daniela Witten @daniela_witten "เมื่อเราหาเงินเป็น AI เมื่อเราจ้างมันเป็นการเรียนรู้ของเครื่องจักรและเมื่อเราทำงานมันเป็นการถดถอยโลจิสติก"

(ฉันไม่แน่ใจว่าใครมากับสิ่งนี้ แต่มันเป็นอัญมณี💎)


16
ฉันจะไม่ปิดบังว่าฉันแบ่งปันความคิดเห็นเหล่านี้และเห็นอกเห็นใจคนอื่น ๆ อย่างไรก็ตามเพื่อให้พวกเขามีความเหมาะสมเป็นคำตอบในเว็บไซต์ SE พวกเขาจำเป็นต้องได้รับการสนับสนุนบางอย่าง เห็นได้ชัดว่าจะไม่ผ่านการใช้เหตุผลเชิงอนุมาน: มันต้องมาจากการเพิ่มข้อเท็จจริงและ / หรือการอ้างอิงแหล่งข้อมูลที่เชื่อถือได้ มันจะเจ๋งถ้าคุณทำได้!
whuber

10
โพสต์ที่ให้ความบันเทิงมากที่สุดได้อย่างง่ายดายที่ฉันได้อ่านในวันนี้บนไซต์นี้และฉันเห็นด้วยมาก แต่ฉันต้องเห็นด้วยกับ @whuber ว่ามันไม่ได้ตอบคำถามในรูปแบบปัจจุบัน
Nick Cox

6
เป็นการชี้แจงเล็ก ๆ ฉันทำงานทั้งในการพัฒนาซอฟต์แวร์และ "วิทยาศาสตร์ข้อมูล" ที่เป็นอันตราย ฉันสัมภาษณ์ผู้คนมากมาย อัตราการสัมภาษณ์คนสำหรับตำแหน่งการพัฒนาซอฟต์แวร์และตำแหน่งวิทยาศาสตร์ข้อมูลที่ไม่มีทักษะในการทำงานเหมือนกัน ดังนั้นสิ่งที่พิเศษเกี่ยวกับชื่อวิทยาศาสตร์ข้อมูล? ผู้คนจะขยายทักษะของพวกเขาในทุกสาขาวิชาทางเทคนิค ฉันแน่ใจว่าการเขียนโปรแกรมการแลกเปลี่ยนสแต็กมีข้อร้องเรียนเดียวกันมากมาย
Matthew Drury

7
สิ่งนี้ให้ความรู้สึกเหมือนคำหยาบกร้านมากกว่าคำตอบ แน่นอนว่าการเปลี่ยนชื่อการสร้างแบรนด์นั้นมีความสำคัญและการเรียนรู้ของเครื่องจักรนั้นร้อนแรง อย่างไรก็ตามการใช้สิ่งนั้นเป็นข้อโต้แย้งในการดาวน์ฟิลด์ซึ่งเป็นที่ยอมรับและมีความเกี่ยวข้องอย่างมากในการวิจัยและอุตสาหกรรมดูเหมือนว่าจะถูกสำหรับฉัน
Marc Claesen

7
@ MarkL.Stone ผมเข้าใจสถานการณ์ของคุณและฉันสมบูรณ์ตกลงว่ามีหลายไร้ความสามารถแทรกคำร้อนที่นี่ 's ออกมี อย่างไรก็ตามในความคิดของฉันความจริงที่ว่าคนดังกล่าวหางาน (และเก็บ!) เป็นความผิดของการจัดการ หากผู้จัดการไม่พึงพอใจกับผลลัพธ์ของนักวิเคราะห์และปฏิบัติต่อนักวิเคราะห์ทุกคนโดยไม่คำนึงถึงทักษะ / ผลลัพธ์ของแต่ละบุคคลการจัดการนั้นก็ไร้ความสามารถเช่นเดียวกับนักวิเคราะห์ที่ไม่ดี งานใด ๆ ที่มีกลิ่นของเงินสดมีการหลอกลวงใช้ยาเป็นต้น การกวาดข้อมูลทั่วไปเกี่ยวกับนักวิทยาศาสตร์ด้านข้อมูล / การเรียนรู้ของเครื่องนั้นแย่พอ ๆ กับการไม่ไว้วางใจนักวิเคราะห์ทั้งหมด
Marc Claesen

18

ดังที่คนอื่น ๆ ได้กล่าวไปแล้วไม่มีการแบ่งแยกที่ชัดเจนระหว่างสถิติการเรียนรู้ของเครื่องปัญญาประดิษฐ์และอื่น ๆ ใช้คำจำกัดความใด ๆ กับเกลือเม็ด การถดถอยแบบลอจิสติกนั้นมักจะถูกระบุว่าเป็นสถิติมากกว่าการเรียนรู้ของเครื่องในขณะที่เครือข่ายประสาทมักจะระบุว่าการเรียนรู้ของเครื่อง

ในความคิดของฉันวิธีการเรียนรู้การเรียนรู้ด้วยเครื่องจักรที่สามารถเรียนรู้จากข้อมูลได้โดยทั่วไปแล้วโดยการสร้างแบบจำลองในรูปทรงหรือรูปแบบ การถดถอยแบบลอจิสติกเช่น SVM, โครงข่ายประสาทเทียม, ฟอเรสต์ป่าไม้และเทคนิคอื่น ๆ อีกมากมายเรียนรู้จากข้อมูลเมื่อสร้างแบบจำลอง

ถ้าฉันเข้าใจอย่างถูกต้องในอัลกอริทึมการเรียนรู้ของเครื่องจักรโมเดลต้องเรียนรู้จากประสบการณ์ของมัน

นั่นไม่ใช่วิธีการเรียนรู้ของเครื่องโดยทั่วไป ไม่ใช่วิธีการเรียนรู้ของเครื่องทุกรุ่นที่ให้รูปแบบที่ปรับให้เข้ากับข้อมูลใหม่แบบไดนามิก (สาขาย่อยนี้เรียกว่าการเรียนรู้ออนไลน์ )

ความแตกต่างระหว่างการถดถอยโลจิสติกกับการถดถอยปกติในแง่ของ "การเรียนรู้" คืออะไร?

วิธีการถดถอยหลายวิธีจัดอยู่ในประเภทการเรียนรู้ของเครื่อง (เช่น SVM)


2
โปรดทราบว่าการเรียนรู้ที่ไม่ได้รับการดูแลยังคงเรียกว่าการเรียนรู้ (เครื่องจักร) ดังนั้นคุณไม่จำเป็นต้องมีข้อเสนอแนะใด ๆ ในการจำแนกสิ่งที่เป็น "การเรียนรู้ของเครื่อง"
vsz

นี่ไม่ได้อยู่ในหัวข้อคำถาม แต่คำตอบนี้กล่าวถึงการแยกระหว่าง AI และ ML เช่นกัน ฉันชอบคำจำกัดความของ AI นี้เสมอ: en.wikipedia.org/wiki/…
Davis Yoshida

10

การถดถอยโลจิสติกถูกคิดค้นโดยนักสถิติ DR Cox ในปี 1958 และถือกำเนิดสาขาการเรียนรู้ของเครื่อง การถดถอยโลจิสติกไม่ใช่วิธีการจำแนกขอบคุณพระเจ้า มันเป็นแบบจำลองความน่าจะเป็นโดยตรง

หากคุณคิดว่าอัลกอริทึมจะต้องมีสองขั้นตอน (คาดเดาเริ่มต้นแล้ว "แก้ไข" การคาดการณ์ "ข้อผิดพลาด") พิจารณาสิ่งนี้: การถดถอยโลจิสติกทำให้ถูกต้องในครั้งแรก นั่นคือในพื้นที่ของรุ่นเสริม (ใน logit) การถดถอยแบบลอจิสติกเป็นคู่แข่งโดยตรงของวิธีการเรียนรู้ด้วยเครื่องจักรจำนวนมากและมีประสิทธิภาพสูงกว่าหลายวิธีเมื่อตัวทำนายส่วนใหญ่กระทำการเพิ่มเติม (หรือเมื่อความรู้ในเรื่องที่ถูกต้องมีการระบุล่วงหน้าไว้ล่วงหน้า) บางคนเรียกการถดถอยโลจิสติกเป็นประเภทของการเรียนรู้ของเครื่อง แต่ส่วนใหญ่จะไม่ คุณสามารถเรียกวิธีการเรียนรู้ของเครื่อง (แบบโครงข่ายประสาทเทียม) แบบจำลองทางสถิติ


1
บริการการเรียนรู้ของเครื่องของ Amazon ใช้เพียงอัลกอริธึมเดียว (afaik) - การถดถอยโลจิสติก - สำหรับการจำแนกประเภท : p aws.amazon.com/machine-learning/faqs
stmax

คุณก็สามารถนำเสนอข้อมูลขึ้นเรื่อย ๆ - เช่นในปัญหาการเรียนรู้ออนไลน์ ในกรณีเช่นนี้การถดถอยแบบโลจิสติกส์จะไม่ "ทำให้ถูกต้องในครั้งแรก" ฉันเรียนรู้อย่างต่อเนื่อง มีการสูญเสียมาตรฐานและการปรับปรุงเป็นแอปพลิเคชันมาตรฐานของการไล่ระดับสี การถดถอยโลจิสติกอยู่ในหนังสือเรียนรู้เครื่องทุกเครื่องที่ฉันเคยเห็น
Neil G

1
β

@ FrankHarrell: ถูกต้องและนั่นเป็นวิธีการประเมินความเป็นไปได้สูงสุดของการแก้ปัญหาการถดถอยโลจิสติกส์
Neil G

การถดถอยโลจิสติกอาจลงวันที่ก่อนระยะ "เครื่องเรียนรู้" แต่มันไม่ได้ลงวันที่ก่อนฟิลด์ : SNARC ได้รับการพัฒนาในปี 1951 และเป็นเครื่องการเรียนรู้ นอกจากนี้การยืนยันว่าการถดถอยแบบลอจิสติกเป็นเพียงรูปแบบที่น่าจะเป็นเท่านั้นและไม่ได้เป็นตัวแยกประเภทโดยตัวของมันเอง โดยตรรกะนั้นเครือข่ายประสาทไม่ได้เป็นลักษณนาม (เว้นแต่ชั้นเอาท์พุทประกอบด้วยเซลล์ประสาทไบนารี แต่ที่จะทำให้เป็นไปไม่ได้ backpropagation)
Igor F.

8

ฉันจะต้องไม่เห็นด้วยกับคำตอบส่วนใหญ่ที่นี่และอ้างสิทธิ์ในการเรียนรู้ของเครื่องมีขอบเขตที่แม่นยำมากและมีความแตกต่างอย่างชัดเจนจากสถิติ ML เป็นสาขาย่อยของวิทยาการคอมพิวเตอร์ที่มีประวัติยาวนานซึ่งในช่วงไม่กี่ปีที่ผ่านมาได้พบแอปพลิเคชันนอกโดเมน เขตข้อมูลบิดาและแอปพลิเคชันของ ML อยู่ภายในปัญญาประดิษฐ์ (หุ่นยนต์ซอฟต์แวร์การจดจำรูปแบบและอื่น ๆ ) ดังนั้นจึงไม่ใช่แค่ "คำว่าร้อน" เช่น "ข้อมูลขนาดใหญ่" หรือ "วิทยาศาสตร์ข้อมูล" ในทางกลับกันสถิติ (ซึ่งมาจากคำว่า "รัฐ") ได้รับการพัฒนาในด้านวิทยาศาสตร์สังคมและเศรษฐกิจในฐานะเครื่องมือสำหรับมนุษย์ไม่ใช่เครื่องจักร ML วิวัฒนาการมาแยกจากสถิติและแม้ว่าจะอยู่ที่ไหนสักแห่งระหว่างทางที่มันเริ่มพึ่งพาหลักการทางสถิติอย่างหนักก็ไม่ได้หมายถึงฟิลด์ย่อยของสถิติ ML และสถิติเป็นส่วนเสริมไม่ใช่เขตข้อมูลที่ทับซ้อนกัน

คำตอบยาว :

โดยนัยโดยวิธีการชื่อ ML ถูกสร้างขึ้นสำหรับซอฟต์แวร์ / เครื่องในขณะที่วิธีการทางสถิติถูกสร้างขึ้นสำหรับมนุษย์ ทั้ง ML และสถิติจัดการกับการคาดการณ์ข้อมูลอย่างไรก็ตามวิธี ML นั้นเป็นไปตามวิธีการที่ไม่ใช้พารามิเตอร์อัตโนมัติในขณะที่วิธีการทางสถิตินั้นต้องการงานสร้างแบบจำลองด้วยตนเองจำนวนมากพร้อมกับปัจจัยที่อธิบายเพิ่มเติม สิ่งนี้เหมาะสมอย่างยิ่งหากคุณพิจารณาว่าอัลกอริธึม ML ได้รับการพัฒนาในการวิจัย AI ซึ่งเป็นวิธีการทำนายอัตโนมัติที่ตั้งใจจะรวมเข้ากับซอฟต์แวร์หุ่นยนต์ (เช่นเพื่อการจดจำเสียงและใบหน้า) เมื่อ "เครื่องจักร" ทำนายผลมันไม่สนใจเหตุผลที่อยู่เบื้องหลัง เครื่องจักรไม่สนใจที่จะรู้ว่าไดรเวอร์ / ตัวพยากรณ์อยู่เบื้องหลังแบบจำลองซึ่งแยกประเภทอีเมลว่าเป็นสแปมหรือไม่ใช่สแปม แต่ก็สนใจที่จะมีความแม่นยำในการทำนายที่ดีที่สุดเท่านั้นกล่องดำไม่ใช่เพราะไม่มีโมเดล แต่เป็นเพราะโมเดลถูกสร้างแบบอัลกอริธึมและไม่ได้หมายถึงมนุษย์หรือเครื่องจักร

แนวคิดของ "การฝึกอบรม" ใน ML ขึ้นอยู่กับพลังการคำนวณในขณะที่การสร้างแบบจำลองทางสถิติด้วยวิธีการ OLS-type สำหรับการประมาณค่าพารามิเตอร์ขึ้นอยู่กับความรู้ของผู้เชี่ยวชาญของมนุษย์ ในสถานการณ์การถดถอยหลายครั้งนักสถิติจะใช้วิจารณญาณของผู้เชี่ยวชาญอย่างเคร่งครัดในการเลือกแบบจำลองของเขาและตรวจสอบสมมติฐานทางสถิติที่จำเป็นทั้งหมด เป้าหมายของนักสถิติไม่ได้เป็นเพียงการหารูปแบบและใช้พวกเขาสำหรับการคาดการณ์ แต่ยังเข้าใจข้อมูลของเขาและปัญหาของเขาในเชิงลึกมากกว่า ML

แน่นอนในบางโอกาส ML และสถิติมีการทับซ้อนกันเช่นในกรณีที่มีสาขาวิชาจำนวนมาก การถดถอยโลจิสติกเป็นหนึ่งในโอกาสเหล่านี้ แต่เดิมเป็นวิธีการทางสถิติซึ่งมีความคล้ายคลึงกับ Perceptron อย่างง่ายมาก (หนึ่งในเทคนิค ML พื้นฐานที่สุด) ซึ่งบางส่วนถูกมองว่าเป็นวิธี ML


1
บางทีคุณไม่เคยได้ยินเกี่ยวกับสถิติที่ไม่ใช่พารามิเตอร์และตัวแบบสถิติที่ไม่ใช่พารามิเตอร์และการสร้างแบบจำลองใช่หรือไม่
Mark L. Stone

1
ใช่ฉันใช้สถิติที่ไม่ใช่พารามิเตอร์ในชีวิตประจำวัน ฉันไม่ได้บอกว่า ML เป็นคำตอบที่ไม่ใช่พารามิเตอร์สำหรับสถิติฉันเพิ่งพบว่าวิธีการ ML ที่ไม่ใช่พารามิเตอร์นั้นมาจากผลข้างเคียง สถิติที่ไม่ใช่พารามิเตอร์เป็นตัวเลือกทางเลือกของนักสถิติเมื่อสถิติพารามิเตอร์ล้มเหลว แต่ก็ยังเป็นผลมาจากการเลือกที่ใส่ใจของผู้เชี่ยวชาญ ฉันอาจไม่ชัดเจนเพียงพอในการสื่อสารมุมมองของฉันและฉันขอโทษ
Digio

3
มีนักสถิติมากมายที่ทำแบบจำลองที่ไม่ใช่พารามิเตอร์สถิติอยู่ตลอดเวลา คุณเคยได้ยินเกี่ยวกับความเป็นไปได้ในเชิงประจักษ์หรือไม่ - ประดิษฐ์โดยนักสถิติใช้โดยนักสถิติและค่อนข้างไร้พารามิเตอร์ถึงแม้ว่ามันจะสามารถนำมาใช้ในแบบกึ่งพารามิเตอร์ ดังนั้นฉันไม่เห็นด้วยกับคุณ แต่ฉันไม่ได้ลงคะแนนคุณ
Mark L. Stone

1
ไม่เห็นด้วยเป็นเครื่องหมายที่ดี แต่ฉันก็ยังไม่ค่อยเข้าใจว่าข้อโต้แย้งของคุณเกี่ยวกับอะไร คุณหมายความว่าสถิติที่ไม่ใช่พารามิเตอร์นั้นไม่จำเป็นต้องเรียนรู้ด้วยเครื่อง (สิ่งที่ฉันไม่เคยปฏิเสธ)? หรือคุณอ้างว่าการเรียนรู้ด้วยเครื่องเป็นจริงเพียงชื่ออื่นสำหรับสถิติที่ไม่ใช่พารามิเตอร์ (สิ่งที่ฉันปฏิเสธ)?
Digio

3
มีหลายสิ่งที่ไม่เห็นด้วยกับที่นี่ แบบจำลองการถดถอยหลายตัวแปรเมื่อใช้ร่วมกับเครื่องมือทางสถิติที่ทันสมัยสามารถยืดหยุ่นและแข่งขันได้สูงด้วย ML
Frank Harrell

3

การเรียนรู้ของเครื่องนั้นค่อนข้างเข้มงวดและคุณคิดถูกว่าโมเดลการถดถอยไม่ใช่แค่การเรียนรู้การถดถอยโลจิสติกเท่านั้น ฉันไม่แน่ใจว่านี่หมายความว่าการเรียนรู้ของเครื่องนั้นเป็นสถิติจริง ๆ หรือสถิตินั้นเป็นการเรียนรู้ของเครื่องจริง ๆ หรือถ้าเป็นอย่างนี้

k

ที่กล่าวว่าอัลกอริทึมบางอย่างเรียนรู้จากข้อผิดพลาดในการทำนายซึ่งเป็นเรื่องปกติโดยเฉพาะอย่างยิ่งในการเรียนรู้การเสริมแรงโดยที่ตัวแทนดำเนินการบางอย่างสังเกตผลของมันแล้วใช้ผลลัพธ์เพื่อวางแผนการกระทำในอนาคต ตัวอย่างเช่นสูญญากาศหุ่นยนต์อาจเริ่มต้นด้วยรูปแบบของโลกที่มันทำความสะอาดทุกสถานที่อย่างเท่าเทียมกันบ่อยครั้งและจากนั้นเรียนรู้ที่จะดูดฝุ่นในสถานที่สกปรก (ที่ "ได้รับรางวัล" โดยการค้นหาสิ่งสกปรก)

อัลกอริทึมแบบออนไลน์หรือแบบเพิ่มหน่วยสามารถอัปเดตซ้ำ ๆ ด้วยข้อมูลการฝึกอบรมใหม่ สิ่งนี้ไม่จำเป็นต้องขึ้นอยู่กับความแม่นยำในการทำนายของแบบจำลอง แต่ฉันสามารถจินตนาการอัลกอริทึมที่มีการอัปเดตตุ้มน้ำหนักได้มากขึ้นหากยกตัวอย่างเช่นข้อมูลใหม่ดูเหมือนว่าไม่น่าเป็นไปได้มากนักสำหรับรุ่นปัจจุบัน เช่น: มีรุ่นออนไลน์ถดถอยโลจิสติมีMcMahan และ Streeeter (2012)


3

ในที่สุดฉันก็พบมัน ตอนนี้ฉันรู้ถึงความแตกต่างระหว่างการปรับตัวแบบสถิติกับการเรียนรู้ของเครื่อง

  • หากคุณพอดีกับแบบจำลอง (การถดถอย) นั่นคือแบบจำลองเชิงสถิติที่เหมาะสม
  • หากคุณเรียนรู้รูปแบบ (การถดถอย) นั่นเป็นการเรียนรู้ของเครื่อง

ดังนั้นถ้าคุณเรียนรู้การถดถอยโลจิสติกนั่นคืออัลกอริทึมการเรียนรู้ของเครื่อง

ความคิดเห็น: ให้อภัยฉันเพราะเป็นคนแก่ที่เก่าแก่ แต่เมื่อใดก็ตามที่ฉันได้ยินคนพูดถึงการเรียนรู้รูปแบบหรือการเรียนรู้การถดถอยมันทำให้ฉันคิดว่า Jethro "ฉันเรียนรู้การศึกษา"

สิ้นสุดกระทู้


??? ฉันยังสามารถเรียนรู้รูปแบบโลจิสติกส์คุณกำลังพูดถึงอะไร
SmallChess

1
@ นักเรียน T ถ้าคุณใส่โมเดลโลจิสติกส์นั่นคือรูปแบบสถิติที่เหมาะสม ถ้าคุณเรียนรู้รูปแบบโลจิสติกส์นั่นคือการเรียนรู้ของเครื่องมันเป็นเรื่องของคำศัพท์ที่ใช้โดยสาขาที่แตกต่างกัน สิ่งเดียวกันนี้สามารถเรียกได้ว่าสิ่งที่แตกต่างกันไปตามสาขาต่าง ๆ (สถิติและการเรียนรู้ของเครื่อง)
Mark L. Stone

0

การถดถอยโลจิสติก (และโดยทั่วไปแล้ว GLM) ไม่ได้เป็นของการเรียนรู้ของเครื่อง! แต่วิธีการเหล่านี้เป็นของการสร้างแบบจำลองพารามิเตอร์

ทั้งโมเดลพารามิเตอร์และอัลกอริธึม (ML) ใช้ข้อมูล แต่ในวิธีที่ต่างกัน อัลกอริทึมแบบจำลองเรียนรู้จากข้อมูลว่าตัวทำนายจับคู่แผนที่กับตัวทำนายอย่างไร แต่พวกเขาไม่ได้ตั้งสมมติฐานเกี่ยวกับกระบวนการที่สร้างการสังเกต (หรือสมมติฐานอื่นใด) พวกเขาพิจารณาว่าความสัมพันธ์พื้นฐานระหว่างตัวแปรอินพุทและเอาท์พุทนั้นซับซ้อนและไม่ทราบดังนั้นจึงใช้วิธีการที่ขับเคลื่อนด้วยข้อมูลเพื่อทำความเข้าใจว่าเกิดอะไรขึ้นแทนที่จะกำหนดสมการอย่างเป็นทางการ

ในทางกลับกันโมเดลพารามิเตอร์จะถูกกำหนดเป็นนิรนัยโดยอาศัยความรู้เกี่ยวกับกระบวนการศึกษาใช้ข้อมูลเพื่อประมาณค่าพารามิเตอร์ของพวกเขาและสร้างสมมติฐานที่ไม่สมจริงซึ่งไม่ค่อยมีอยู่จริงในทางปฏิบัติ (เช่นความเป็นอิสระความแปรปรวนที่เท่ากันและ การกระจายข้อผิดพลาดปกติ)

นอกจากนี้แบบจำลองพารามิเตอร์ (เช่นการถดถอยโลจิสติก) เป็นแบบจำลองทั่วโลก พวกเขาไม่สามารถจับรูปแบบโลคอลในข้อมูล (ต่างจากวิธี ML ที่ใช้ต้นไม้เป็นแบบจำลองพื้นฐานเช่น RF หรือต้นไม้ที่ได้รับการเพิ่ม) ดูที่หน้ากระดาษนี้ 5. ในฐานะที่เป็นกลยุทธ์การฟื้นฟูสามารถใช้ GLM ในพื้นที่ (เช่นที่ไม่ใช่พารามิเตอร์) (ดูตัวอย่างของlocfit R แพ็คเกจ)

บ่อยครั้งที่เมื่อมีความรู้เล็กน้อยเกี่ยวกับปรากฏการณ์ที่มีอยู่แล้วจะเป็นการดีกว่าที่จะนำวิธีการที่ใช้ข้อมูลมาใช้และใช้แบบจำลองอัลกอริทึม ตัวอย่างเช่นหากคุณใช้การถดถอยแบบโลจิสติกในกรณีที่การทำงานร่วมกันระหว่างตัวแปรอินพุตและเอาต์พุตไม่เป็นเชิงเส้นโมเดลของคุณจะไม่ชัดเจนอย่างชัดเจนและสัญญาณจำนวนมากจะไม่ถูกจับ อย่างไรก็ตามเมื่อกระบวนการนั้นเป็นที่เข้าใจกันอย่างดีโมเดลพาราเมทริกมีข้อได้เปรียบในการให้สมการอย่างเป็นทางการเพื่อสรุปทุกอย่างซึ่งมีประสิทธิภาพจากมุมมองเชิงทฤษฎี

สำหรับการอภิปรายรายละเอียดเพิ่มเติมโปรดอ่านนี้กระดาษที่ยอดเยี่ยมโดยลีโอเบรแมน


4
โปรดสละเวลาเพื่อทำความเข้าใจการถดถอยโลจิสติก มันไม่ได้ตั้งสมมติฐานเกี่ยวกับการแจกจ่าย แต่อย่างใด มันทำให้สมมติฐานความเป็นอิสระแบบเดียวกันกับ ML ML ต้องการขนาดตัวอย่างที่ใหญ่กว่าการถดถอยโลจิสติกส์ ตัวอย่างเช่นฟอเรสต์แบบสุ่มและ SVM สามารถต้องการ 200 เหตุการณ์ต่อคุณสมบัติของผู้สมัครที่จะมีเสถียรภาพในขณะที่การถดถอยโลจิสติกมักจะต้องมี 200 เหตุการณ์ต่อตัวแปรตัวเลือก
Frank Harrell

2
คุณควรใช้เวลาในการทำความเข้าใจการถดถอยโลจิสติก! มันเป็นโมเดลเชิงเส้นทั่วไปที่ลิงก์เป็นฟังก์ชัน logit มันเป็นพารามิเตอร์ สันนิษฐานว่าเป็นข้อสังเกต IID นอกจากนี้ขอให้โชคดีในการจับความสัมพันธ์ที่ไม่เป็นเชิงเส้น นอกจากนี้ประโยคที่สองของคุณหมายความว่าอย่างไร สำหรับฉันฟีเจอร์คือตัวแปร (?)
แอนทอน

5
มีหนังสือดี ๆ มากมายเกี่ยวกับเรื่องนี้และฉันแนะนำให้คุณปรึกษาพวกเขาก่อนดำเนินการต่อ การถดถอยโลจิสติกไม่ได้มีการแจกแจงที่เหมือนกันและจะไม่มีการแจกแจงเลย หากคุณไม่สามารถแสดงให้เห็นว่าคุณคำนึงถึงปัจจัยในโครงสร้างความสัมพันธ์ใน ML อย่างไรทั้งสองวิธีถือว่าเป็นอิสระ เส้นโค้งการถดถอยถูกนำมาใช้ตั้งแต่ปี 1982 เพื่อผ่อนคลายสมมติฐานเชิงเส้นตรงในการถดถอยโลจิสติก สำหรับคุณลักษณะการสนทนา = ตัวแปรนี้เว้นแต่จะขยายในเดือย
Frank Harrell

5
Breiman เข้าใจสิ่งต่าง ๆ ค่อนข้างดี เขาไม่ได้จัดการกับพัฒนาการหลังปี 2525 ในการถดถอยโลจิสติกส์เช่นการประเมินความเป็นไปได้สูงสุดที่ถูกลงโทษการตัดทอนการถดถอยและการผสมผสานกับวิธีการลดข้อมูล ข้อ จำกัด ที่ร้ายแรงเพียงประการเดียวสำหรับการถดถอยแบบโลจิสติกส์คือวิธีการอื่นที่ไม่เหมาะสมในการค้นหาการโต้ตอบที่ถูกต้องเช่นเดียวกับการค้นหาการโต้ตอบและไม่ได้ระบุไว้ล่วงหน้า วิธีการส่วนใหญ่ที่อ้างว่าสามารถทำได้ไม่ส่งผลให้เกิดการค้นพบที่จำลองได้ นอกจากนี้ Breiman ยังใช้คะแนนความแม่นยำที่ไม่เหมาะสมซึ่งสามารถปรับให้เหมาะสมโดยแบบจำลองปลอม
Frank Harrell

3
@Antoine: "ทำไมการถดถอยโลจิสติกอย่างสิ้นเชิงแตกต่างจาก ML" ขอให้สังเกตว่าวิธีการบางอย่างใน ML (อย่างชัดเจน, SVM) เกี่ยวข้องกับการถดถอยโลจิสติกส์เป็นอย่างมาก ด้วยข้อยกเว้นของการโต้ตอบที่หลากหลาย - เช่นแฟรงค์เขียน - โลจิสติกเรกที่ไม่ใช่เชิงเส้นและการลงโทษให้ผลลัพธ์ที่คล้ายกันมากกับ SVM และวิธี ML อื่น ๆ มันยังคงทำให้ฉันประหลาดใจว่าเอกสารบางฉบับกล่าวถึงการปรับปรุงประสิทธิภาพโดยใช้วิธี ML กับแบบจำลองลอจิสติก stat101 เพื่อวางกรอบการถดถอยแบบลอจิสติกในเชิงลบ
Thomas Speidel

-1

ฉันคิดว่าคำตอบอื่น ๆ ทำงานได้ดีในการระบุว่าการเรียนรู้ของเครื่องคืออะไร (เช่นที่พวกเขาระบุว่ามันอาจเป็นสิ่งที่คลุมเครือ) ฉันจะเพิ่มว่า Logistic Regression (และรุ่น multinomial ทั่วไปมากกว่านั้น) ใช้กันอย่างแพร่หลายเป็นวิธีการจำแนกประเภทในเครือข่ายประสาทเทียม (ซึ่งฉันคิดว่าครอบคลุมอย่างไม่น่าสงสัยโดยสิ่งที่นิยามการเรียนรู้ของเครื่องที่เหมาะสม) การถดถอยโลจิสติกส์ไปยังบุคคลในระบบประสาทพวกเขามีแนวโน้มที่จะคิดทันทีในบริบทนี้ การผูกเข้ากับ hitter ที่หนักหน่วงในการเรียนรู้ของเครื่องจักรเป็นวิธีที่ดีที่จะกลายเป็นเทคนิคการเรียนรู้ของเครื่องจักรด้วยตนเองและฉันคิดว่าในระดับหนึ่งที่เกิดขึ้นกับเทคนิคการถดถอยที่หลากหลายแม้ว่าฉันจะไม่ลดทอนพวกเขา ในและของตัวเอง


โปรดทราบว่าการถดถอยโลจิสติกไม่ใช่ตัวจําแนก แต่เป็นวิธีการประมาณความน่าจะเป็นโดยตรง
Frank Harrell

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับประเด็นของ Dr. Harrell โปรดดูโพสต์ของฉันที่นี่ stats.stackexchange.com/questions/127042/…
Sycorax พูดว่า Reinstate Monica

@ FrankHarrell เรายังสามารถใช้ความน่าจะเป็นสำหรับการจัดหมวดหมู่ดังนั้นมันจึงเป็นลักษณนาม
SmallChess

@ StudentT4 นั่นอาจไม่ถูกต้องมากกว่านี้ ถ้าเป็นตัวประมาณความน่าจะเป็นโดยตรง วิธีที่คุณใช้ผลลัพธ์สุดท้ายของโมเดลการขนส่งนั้นขึ้นอยู่กับคุณ โดยตรรกะของคุณค่าเฉลี่ยตัวอย่างคือตัวจําแนก
Frank Harrell

-1

ฉันคิดว่าขั้นตอนใด ๆ ที่เป็น "ซ้ำ" ถือได้ว่าเป็นกรณีของการเรียนรู้ของเครื่อง การถดถอยถือได้ว่าเป็นการเรียนรู้ของเครื่อง เราสามารถทำได้ด้วยมือ แต่จะใช้เวลานานถ้าเป็นไปได้ทั้งหมด ดังนั้นตอนนี้เรามีโปรแกรมเครื่องจักรที่ทำซ้ำสำหรับเรา มันเข้าใกล้โซลูชันมากขึ้นหรือใกล้เคียงที่สุดหรือเหมาะสมที่สุด ดังนั้น "การเรียนรู้ของเครื่อง" แน่นอนว่าสิ่งต่าง ๆ เช่นเครือข่ายนิวรัลได้รับความสนใจมากที่สุดในเรื่องการเรียนรู้ของเครื่องดังนั้นเราจึงมักจะเชื่อมโยงการเรียนรู้ของเครื่องกับขั้นตอนการเซ็กซี่เหล่านี้ นอกจากนี้ความแตกต่างระหว่างการเรียนรู้ของเครื่อง "แบบมีผู้ดูแล" และ "ไม่ได้รับการดูแล" นั้นมีความเกี่ยวข้องที่นี่


-2

เป็นความผิดพลาดทั่วไปที่คนส่วนใหญ่ทำและฉันเห็นได้ที่นี่ด้วย (ทำโดยเกือบทุกคน) ให้ฉันอธิบายรายละเอียด ... Logistic Regression และตัวแบบถดถอยเชิงเส้นทั้งสองเป็นแบบพารามิเตอร์และเทคนิคการเรียนรู้ของเครื่อง มันขึ้นอยู่กับวิธีการที่คุณใช้ในการประมาณพารามิเตอร์โมเดล (theta's) มี 2 ​​วิธีในการค้นหาพารามิเตอร์โมเดลในการถดถอยเชิงเส้นและโลจิสติก reg

  1. เทคนิคการไล่ระดับสีไล่ระดับ : ที่นี่เราเริ่มต้นด้วยการกำหนดค่าสุ่มให้กับพารามิเตอร์และค้นหาฟังก์ชั่นค่าใช้จ่าย (ข้อผิดพลาด) ในการวนซ้ำแต่ละครั้งเราอัปเดตพารามิเตอร์ของเราและลดฟังก์ชั่นลดต้นทุน หลังจากการวนซ้ำจำนวนหนึ่งฟังก์ชันต้นทุนลดลงเป็นค่าที่ต้องการและค่าพารามิเตอร์ที่เกี่ยวข้องคือค่าสุดท้ายของเรา นี่คือสิ่งที่เทคนิคการเรียนรู้ของเครื่องควรจะทำ ดังนั้นหากคุณใช้เทคนิคการไล่ระดับสีแบบไล่ระดับการถดถอยแบบโลจิสติกสามารถเรียกได้ว่าเป็นเทคนิคการเรียนรู้ของเครื่อง

  2. โดยใช้ Least Square: ที่นี่เรามีสูตรโดยตรงเพื่อค้นหาพารามิเตอร์ของเรา (พีชคณิตเมทริกซ์บางตัวจำเป็นต้องเข้าใจถึงการสืบทอดของสูตรนี้) ซึ่งเรียกว่าสมการปกติ Least Square Method

ที่นี่ b หมายถึงพารามิเตอร์ X คือเมทริกซ์การออกแบบ ทั้งสองวิธีมีข้อดีและข้อ จำกัด ของตัวเอง ในการรับรายละเอียดเพิ่มเติม: ทำตามหลักสูตรการเรียนรู้ของเครื่องเรียนรู้ยังคงทำงานอยู่

ฉันหวังว่าโพสต์นี้อาจมีประโยชน์ .. :-)

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.