อัลกอริทึมการเรียนรู้ของเครื่องใดที่ได้รับการยอมรับว่าเป็นการแลกเปลี่ยนที่ดีระหว่างการอธิบายและการทำนาย?


9

ข้อความการเรียนรู้ของเครื่องที่อธิบายอัลกอริธึมเช่นเครื่องเร่งการไล่ระดับสีหรือเครือข่ายประสาทเทียมมักจะแสดงความคิดเห็นว่าแบบจำลองเหล่านี้ดีต่อการทำนาย แต่สิ่งนี้มาจากการสูญเสียความสามารถในการอธิบายหรือตีความ ในทางกลับกันต้นไม้การตัดสินใจเดี่ยวและแบบจำลองการถดถอยแบบคลาสสิกนั้นมีคำอธิบายที่ดี แต่ให้ความแม่นยำในการทำนายที่ค่อนข้างต่ำเมื่อเทียบกับแบบจำลองที่มีความซับซ้อนเช่นป่าที่สุ่มหรือ SVM มีรูปแบบการเรียนรู้ด้วยเครื่องที่ยอมรับกันโดยทั่วไปว่าเป็นรูปแบบการแลกเปลี่ยนที่ดีระหว่างทั้งสอง มีวรรณกรรมใดที่แจกแจงลักษณะของอัลกอริทึมที่อนุญาตให้อธิบายได้หรือไม่? (คำถามนี้ถูกถามก่อนหน้านี้เกี่ยวกับการตรวจสอบข้าม)

คำตอบ:


3

มีวรรณกรรมใดที่แจกแจงลักษณะของอัลกอริทึมที่อนุญาตให้อธิบายได้หรือไม่?

วรรณกรรมเดียวที่ฉันรู้คือบทความล่าสุดโดย Ribero, Singh และ Guestrin พวกเขากำหนดคำอธิบายของคำทำนายเดียว:

โดย“ การอธิบายการคาดการณ์” เราหมายถึงการนำเสนอสิ่งประดิษฐ์ที่เป็นข้อความหรือภาพที่ให้ความเข้าใจเชิงคุณภาพเกี่ยวกับความสัมพันธ์ระหว่างองค์ประกอบของอินสแตนซ์ (เช่นคำในข้อความ, แพทช์ในภาพ) และการทำนายของโมเดล

ผู้เขียนอธิบายเพิ่มเติมเกี่ยวกับความหมายของตัวอย่างที่เป็นรูปธรรมมากขึ้นจากนั้นใช้แนวคิดนี้เพื่อกำหนดความสามารถอธิบายได้ของแบบจำลอง วัตถุประสงค์ของพวกเขาคือพยายามและเพิ่มความสามารถในการอธิบายให้กับแบบจำลองที่ไม่โปร่งใสแทนการเปรียบเทียบความสามารถอธิบายได้ของวิธีการที่มีอยู่ กระดาษอาจมีประโยชน์อยู่ดีในขณะที่พยายามที่จะแนะนำคำศัพท์ที่แม่นยำยิ่งขึ้นเกี่ยวกับแนวคิดของ "การอธิบาย"

มีรูปแบบการเรียนรู้ด้วยเครื่องที่ยอมรับกันโดยทั่วไปว่าเป็นรูปแบบการแลกเปลี่ยนที่ดีระหว่างทั้งสอง

ฉันเห็นด้วยกับ @Winter ว่า elastic-net สำหรับการถดถอย (ไม่ใช่แค่โลจิสติกเท่านั้น) อาจถูกมองว่าเป็นตัวอย่างของการประนีประนอมที่ดีระหว่างความแม่นยำในการทำนายและการอธิบาย

สำหรับโดเมนแอพพลิเคชั่นประเภทต่าง ๆ (อนุกรมเวลา) วิธีการอีกประเภทหนึ่งยังให้การประนีประนอมที่ดี: การสร้างแบบจำลองอนุกรมเวลาแบบเบย์ มันสืบทอดการอธิบายจากแบบจำลองอนุกรมเวลาโครงสร้างคลาสสิกและความยืดหยุ่นบางอย่างจากวิธีการแบบเบย์ เช่นเดียวกับการถดถอยโลจิสติกการอธิบายได้รับความช่วยเหลือจากสมการการถดถอยที่ใช้สำหรับการสร้างแบบจำลอง ดูบทความนี้สำหรับแอปพลิเคชั่นที่ดีในด้านการตลาดและการอ้างอิงเพิ่มเติม

เกี่ยวข้องกับบริบท Bayesian ที่กล่าวถึงคุณอาจต้องการดูแบบจำลองความน่าจะเป็นแบบกราฟิก ความสามารถในการอธิบายไม่ได้ขึ้นอยู่กับสมการถดถอย แต่ใช้วิธีกราฟิกในการสร้างแบบจำลอง ดู "แบบจำลองความน่าจะเป็นแบบกราฟิก: หลักการและเทคนิค" โดย Koller และ Friedman สำหรับภาพรวมที่ยอดเยี่ยม

ฉันไม่แน่ใจว่าเราสามารถอ้างถึงวิธีการแบบเบย์ดังกล่าวข้างต้นว่าเป็น "การยอมรับการแลกเปลี่ยนที่ดี" พวกเขาอาจไม่เป็นที่รู้จักเพียงพอสำหรับเรื่องนี้โดยเฉพาะเมื่อเปรียบเทียบกับตัวอย่างตาข่ายยืดหยุน


ตอนนี้ฉันมีโอกาสพิจารณาบทความที่เชื่อมโยงโดย Ribeiro และคณะฉันอยากจะบอกว่าส่วนที่ 2 'The Case for Description' มีคำนิยามที่เป็นประโยชน์ของ 'การอธิบายได้' และทำ งานที่เหมาะสมของการสรุปความสำคัญของมันและเป็นเช่นนั้นสมควรที่จะได้รับการอ่านอย่างกว้างขวางภายในชุมชนวิทยาศาสตร์ข้อมูล
Robert de Graaf

แม้ว่าหลักฐานของคำถามของฉันไม่ได้รับการยอมรับใน CV แต่ @SeanEaster ช่วยฉันด้วยลิงก์ที่มีประโยชน์นี้: jstage.jst.go.jp/article/bhmk1974/26/1/26_1_29/_article
Robert de Graaf

3

มีรูปแบบการเรียนรู้ด้วยเครื่องที่ยอมรับกันโดยทั่วไปว่าเป็นรูปแบบการแลกเปลี่ยนที่ดีระหว่างทั้งสอง

ฉันถือว่าการทำนายผลได้ดีหมายถึงความสามารถในการปรับตัวให้เข้ากับความไม่เป็นเชิงเส้นของข้อมูลในขณะที่มีความแข็งแกร่งพอสมควร การแลกเปลี่ยนระหว่างการตีความและความสามารถในการทำนายความไม่เชิงเส้นนั้นขึ้นอยู่กับข้อมูลและคำถามที่ถาม ไม่มีอาหารกลางวันฟรีสำหรับวิทยาศาสตร์ข้อมูลและไม่มีอัลกอริธึมเดียวที่จะถือว่าดีที่สุดสำหรับชุดข้อมูลใด ๆ (และใช้สำหรับการตีความเช่นเดียวกัน)

กฎทั่วไปควรเป็นอัลกอริธึมเพิ่มเติมที่คุณรู้จักดีกว่าสำหรับคุณเนื่องจากคุณสามารถปรับใช้กับความต้องการเฉพาะของคุณได้ง่ายขึ้น

ถ้าผมจะเลือกที่ชื่นชอบสำหรับงานการจัดหมวดหมู่ที่ผมมักจะใช้ในสภาพแวดล้อมทางธุรกิจที่ผมจะเลือกที่ยืดหยุ่นสุทธิสำหรับการถดถอยโลจิสติก แม้จะมีสมมติฐานที่แข็งแกร่งเกี่ยวกับกระบวนการที่สร้างข้อมูล แต่ก็สามารถนำไปใช้กับข้อมูลได้อย่างง่ายดายด้วยคำศัพท์ที่ใช้ในการรักษาความสามารถในการตีความจากการถดถอยโลจิสติกขั้นพื้นฐาน

มีวรรณกรรมใดที่แจกแจงลักษณะของอัลกอริทึมที่อนุญาตให้อธิบายได้หรือไม่?

ฉันขอแนะนำให้คุณเลือกหนังสือที่เขียนดีซึ่งอธิบายขั้นตอนวิธีการเรียนรู้ของเครื่องที่ใช้กันทั่วไปและข้อดีและข้อเสียของพวกเขาในสถานการณ์ที่แตกต่างกัน ตัวอย่างของหนังสือเล่มนี้อาจเป็นองค์ประกอบของการเรียนรู้ทางสถิติโดย T. Hastie, R. Tibshirani และ J. Friedman


3
TBH มันเป็นความยุ่งยากของฉันที่ข้อความที่แน่นอน - ซึ่งใช้คำว่า 'ตีความได้' หลายครั้งที่เกี่ยวข้องกับรูปแบบที่แตกต่างกันและในขั้นตอนหนึ่งบอกว่า ... มันไม่เพียงพอที่จะเพียงแค่สร้างการทำนาย '(หัวข้อ 10.7) โดยที่ฉันไม่สามารถหาข้อมูลเกี่ยวกับวิธีการระบุตัวแบบที่สามารถตีความได้ - ซึ่งทำให้เกิดคำถาม แม้ว่าฉันเป็นและไม่รังเกียจที่จะปรากฏที่สำคัญของข้อความดังกล่าวได้รับการยอมรับอย่างสูง ในทำนองเดียวกันกระดาษของ TIbshirani แนะนำรายการ LASSO 'ตีความได้' เป็นหนึ่งในคุณธรรมของมันโดยไม่พูดว่า 'ตีความได้' คืออะไร
Robert de Graaf

1

อาจเห็นคำตอบของฉันเกี่ยวกับประสิทธิผลที่ไม่สมเหตุสมผลของวงดนตรีและการแลกเปลี่ยนคำอธิบายกับคำทำนาย ความยาวข้อความต่ำสุด (MML, Wallace 2005) ให้คำจำกัดความอย่างเป็นทางการของคำอธิบายในแง่ของการบีบอัดข้อมูลและกระตุ้นให้เกิดความคาดหวังว่าคำอธิบายโดยทั่วไปจะพอดีโดยไม่ต้องฟิตเกินไปและคำอธิบายที่ดีนั้น แต่มันก็ยังสัมผัสกับทฤษฎีทางการว่าทำไมวงดนตรีจะคาดการณ์ได้ดีกว่า - ผลลัพธ์จะกลับไปที่ (โซโลมอนอฟฟ์ 1964) ในการทำนายที่ดีที่สุดและเนื้อแท้เพื่อวิธีการแบบเบย์ที่สมบูรณ์แบบ หรือโหมด

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.