การเรียนรู้ของเครื่องมีประโยชน์น้อยกว่าสำหรับการทำความเข้าใจถึงเวรกรรมซึ่งน่าสนใจน้อยกว่าสำหรับสังคมศาสตร์หรือไม่?

ความเข้าใจของฉันเกี่ยวกับความแตกต่างระหว่างการเรียนรู้ด้วยเครื่อง / เทคนิคการทำนายเชิงสถิติอื่น ๆ กับชนิดของสถิติที่นักวิทยาศาสตร์สังคม (เช่นนักเศรษฐศาสตร์) ใช้คือนักเศรษฐศาสตร์ดูเหมือนจะสนใจอย่างมากในการทำความเข้าใจผลของตัวแปรเดี่ยวหรือตัวแปรหลายตัว ขนาดและการตรวจสอบว่าความสัมพันธ์เป็นสาเหตุ สำหรับเรื่องนี้คุณจะต้องเกี่ยวข้องกับตัวเองด้วยวิธีการทดลองและกึ่งทดลอง ฯลฯ

การเรียนรู้ด้วยเครื่องหรือการสร้างแบบจำลองทางสถิติที่สามารถคาดการณ์ได้มักจะมองข้ามแง่มุมนี้และในหลายกรณีไม่ได้ให้ระดับที่เฉพาะเจาะจงซึ่งตัวแปรหนึ่งมีผลต่อผลลัพธ์ (logit และ probit ดูเหมือนจะทำทั้งสองอย่าง)

คำถามที่เกี่ยวข้องคือตัวแบบทางเศรษฐศาสตร์หรือแบบจำลองพฤติกรรมที่ได้รับแรงบันดาลใจทางทฤษฎีในระดับใดมีข้อได้เปรียบมากกว่าตัวแบบแบบไม่เชื่อเรื่องพระเจ้าเมื่อคาดการณ์โดเมนใหม่? การเรียนรู้ด้วยเครื่องหรือนักสถิติเชิงพยากรณ์จะพูดอย่างไรกับการวิพากษ์วิจารณ์ว่าหากไม่มีแบบจำลองทางเศรษฐกิจคุณจะไม่สามารถคาดการณ์ตัวอย่างใหม่ได้อย่างถูกต้องที่ผู้แปรสภาพมีความแตกต่างกันมาก

ฉันมีความสุขจริงๆที่ได้ยินว่าผู้คนรับสิ่งนี้จากทุกมุมมอง

IMHO ไม่มีความแตกต่างอย่างเป็นทางการที่แยกความแตกต่างระหว่างการเรียนรู้ของเครื่องและสถิติในระดับพื้นฐานของโมเดลที่เหมาะสมกับข้อมูล อาจมีความแตกต่างทางวัฒนธรรมในการเลือกแบบจำลองวัตถุประสงค์ของแบบจำลองที่เหมาะสมกับข้อมูลและเพื่อขยายการตีความ

ในตัวอย่างทั่วไปฉันคิดได้ว่าเรามีเสมอ

• คอลเลกชันของแบบจำลองสำหรับสำหรับดัชนีบางส่วนตั้ง ,ฉัน∈ ฉัน$M_i$$i \in I$$I$
• และสำหรับแต่ละไม่รู้จักองค์ประกอบ (พารามิเตอร์ที่อาจจะไม่มีที่สิ้นสุดมิติ) ของรูปแบบM_iθ ฉันM $i$$\theta_i$$M_i$

การปรับให้เหมาะสมกับข้อมูลเป็นปัญหาการเพิ่มประสิทธิภาพทางคณิตศาสตร์เกือบตลอดเวลาซึ่งประกอบด้วยการค้นหาตัวเลือกที่ดีที่สุดของส่วนประกอบที่ไม่รู้จักเพื่อให้เหมาะสมกับข้อมูลที่วัดโดยฟังก์ชันที่ชื่นชอบบางอย่างθ ฉันM $M_i$$\theta_i$$M_i$

การเลือกระหว่างรุ่นนั้นน้อยกว่ามาตรฐานและมีเทคนิคหลากหลายให้เลือก หากวัตถุประสงค์ของการปรับแบบจำลองนั้นเป็นการทำนายแบบหมดจดการเลือกแบบจำลองจะทำด้วยความพยายามเพื่อให้ได้ประสิทธิภาพการทำนายที่ดีในขณะที่ถ้าวัตถุประสงค์หลักคือการตีความแบบจำลองที่ได้ผลลัพธ์อาจจะเลือกแบบจำลองที่ตีความได้ง่ายกว่าแบบจำลองอื่น ๆ พลังการคาดการณ์คาดว่าจะแย่ลง$M_i$

สิ่งที่อาจเรียกได้ว่าการเลือกรูปแบบสถิติของโรงเรียนเก่าขึ้นอยู่กับการทดสอบทางสถิติซึ่งอาจรวมกับกลยุทธ์การเลือกขั้นตอนที่ชาญฉลาดในขณะที่การเลือกรูปแบบการเรียนรู้ของเครื่องมักจะมุ่งเน้นไปที่ข้อผิดพลาดทั่วไปที่คาดไว้ การพัฒนาในปัจจุบันและความเข้าใจของการเลือกรูปแบบการทำ แต่ดูเหมือนจะบรรจบสู่พื้นดินทั่วไปเพิ่มเติมโปรดดูตัวอย่างเช่นรุ่นการคัดเลือกและรุ่น Averaging

การอนุมานสาเหตุของแบบจำลอง

ปมของเรื่องคือวิธีการที่เราสามารถตีความรูปแบบ? หากข้อมูลที่ได้มาจากการทดลองออกแบบอย่างรอบคอบและแบบจำลองมีความเพียงพอก็เป็นไปได้ที่เราสามารถตีความผลกระทบของการเปลี่ยนแปลงของตัวแปรในรูปแบบที่เป็นผลเชิงสาเหตุและถ้าเราทำการทดลองซ้ำและแทรกแซงตัวแปรเฉพาะนี้ เราสามารถคาดหวังให้สังเกตผลที่คาดการณ์ไว้ อย่างไรก็ตามหากข้อมูลเป็นแบบสังเกตเราไม่สามารถคาดหวังได้ว่าผลกระทบโดยประมาณในแบบจำลองนั้นสอดคล้องกับผลจากการแทรกแซงที่สังเกตได้ สิ่งนี้จะต้องมีการตั้งสมมติฐานเพิ่มเติมโดยไม่คำนึงว่าโมเดลนั้นเป็น "โมเดลการเรียนรู้ของเครื่อง" หรือ "โมเดลทางสถิติแบบดั้งเดิม"

อาจเป็นไปได้ว่าผู้ฝึกอบรมในการใช้แบบจำลองทางสถิติแบบดั้งเดิมโดยมุ่งเน้นไปที่การประมาณค่าพารามิเตอร์แบบไม่แปรและการตีความขนาดผลมีความรู้สึกว่าการตีความเชิงสาเหตุมีความถูกต้องมากกว่าในกรอบการเรียนรู้ด้วยเครื่อง ฉันจะบอกว่ามันไม่ได้

พื้นที่ของการอนุมานเชิงสาเหตุในสถิติไม่ได้ลบปัญหา แต่จริงๆแล้วมันทำให้สมมติฐานที่ข้อสรุปเชิงสาเหตุที่เหลือชัดเจน พวกเขาจะเรียกว่าสมมติฐานที่ไม่สามารถทดสอบได้ การอนุมานสาเหตุของกระดาษในสถิติ: ภาพรวมโดยจูเดียเพิร์ลเป็นกระดาษที่ดีในการอ่าน การสนับสนุนที่สำคัญจากการอนุมานเชิงสาเหตุคือการรวบรวมวิธีการในการประมาณค่าผลกระทบเชิงสาเหตุภายใต้สมมติฐานที่มีคนที่ไม่ได้รับความไว้วางใจซึ่งเป็นข้อกังวลที่สำคัญ ดูหัวข้อ 3.3 ในกระดาษมุกด้านบน ตัวอย่างที่สูงขึ้นสามารถพบได้ในกระดาษMarginal รุ่นโครงสร้างและสาเหตุการอนุมานระบาดวิทยา

มันเป็นคำถามในประเด็นที่ว่าข้อสันนิษฐานที่ไม่สามารถพิสูจน์ได้เกิดขึ้นหรือไม่ ไม่สามารถทดสอบได้อย่างแม่นยำเพราะเราไม่สามารถทดสอบได้โดยใช้ข้อมูล ในการปรับสมมติฐานให้มีข้อโต้แย้งอื่น ๆ ที่จำเป็น

เป็นตัวอย่างของการที่การเรียนรู้ของเครื่องจักรและการอนุมานเชิงสาเหตุตรงกับความคิดของการประมาณค่าความน่าจะเป็นเป้าหมายสูงสุดตามที่นำเสนอในการเรียนรู้ความน่าจะเป็นเป้าหมายสูงสุดโดย Mark van der Laan และ Daniel Rubin โดยทั่วไป "ไปยังพารามิเตอร์ที่น่าสนใจ หลังอาจเป็นพารามิเตอร์ที่มีการตีความสาเหตุ ความคิดในSuper Learnerคือต้องอาศัยเทคนิคการเรียนรู้ของเครื่องจักรเป็นอย่างมากสำหรับการประมาณค่าพารามิเตอร์ที่น่าสนใจ มันเป็นประเด็นสำคัญโดย Mark van der Laan (การสื่อสารส่วนตัว) ว่ารูปแบบทางสถิติแบบเรียบง่ายและ "ตีความ" มักจะผิดซึ่งนำไปสู่การประมาณค่าแบบเอนเอียงและการประเมินความไม่แน่นอนของการประเมินในแง่ดีเกินไป

มีชุดเครื่องมือทางสถิติ (จำกัด อย่าง จำกัด ) สำหรับสิ่งที่เรียกว่า "การอนุมานเชิงสาเหตุ" สิ่งเหล่านี้ออกแบบมาสำหรับการประเมินความสัมพันธ์เชิงสาเหตุและได้รับการพิสูจน์แล้วว่าทำอย่างถูกต้อง ยอดเยี่ยม แต่ไม่ใช่สำหรับความอ่อนโยนของหัวใจ (หรือสมองสำหรับเรื่องนั้น)

นอกเหนือจากนั้นในหลาย ๆ กรณีความสามารถในการบ่งบอกถึงเวรกรรมเป็นผลมาจากการออกแบบของคุณมากกว่าเทคนิคในมือ: ถ้าคุณสามารถควบคุมตัวแปร 'ทั้งหมด' ในการทดสอบของคุณและคุณเห็นสิ่งที่เกิดขึ้นทุกครั้งที่คุณ ( เท่านั้น) เปลี่ยนหนึ่งตัวแปรมันมีเหตุผลที่จะเรียกสิ่งที่เกิดขึ้นว่า 'ผล' ของสิ่งที่คุณเปลี่ยน (น่าเสียดายที่ในการวิจัยจริงกรณีที่รุนแรงเหล่านี้ไม่ค่อยเกิดขึ้นจริง) การใช้เหตุผลที่เข้าใจง่าย แต่ให้เหตุผลก็คืออิงตามเวลา: หากคุณสุ่ม (แต่ในลักษณะควบคุม) เปลี่ยนตัวแปรและเปลี่ยนแปลงอีกวันหลังจากนั้นเวรกรรมก็อยู่ใกล้ ๆ

ย่อหน้าที่สองทั้งหมดของฉันทำงานเป็นหลักโดยไม่คำนึงถึงวิธีการที่คุณใช้เพื่อค้นหาว่าตัวแปรใดเปลี่ยนแปลงในเงื่อนไขใดดังนั้นอย่างน้อยในทางทฤษฎีไม่มีเหตุผลว่าทำไมการเรียนรู้ของเครื่อง (ML) จะแย่กว่าวิธีการทางสถิติ

ข้อจำกัดความรับผิดชอบ : การย่อหน้าที่เป็นส่วนตัวสูง

อย่างไรก็ตามจากประสบการณ์ของผมบ่อยครั้งที่เทคนิค ML มักจะปล่อยให้หยดลงบนหยดของข้อมูลโดยไม่พิจารณาว่าข้อมูลมาจากที่ใดหรือเก็บรวบรวมมาอย่างไร (เช่นไม่สนใจการออกแบบ) ในกรณีเหล่านั้นบ่อยครั้งที่ผลลัพธ์เกิดขึ้น แต่มันยากมากที่จะพูดบางสิ่งที่มีประโยชน์เกี่ยวกับความเป็นเวรกรรม สิ่งนี้จะจะเหมือนกันทุกครั้งเมื่อมีการใช้วิธีการทางสถิติกับข้อมูลเดียวกัน อย่างไรก็ตามผู้ที่มีพื้นฐานด้านสถิติที่แข็งแกร่งได้รับการฝึกฝนให้มีความสำคัญต่อเรื่องเหล่านี้และหากทุกอย่างเป็นไปด้วยดีจะหลีกเลี่ยงข้อผิดพลาดเหล่านี้ บางทีมันอาจเป็นเพียงความคิดของผู้เริ่มใช้ (แต่ไม่เลอะเทอะ) ของเทคนิค ML (โดยทั่วไปไม่ใช่นักพัฒนาเทคนิคใหม่ แต่ผู้ที่กระตือรือร้นที่จะ 'พิสูจน์' ผลลัพธ์บางอย่างกับพวกเขาในสาขาที่ตนสนใจ) ซึ่งทำให้ ML มีชื่อเสียงที่ไม่ดี บัญชี. (โปรดทราบว่าฉันไม่ได้บอกว่าสถิตินั้นดีกว่า ML หรือว่าทุกคนที่ทำ ML นั้นไม่เลอะเทอะและผู้ที่ทำสถิติไม่ได้)

มุมมองของฉันคือโมเดลที่ใช้ในเศรษฐศาสตร์และสังคมศาสตร์อื่น ๆ มีประโยชน์ตราบเท่าที่พวกมันมีพลังการทำนายในโลกแห่งความจริง - แบบจำลองที่ไม่ได้ทำนายโลกแห่งความจริงเป็นเพียงคณิตศาสตร์ที่ฉลาด คำพูดที่ชื่นชอบของฉันต่อเพื่อนร่วมงานคือ "data is king"

สำหรับฉันแล้วคำถามของคุณทำให้เกิดการวิพากษ์วิจารณ์สองแนวทาง ก่อนอื่นคุณชี้ให้เห็นว่ารูปแบบที่ผลิตโดยเทคนิคการเรียนรู้ด้วยเครื่องอาจไม่สามารถตีความได้ ประการที่สองคุณแนะนำว่าวิธีการที่ใช้ในสังคมศาสตร์มีประโยชน์มากกว่าสำหรับการเปิดเผยความสัมพันธ์เชิงสาเหตุมากกว่าการเรียนรู้ด้วยเครื่อง

เพื่อพูดถึงประเด็นแรกฉันขอเสนออาร์กิวเมนต์ตัวนับต่อไปนี้ แฟชั่นปัจจุบันในการเรียนรู้ของเครื่องช่วยให้วิธีการ (เช่น SVM และ NN) ซึ่งไม่ง่ายเลยสำหรับคนธรรมดาที่จะเข้าใจ นี่ไม่ได้หมายความว่าเทคนิคการเรียนรู้ของเครื่องทั้งหมดมีคุณสมบัตินี้ ตัวอย่างเช่นแผนภูมิการตัดสินใจ C4.5 ที่น่าเคารพยังคงใช้กันอย่างแพร่หลายใน 20 ปีหลังจากถึงขั้นตอนสุดท้ายของการพัฒนาและสร้างผลลัพธ์เป็นกฎการจำแนกประเภทจำนวนมาก ฉันจะยืนยันว่ากฎดังกล่าวให้ยืมตัวเองดีกว่าการตีความมากกว่าแนวคิดเช่นอัตราส่วนอัตราต่อรอง แต่นั่นคือการเรียกร้องส่วนตัว ไม่ว่าในกรณีใดโมเดลดังกล่าวสามารถตีความได้

ในการพูดถึงประเด็นที่สองฉันจะยอมรับว่าถ้าคุณฝึกรูปแบบการเรียนรู้ของเครื่องในสภาพแวดล้อมหนึ่งและทดสอบในอีกสภาพหนึ่งมันอาจจะล้มเหลวอย่างไรก็ตามไม่มีเหตุผลที่จะคาดเดาว่านี่ไม่จริง แบบจำลองทั่วไปที่มากขึ้น: หากคุณสร้างแบบจำลองของคุณภายใต้สมมติฐานหนึ่งชุดจากนั้นประเมินภายใต้แบบจำลองอื่นคุณจะได้รับผลลัพธ์ที่ไม่ดี ในการเลือกวลีจากการเขียนโปรแกรมคอมพิวเตอร์: "ขยะเข้า, ขยะออก" ใช้ได้กับทั้งการเรียนรู้ของเครื่องและแบบจำลองที่ออกแบบมาอย่างเท่าเทียมกัน

เลขที่สาเหตุการอนุมานเป็นพื้นที่ที่ใช้งานของการวิจัยในการเรียนรู้ของเครื่องเช่นดูการดำเนินการของนี้การประชุมเชิงปฏิบัติการและหนึ่งในนี้ อย่างไรก็ตามฉันจะชี้ให้เห็นว่าแม้ว่าการอนุมานเชิงสาเหตุหรือการตีความแบบจำลองเป็นความสนใจหลักของคุณก็ยังเป็นความคิดที่ดีที่จะลองใช้วิธีการทำนายแบบทึบแสงแบบขนานในแบบคู่ขนานดังนั้นคุณจะรู้ว่ามีการลงโทษที่สำคัญ โมเดลที่ตีความได้

ฉันจะไม่ทำซ้ำคะแนนที่ดีมากที่ทำไว้แล้วในคำตอบอื่น ๆ แต่ต้องการเพิ่มมุมมองที่แตกต่างกันบ้าง สิ่งที่ฉันพูดที่นี่เป็นปรัชญาค่อนข้างไม่จำเป็นต้องมาจากประสบการณ์ระดับมืออาชีพ แต่จากภูมิหลังที่หลากหลายในวิทยาศาสตร์กายภาพทฤษฎีระบบที่ซับซ้อนและการเรียนรู้ของเครื่อง (และฉันต้องยอมรับสถิติระดับปริญญาตรีส่วนใหญ่)

ความแตกต่างที่สำคัญอย่างหนึ่งระหว่างการเรียนรู้ของเครื่องและวิธีการทางสถิติแบบดั้งเดิม (ที่ฉันรู้) อยู่ในชุดของสมมติฐานที่ทำขึ้น ในสถิติแบบดั้งเดิมสมมติฐานจำนวนมากเกี่ยวกับกระบวนการพื้นฐานและการแจกแจงได้รับการแก้ไขและมีแนวโน้มที่จะได้รับอนุญาต อย่างไรก็ตามในการเรียนรู้ของเครื่องสมมติฐานเหล่านี้จะถูกเลือกอย่างชัดเจนสำหรับแต่ละโมเดลส่งผลให้เกิดความเป็นไปได้ที่กว้างขึ้นและอาจทำให้มีการรับรู้มากขึ้นเกี่ยวกับการตั้งสมมติฐาน

เราเห็นมากขึ้นเรื่อย ๆ ว่าระบบในโลกรอบตัวเรามีพฤติกรรมที่ซับซ้อนไม่เป็นเส้นตรงและกระบวนการจำนวนมากไม่ปฏิบัติตามข้อสันนิษฐานเกี่ยวกับภาวะปกติ ฯลฯ โดยทั่วไปจะปรากฏในสถิติแบบดั้งเดิม ฉันจะเถียงว่าเนื่องจากความยืดหยุ่นและความหลากหลายของรูปแบบสมมติฐานวิธีการเรียนรู้ของเครื่องมักจะนำไปสู่รูปแบบที่แข็งแกร่งมากขึ้นในกรณีเช่นนี้

มีสมมุติฐานที่แข็งแกร่งของตัวแบบในวลีเช่น "ขนาดของผล", "ความสัมพันธ์เชิงสาเหตุ" และ "ระดับที่ตัวแปรหนึ่งมีผลต่อผลลัพธ์" ในระบบที่ซับซ้อน (เช่นเศรษฐกิจ) สมมติฐานเหล่านี้จะใช้ได้ภายในหน้าต่างที่ระบุสถานะระบบที่เป็นไปได้เท่านั้น ด้วยบางสิ่งที่สามารถสังเกตได้และกระบวนการหน้าต่างนี้อาจมีขนาดใหญ่นำไปสู่รูปแบบที่ค่อนข้างแข็งแกร่ง กับคนอื่น ๆ มันอาจจะเล็กหรือเปล่า บางทีอันตรายที่ยิ่งใหญ่ที่สุดคือพื้นที่ตรงกลาง: แบบจำลองอาจทำงานได้ แต่เมื่อระบบเปลี่ยนระบบล้มเหลวในทันทีและน่าประหลาดใจ

การเรียนรู้ของเครื่องไม่ใช่ยาครอบจักรวาล แต่ฉันเห็นว่าเป็นการค้นหาวิธีการใหม่ในการรวบรวมความหมายจากการสังเกตของเราการค้นหากระบวนทัศน์ใหม่ที่จำเป็นหากเราต้องจัดการอย่างมีประสิทธิภาพด้วยความซับซ้อนที่เราเริ่มรับรู้ในโลกรอบตัวเรา