ถ้าฉันต้องการโมเดลที่ตีความได้มีวิธีอื่นนอกเหนือจาก Linear Regression หรือไม่?

18

ฉันพบนักสถิติบางคนที่ไม่เคยใช้แบบจำลองอื่นนอกจากการถดถอยเชิงเส้นเพื่อการทำนายเพราะพวกเขาเชื่อว่า "โมเดล ML" เช่นฟอเรสต์แบบสุ่มหรือการเพิ่มระดับความลาดชันนั้นยากที่จะอธิบายหรือ "ไม่สามารถตีความได้"

ในการถดถอยเชิงเส้นเนื่องจากชุดของสมมติฐานได้รับการตรวจสอบแล้ว (ความเป็นปกติของข้อผิดพลาด, homoskedasticity, ไม่มีหลาย collinearity), การทดสอบ t มีวิธีการทดสอบความสำคัญของตัวแปร, การทดสอบที่ความรู้ของฉันไม่สามารถใช้ได้ใน ฟอเรสต์แบบสุ่มหรือการส่งเสริมการไล่ระดับสี

ดังนั้นคำถามของฉันคือถ้าฉันต้องการสร้างแบบจำลองตัวแปรตามด้วยชุดของตัวแปรอิสระเพื่อประโยชน์ในการตีความฉันควรใช้การถดถอยเชิงเส้นเสมอ?

— ผู้มีชัย
แหล่งที่มา

6

ขึ้นอยู่กับสิ่งที่คุณยังคงพิจารณาเชิงเส้น โมเดลเชิงเส้นทั่วไปและโมเดลเสริมทั่วไปยังคงทำงานบนพื้นฐานขององค์ประกอบเชิงเส้นที่ถูกประเมิน แต่สามารถสร้างแบบจำลองความสัมพันธ์ที่หลากหลาย

— Frans Rodenburg

2

ยังขึ้นอยู่กับสิ่งที่คุณหมายถึงโดยตีความได้ มีการนำเสนอวิธีการต่าง ๆ ของ 'peering ในกล่องดำ' สำหรับโมเดลการเรียนรู้ของเครื่อง แต่อาจหรืออาจจะไม่เหมาะสมกับเป้าหมายของคุณ

— user20160

5

ฉันไม่ค่อยเห็นสถิติเชิงอนุมานและการทดสอบ t เกี่ยวกับความสามารถในการตีความซึ่ง IMO ส่วนใหญ่เกี่ยวกับการประมาณค่าสัมประสิทธิ์

— S. Kolassa - Reinstate Monica

3

@StephanKolassa "Interretability" สามารถเกี่ยวข้องกับฟอร์มการทำงานได้ ยกตัวอย่างเช่นค่าสัมประสิทธิ์การประมาณการผลิตโดยอัลกอริทึมเศษส่วนกระชับโค้งพหุนามในรูปแบบการถดถอย (ไม่ว่าจะ regresion เชิงเส้น GLM หรือสิ่งอื่น) ในขณะที่การได้รับความสุขแบบที่เกือบจะแน่นอนต่อต้านที่ใช้งานง่าย: คุณสามารถโทรหาใจอาร์เรย์ของรูปทรงที่ผลิต โดยรูปแบบของแบบฟอร์ม

และตีความความสัมพันธ์ระหว่าง

และ

มีนัยโดยการประมาณค่าสัมประสิทธิ์ของคุณหรือไม่

y_{i} = β_{0} + β_{1} x_{i}^{- 3 / 5} + β_{2} x_{i}^{1 / 3} + β_{3} x_{i}^{3} + ε_{i}

$y_{i}=\beta_{0} + \beta_{1}x_{i}^{-3/5} + \beta_{2}x_{i}^{1/3} + \beta_{3}x_{i}^{3} + \varepsilon_{i}$

y

$y$

x

$x$

— Alexis

2

@UserX สิ่งที่คุณอธิบายยังคงเป็นการถดถอยเชิงเส้น (เช่นเป็นเชิงเส้นในพารามิเตอร์) คมชัด

กับ

: อดีตเป็นรูปแบบการถดถอยเชิงเส้นในขณะที่ หลังไม่สามารถประมาณได้โดยใช้การถดถอยเชิงเส้น

y_{i} = β_{0} + β_{1} x_{i} + β_{2} x_{i}^{2} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + \beta_{2}x_{i}^{2} + \varepsilon_{i}$

y_{i} = β_{0} + β_{1} x_{i} + x_{i}^{β_{2}} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + x_{i}^{\beta_{2}} +\varepsilon_{i}$

— อเล็กซิส

29

มันยากสำหรับฉันที่จะเชื่อว่าคุณได้ยินคนพูดถึงเรื่องนี้เพราะมันจะเป็นเรื่องโง่ที่จะพูด มันเหมือนกับว่าคุณใช้ค้อนเพียงอย่างเดียว (รวมถึงการเจาะรูและการเปลี่ยนหลอดไฟ) เพราะมันใช้งานได้ง่ายและให้ผลลัพธ์ที่คาดเดาได้

ประการที่สองการถดถอยเชิงเส้นไม่ใช่ "ตีความ" ได้เสมอไป หากคุณมีโมเดลการถดถอยเชิงเส้นที่มีคำพหุนามจำนวนมากหรือมีคุณสมบัติมากมายมันยากที่จะตีความ ตัวอย่างเช่นสมมติว่าคุณใช้ค่าดิบของแต่ละพิกเซล 784 จากMNIST †เป็นคุณสมบัติ จะรู้ว่าพิกเซล 237 มีน้ำหนักเท่ากับ -2311.67 บอกอะไรเกี่ยวกับรูปแบบ? สำหรับข้อมูลภาพการดูแผนที่การเปิดใช้งานของเครือข่ายประสาทเทียมจะง่ายต่อการเข้าใจ

ในที่สุดก็มีรูปแบบที่สามารถตีความได้อย่างเท่าเทียมกันเช่นการถดถอยโลจิสติกต้นไม้ตัดสินใจอัลกอริทึมไร้เดียงสาเบย์

† - ตามที่สังเกตโดย @Ingolifs ในความคิดเห็นและตามที่กล่าวถึงในหัวข้อนี้ MNIST อาจไม่ใช่ตัวอย่างที่ดีที่สุดเนื่องจากนี่เป็นชุดข้อมูลที่ง่ายมาก สำหรับชุดข้อมูลภาพที่สมจริงส่วนใหญ่การถดถอยโลจิสติกจะไม่ทำงานและการดูที่น้ำหนักจะไม่ให้คำตอบที่ตรงไปตรงมา อย่างไรก็ตามหากคุณดูน้ำหนักของด้ายที่เชื่อมโยงอย่างใกล้ชิดการตีความของมันก็ไม่ตรงไปตรงมาเช่นน้ำหนักสำหรับการทำนาย "5" หรือ "9" ไม่แสดงรูปแบบที่ชัดเจน (ดูภาพด้านล่างคัดลอกมาจากกระทู้อื่น )

— ทิม
แหล่งที่มา

2

คำตอบนี้ฉันคิดว่าเป็นงานที่ดีที่แสดงให้เห็นว่าสามารถอธิบายการถดถอยโลจิสติกส์ของ MNIST ได้อย่างชัดเจน

— Ingolifs

1

@Ingolifs เห็นด้วย แต่นี่เป็นแผนที่เปิดใช้งานคุณสามารถทำเช่นเดียวกันสำหรับเครือข่ายประสาท

— ทิม

โดยไม่คำนึงถึงสิ่งที่เรียกว่ามันให้คำอธิบายที่ชัดเจนเกี่ยวกับการถดถอยโลจิสติกที่ใช้ในการตัดสินใจในแบบที่คุณไม่ได้รับจริงสำหรับแผนที่เปิดใช้งานของเครือข่ายประสาท

— Ingolifs

1

@Ingolifs MNIST อาจไม่ใช่ตัวอย่างที่ดีที่สุดเพราะมันง่ายมาก แต่ประเด็นก็คือคุณต้องใช้วิธีการเดียวกันสำหรับเครือข่ายประสาท

— ทิม

11

ต้นไม้การตัดสินใจจะเป็นอีกทางเลือกหนึ่ง หรือ Lasso Regression เพื่อสร้างระบบกระจาย

ตรวจสอบภาพนี้จากหนังสือ การเรียนรู้เชิงสถิติ http://www.sr-sv.com/wp-content/uploads/2015/09/STAT01.png

— ไห่เทาดู
แหล่งที่มา

หนังสือ "ISL" คืออะไร

— donlan

1

@donlan amazon.com/ขอบคุณสำหรับคำตอบที่ได้รับการแก้ไข

— Haitao Du

ไม่มีปัญหา! กำลังจะดูมันหลังจากอ่านกระทู้นี้

— ดอน

7

ฉันจะโกรธกับคำตอบของ Tim และ mkt - ML model ไม่จำเป็นต้องตีความไม่ได้ ฉันจะพาคุณไปที่Descriptive mAchine Learning EXplanationsแพคเกจDALEX R ซึ่งอุทิศให้กับการสร้างแบบจำลอง ML ที่สามารถตีความได้

— babelproofreader
แหล่งที่มา

1

แพ็คเกจ DALEX นั้นน่าสนใจมาก ๆ คุณรู้หรือเปล่าว่ามีบางสิ่งที่คล้ายกันสำหรับ Python อยู่?

— วิกเตอร์

@Victor ฉันไม่รู้จัก DALEX รุ่น Python แต่คุณสามารถลองโทร R จาก Python โดยใช้rpy2.readthedocs.io/en/version_2.8.x/introduction.htmlตัวอย่าง

— babelproofreader

6

ไม่นั่นเป็นข้อ จำกัด ที่ไม่จำเป็น มีโมเดลที่สามารถตีความได้หลายแบบรวมถึงแบบจำลองเชิงเส้น (ไม่เพียง แต่เป็น Frans Rodenburg พูดว่า) แบบจำลองเชิงเส้นทั่วไปและแบบจำลองการเติมทั่วไป ฉันรวมฟอเรสต์แบบสุ่มเครื่องเพิ่มระดับความลาดชันเครือข่ายประสาทและอื่น ๆ เพียงเพราะคุณไม่ได้รับค่าสัมประสิทธิ์จากโมเดลการเรียนรู้ของเครื่องที่คล้ายกับที่ได้จากการถดถอยเชิงเส้นไม่ได้หมายความว่างานของพวกเขาไม่สามารถเข้าใจได้ ใช้เวลาทำงานอีกเล็กน้อย

จะเข้าใจว่าทำไมผมอยากแนะนำให้อ่านคำถามนี้ได้รับความรู้จากป่าสุ่ม สิ่งที่แสดงให้เห็นคือวิธีที่คุณสามารถทำให้รูปแบบการเรียนรู้ด้วยเครื่องเกือบตีความได้

— mkt - Reinstate Monica
แหล่งที่มา