ข้อกำหนดการโต้ตอบทั้งหมดต้องการคำศัพท์เฉพาะในรูปแบบการถดถอยหรือไม่

68

ฉันกำลังทบทวนต้นฉบับที่ผู้เขียนเปรียบเทียบแบบจำลองการถดถอยโลจิท 5-6 กับ AIC อย่างไรก็ตามบางรุ่นมีเงื่อนไขการใช้ร่วมกันโดยไม่รวมถึงข้อกำหนด covariate แต่ละรายการ มันสมเหตุสมผลไหมที่จะทำสิ่งนี้?

ตัวอย่างเช่น (ไม่เฉพาะสำหรับรุ่น logit):

M1: Y = X1 + X2 + X1*X2
M2: Y = X1 + X2
M3: Y = X1 + X1*X2 (missing X2)
M4: Y = X2 + X1*X2 (missing X1)
M5: Y = X1*X2 (missing X1 & X2)

ฉันอยู่ภายใต้ความประทับใจเสมอว่าหากคุณมีคำศัพท์โต้ตอบระหว่าง X1 * X2 คุณต้องมี X1 + X2 ด้วย ดังนั้นโมเดลที่ 1 และ 2 จะใช้ได้ แต่โมเดล 3-5 จะมีปัญหา (แม้ว่า AIC จะต่ำกว่า) ถูกต้องหรือไม่ มันเป็นกฎหรือมากกว่าแนวทาง? ใครบ้างมีการอ้างอิงที่ดีที่อธิบายเหตุผลหลังนี้หรือไม่ ฉันแค่ต้องการให้แน่ใจว่าฉันไม่ได้สื่อสารสิ่งที่สำคัญในรีวิว

ขอบคุณสำหรับความคิดใด ๆ Dan

— djhocking
แหล่งที่มา

8

+1 ฉันคิดว่านี่เป็นคำถามที่ดีจริงๆ คุณอาจต้องการตรวจสอบคำถามก่อนหน้านี้ที่ครอบคลุมพื้นที่ส่วนใหญ่เดียวกัน คำตอบก็ยอดเยี่ยมเช่นกัน

— gung - Reinstate Monica

คำตอบที่ดีมากมายแล้ว มีกระดาษจาก Rindskopfในบางกรณีที่คุณไม่ต้องการผลกระทบหลัก (โปรดดูภาพนี้ )

— Peter Flom

3

AFAIK: ใน R's lm () ใช้:สำหรับการโต้ตอบเช่นเดียวกับใน A: B และ*สำหรับทั้งเอฟเฟ็กต์หลักและการโต้ตอบดังนั้น A * B = A + B + A: B ดังนั้นถ้า (!) ผู้เขียนบทความตามสัญกรณ์นี้ฉันไม่คิดว่ารูปแบบใดจะหายไปจากผลกระทบที่เกิดขึ้นจริงเหรอ?

— Zhubarb

นอกจากนี้ตรรกะเดียวกันกับคำตอบปัจจุบันจะใช้กับการโต้ตอบคำสั่งซื้อที่สูงขึ้น (เช่นคุณต้องการการโต้ตอบ 2 ทางทั้งหมดหากคุณรวม 3 วิธี)

— Peter Flom

38

ส่วนใหญ่เวลานี้เป็นความคิดที่ไม่ดี - เหตุผลหลักคือมันไม่ทำให้โมเดลไม่เปลี่ยนแปลงไปตามการเปลี่ยนตำแหน่ง ตัวอย่างเช่นสมมติว่าคุณมีผลลัพธ์เดียวและตัวทำนายสองตัวและและระบุรูปแบบ: $y_i$ $x_i$ $z_i$

y_{i} = β_{0} + β_{1} x_{i} z_{i} + ε

$y_i = \beta_0 + \beta_1 x_{i} z_i + \varepsilon$

หากคุณตั้งไว้ที่กึ่งกลางของตัวทำนายโดยจะกลายเป็น $x_i z_i$

(x_{i} - \bar{x}) (z_{i} - \bar{z}) = x_{i} z_{i} - x_{i} \bar{z} - z_{i} \bar{x} + \bar{x} \bar{z}

$(x_i - \overline{x})(z_i - \overline{z}) = x_i z_i - x_{i} \overline{z} - z_{i} \overline{x} + \overline{x} \overline{z}$

ดังนั้นคุณจะเห็นได้ว่าเอฟเฟ็กต์หลักได้รับการแนะนำให้รู้จักกับโมเดล

ฉันได้โต้แย้งฮิวริสติกที่นี่ แต่สิ่งนี้นำเสนอปัญหาในทางปฏิบัติ ดังที่ระบุไว้ในFaraway (2005)ในหน้า 114 การเปลี่ยนแปลงเพิ่มเติมในสเกลเปลี่ยนการอนุมานโมเดลเมื่อเอฟเฟกต์หลักถูกปล่อยออกจากโมเดลในขณะที่สิ่งนี้จะไม่เกิดขึ้นเมื่อรวมคำสั่งซื้อที่ต่ำลง โดยทั่วไปแล้วสิ่งที่ไม่พึงประสงค์คือการเปลี่ยนตำแหน่งโดยพลการเช่นการเปลี่ยนตำแหน่งทำให้เกิดการเปลี่ยนแปลงพื้นฐานในการอนุมานเชิงสถิติ (และดังนั้นข้อสรุปของคำถามของคุณ) ซึ่งสามารถเกิดขึ้นได้เมื่อคุณใส่คำพหุนามหรือการโต้ตอบในแบบจำลอง

หมายเหตุ:อาจจะมีสถานการณ์พิเศษที่คุณจะต้องการที่จะรวมการปฏิสัมพันธ์ถ้ามีความหมายบางอย่างที่สำคัญโดยเฉพาะอย่างยิ่งหรือถ้าคุณเพียงสังเกตผลิตภัณฑ์และไม่ได้เป็นตัวแปรแต่ละz_i แต่ในกรณีนั้นเราอาจคิดว่าตัวทำนายและดำเนินการกับแบบจำลองต่อไป $x_i z_i$ $x_i, z_i$ $a_i = x_i z_i$

y_{i} = α_{0} + α_{1} a_{i} + ε_{i}

$y_i = \alpha_0 + \alpha_1 a_i + \varepsilon_i$

แทนที่จะคิดว่าเป็นคำที่ใช้โต้ตอบกัน $a_i$

— มาโคร
แหล่งที่มา

additive change in scale changes the inference (the t -statistics) for all but the highest order terms when any lower order terms are left out of the model

การเปลี่ยนแปลงของสารเติมแต่งทำนายโดยทั่วไปการเปลี่ยนแปลงทีของผลกระทบหลักของพวกเขา (ข้อตกลงการสั่งซื้อที่ต่ำกว่า) แม้จะอยู่ในรูปแบบเต็มรูปแบบ มันคือความพอดีโดยรวม (R ^ 2) ที่เก็บรักษาไว้ (แต่ไม่ได้รับการเก็บรักษาไว้ภายใต้การเปลี่ยนแปลงเพิ่มเติมในแบบจำลองที่มีเอฟเฟกต์หลักลดลง) นั่นคือสิ่งที่คุณต้องการจะพูด?

— ttnphns

ใช่นั่นคือ @ttnphns ที่ถูกต้อง - ขอบคุณที่ชี้ให้เห็นว่า - ฉันได้แก้ไขคำตอบของฉันเล็กน้อยเพื่อสะท้อนถึงสิ่งนี้

— มาโคร

28

คำตอบทั้งหมดดูเหมือนจะพลาดจุดพื้นฐานไปแล้ว: รูปแบบการทำงานที่คุณเลือกควรยืดหยุ่นพอที่จะจับภาพคุณสมบัติที่เกี่ยวข้องกับวิทยาศาสตร์ แบบจำลอง 2-5 กำหนดค่าสัมประสิทธิ์เป็นศูนย์ในบางคำศัพท์โดยไม่มีเหตุผลทางวิทยาศาสตร์ และแม้ว่าจะเป็นเหตุผลทางวิทยาศาสตร์ แต่รุ่น 1 ยังคงน่าสนใจเพราะคุณอาจทดสอบค่าสัมประสิทธิ์เป็นศูนย์แทนการกำหนด

กุญแจสำคัญคือการเข้าใจว่าข้อ จำกัด หมายถึงอะไร การตักเตือนโดยทั่วไปเพื่อหลีกเลี่ยงโมเดล 3-5 นั้นเป็นเพราะในแอปพลิเคชันส่วนใหญ่ข้อสันนิษฐานที่พวกเขากำหนดนั้นไม่น่าเชื่อถือทางวิทยาศาสตร์ โมเดล 3 สมมติว่า X2 มีผลต่อความชัน dY / dX1 เท่านั้น แต่ไม่ใช่ระดับ โมเดล 4 สมมติว่า X1 มีผลต่อความชัน dY / dX2 เท่านั้น แต่ไม่ใช่ระดับ และ Model 5 จะถือว่าทั้ง X1 และ X2 ไม่ส่งผลกระทบต่อระดับ แต่เฉพาะ dY / dX1 หรือ dY / dX2 ในแอปพลิเคชันส่วนใหญ่สมมติฐานเหล่านี้ดูเหมือนจะไม่สมเหตุสมผล รุ่น 2 ยังกำหนดค่าสัมประสิทธิ์เป็นศูนย์ แต่ก็ยังมีข้อดีอยู่บ้าง มันให้การประมาณเชิงเส้นที่ดีที่สุดกับข้อมูลซึ่งในหลาย ๆ กรณีเป็นไปตามเป้าหมายทางวิทยาศาสตร์

— อุโมงค์
แหล่งที่มา

5

(+1) ทั้งหมดนี้เป็นจริง แต่โปสเตอร์ต้นฉบับดูเหมือนจะอธิบายสถานการณ์ที่ผู้เขียนพยายามทำการเลือกแบบจำลองและแบบจำลองผู้สมัครบางส่วนเป็นแบบที่ไม่มีการโต้ตอบดังนั้น AIC จึงเป็นแรงจูงใจ มากกว่าสิ่งที่สำคัญ (ซึ่งมักจะเป็นสิ่งอันตรายที่ต้องทำ แต่เห็นได้ชัดว่าพวกเขาได้ทำมัน) เมื่อคุณได้รับคำแนะนำจากสิ่งที่สำคัญโครงสร้างของแบบจำลองควรถูกกำหนดโดยสิ่งนั้น แต่เมื่อคุณได้รับคำแนะนำจากเกณฑ์ทางสถิติการละเอฟเฟ็กต์หลักอาจมีคุณสมบัติที่ไม่ดีดังที่ฉันได้ระบุไว้ในคำตอบของฉัน

— มาโคร

16

+1 ถึง @Macro ให้ฉันนำสิ่งที่ฉันคิดว่าเป็นประเด็นที่คล้ายกันซึ่งเกี่ยวข้องกับเมื่อคุณมีตัวพยากรณ์เชิงหมวดหมู่ จำนวนมากจะขึ้นอยู่กับวิธีที่พวกเขาได้รับการเข้ารหัส ตัวอย่างเช่นการอ้างอิงเซลล์ (aka, 'ดัมมี่') การเข้ารหัสใช้ 0 & 1 ในขณะที่เอฟเฟ็กต์การเข้ารหัสใช้ -1, 0 & 1 พิจารณากรณีง่าย ๆ ด้วยสองปัจจัยที่มีสองระดับแต่ละระดับจากนั้น $x_1x_2$ อาจเป็น [0, 0, 0, 1] หรือ [1, -1, -1, 1] ขึ้นอยู่กับรูปแบบการเข้ารหัสที่ใช้ ฉันเชื่อว่าเป็นไปได้ที่จะมีสถานการณ์ที่มีปฏิสัมพันธ์เพียงอย่างเดียวคือ 'สำคัญ' ด้วยรูปแบบการเข้ารหัสหนึ่งครั้ง แต่เงื่อนไขทั้งหมดเป็น 'สำคัญ' โดยใช้รูปแบบอื่น นี่ก็หมายความว่าการตัดสินใจตีความหมายที่มีความหมายจะทำขึ้นอยู่กับการตัดสินใจเข้ารหัสโดยพลการซึ่งในความเป็นจริงซอฟต์แวร์ของคุณอาจทำเพื่อคุณโดยที่คุณไม่รู้ ฉันรู้ว่านี่เป็นจุดเล็ก ๆ แต่เป็นอีกเหตุผลหนึ่งที่โดยทั่วไปแล้วไม่ใช่ความคิดที่ดีที่จะเก็บเฉพาะการโต้ตอบ (และไม่เลือกชุดย่อยของตัวทำนายตามค่า p แน่นอน)

— gung - Reinstate Monica
แหล่งที่มา

1

การทดสอบความสำคัญของเอฟเฟ็กต์หลักอย่างชัดเจนไม่ได้มีค่าคงที่ กลุ่มอาจแตกต่างอย่างมีนัยสำคัญจากกลุ่มอ้างอิงภายใต้การเข้ารหัสการรักษา แต่ไม่ได้มาจากผลกระทบ "แกรนด์เฉลี่ย" ภายใต้การเข้ารหัสตรงกันข้าม

— ความน่าจะเป็นที่เป็นไปได้

10

เนื่องจากคุณกำลังตรวจสอบกระดาษคุณอาจแนะนำให้ผู้เขียนหารือเกี่ยวกับปัญหาของลำดับชั้นแบบจำลองและปรับการออกจากพวกเขา

นี่คือบางส่วนอ้างอิง:

Nelder JA การเลือกคำศัพท์ในแบบจำลองการตอบสนองพื้นผิว - หลักการทางพันธุกรรมที่อ่อนแอเป็นอย่างไร? นักสถิติชาวอเมริกัน 1998; 52: 315-8 http://www.jstor.org/pss/2685433 เข้าใช้ 10 มิถุนายน 2010
Peixoto JL การเลือกตัวแปรตามลำดับชั้นในตัวแบบการถดถอยพหุนาม นักสถิติชาวอเมริกัน 1987; 41: 311-3 http://www.jstor.org/pss/2684752 เข้าใช้ 10 มิถุนายน 2010
Peixoto JL คุณสมบัติของตัวแบบการถดถอยพหุนาม นักสถิติชาวอเมริกัน 1990; 44: 26-30 http://www.jstor.org/pss/2684952 เข้าใช้ 10 มิถุนายน 2010

ฉันมักจะทำตามลำดับชั้น แต่ออกจากมันในบางสถานการณ์ ตัวอย่างเช่นหากคุณกำลังทดสอบการสึกหรอของยางกับระยะทางด้วยความเร็วที่แตกต่างกันโมเดลของคุณอาจมีลักษณะดังนี้:

ความลึกของดอกยาง = สกัดกั้น + ไมล์สะสม + ไมล์สะสม * ความเร็ว

แต่มันจะไม่สมเหตุสมผลที่จะรวมถึงเอฟเฟ็กต์หลักของความเร็วเพราะยางไม่ทราบว่าความเร็วจะอยู่ที่ศูนย์ไมล์

(ในทางกลับกันคุณอาจต้องการทดสอบเอฟเฟกต์ความเร็วเพราะมันอาจบ่งบอกว่าเอฟเฟกต์ "break-in" แตกต่างกันด้วยความเร็วที่ต่างกันในทางกลับกันวิธีที่ดีกว่าในการจัดการกับการเจาะ รับข้อมูลที่ศูนย์และระยะทางที่ต่ำมากจากนั้นทดสอบสำหรับการไม่เป็นเชิงเส้นโปรดทราบว่าการลบคำดักจับอาจถือได้ว่าเป็นกรณีพิเศษของการละเมิดลำดับชั้น)

ฉันจะย้ำสิ่งที่คนพูดข้างต้นเพราะมันสำคัญมาก: ผู้แต่งต้องทำให้แน่ใจว่าพวกเขารู้ว่าซอฟต์แวร์อยู่ตรงกลางของข้อมูลหรือไม่ แบบจำลองยางด้านบนจะไร้ความหมายทางร่างกายหากซอฟต์แวร์แทนที่ระยะด้วย (ระยะทาง - ค่าเฉลี่ยระยะทาง)

สิ่งต่าง ๆ ที่เกี่ยวข้องในการศึกษาความคงตัวของยา (กล่าวถึงใน "แบบจำลองเสถียรภาพสำหรับการจัดเก็บตามลำดับ", Emil M. Friedman และ Sam C. Shum, AAPS PharmSciTech, Vol. 12, ฉบับที่ 1, มีนาคม 2011, DOI: 10.1208 / s12249-010-9558-x)

— เอมิลฟรีดแมน
แหล่งที่มา

1

ขอบคุณนี่เป็นคำตอบที่ดีและจะช่วยฉันอธิบายให้คนที่ไม่เข้าใจในเชิงสถิติ

— djhocking

1

+1 ฉันหวังว่ามันจะเป็นไปได้ที่จะรวมคำตอบใน SO คำตอบที่ได้รับการยอมรับด้านบนนี้เป็นคำตอบที่สมบูรณ์แบบ

— Zhubarb

9

ฉันมีกรณีจริงที่อธิบายสิ่งนี้ ในข้อมูลหนึ่งในตัวแปรที่แสดงgroupด้วย 0-control และ 1-treatment ทำนายอื่น ๆ แสดงtime periodด้วย 0- ก่อนการรักษาและ 1- หลังการรักษา ปฏิสัมพันธ์เป็นตัวแปรหลักของการวัดความสนใจผลของการรักษาความแตกต่างหลังการรักษาในกลุ่มการรักษาเหนือผลกระทบใด ๆ ของเวลาที่วัดในกลุ่มควบคุม ผลกระทบหลักจากgroupวัดความแตกต่างใน 2 กลุ่มก่อนการรักษาใด ๆ ดังนั้นจึงอาจเป็น 0 ได้อย่างง่ายดาย (ในการทดลองแบบสุ่มควรเป็น 0 ซึ่งไม่ได้เป็นกลุ่มนี้) ผลกระทบหลักที่ 2 วัดความแตกต่างระหว่างช่วงเวลาก่อนและหลังเวลาในกลุ่มควบคุมที่ไม่มีการรักษาดังนั้นจึงเหมาะสมที่จะเป็น 0 ในขณะที่คำศัพท์โต้ตอบไม่เป็นศูนย์ ของหลักสูตรนี้ขึ้นอยู่กับว่าสิ่งต่าง ๆ ได้รับการเข้ารหัสอย่างไรและการเข้ารหัสที่แตกต่างกันจะเปลี่ยนความหมายและไม่ว่าการโต้ตอบจะสมเหตุสมผลหรือไม่โดยไม่มีผลกระทบหลัก ดังนั้นจึงเหมาะสมกับการโต้ตอบโดยไม่มีผลกระทบหลักในบางกรณีเท่านั้น

— เกร็กสโนว์
แหล่งที่มา

ดังนั้นคุณหมายความว่ามันทั้งหมดขึ้นอยู่กับวัตถุประสงค์ของการศึกษาหรือตามพารามิเตอร์ของคุณหรือไม่

— Ben

1

@Ben มันขึ้นอยู่กับว่าคุณปรับพารามิเตอร์ตัวแปรของคุณอย่างไร (ในตัวอย่างของฉันการเปลี่ยน 0/1 เป็น 1/0 สำหรับตัวแปรใดตัวแปรหนึ่งจะเปลี่ยนการตีความ) และคำถามใดที่คุณพยายามตอบและสมมติฐานที่คุณยินดีทำ .

— Greg Snow

ขอบคุณสำหรับการตอบกลับของคุณ. ฉันมีปฏิสัมพันธ์สองทางและต้องการโต้ตอบกับหุ่นจำลอง ฉันแค่ต้องการประเมินปี 2008 (ปีระเบียบ) ในการโต้ตอบสองทาง ดังนั้นการใช้ X & Z เป็นตัวแปรต่อเนื่อง Z คือการจัดอันดับกฎระเบียบ ปี 2551 ได้คะแนน 1 และ 0 สำหรับปีอื่น ๆ มันก็เหมือนกับว่าฉันเพิ่งจะสังเกตการณ์ของปี 2008 โดยไม่ต้องมีปฏิสัมพันธ์ ฉันอ่านเกี่ยวกับหลักการทางพันธุกรรมที่อ่อนแอและแข็งแกร่ง แต่ไม่เข้าใจชัดเจน

Y = B_{0} + B_{1} X + B_{2} Z + B_{3} X * Z * 2008 + y e a r d u m m i e s

$Y= B_0+B_1 X+B_2 Z+B_3X*Z*2008+yeardummies$

— เบ็น

1

@Ben เป็นไปได้อย่างแน่นอนที่จะติดตั้งโมเดลด้านบนซึ่งโดยทั่วไปบอกว่าคุณคิดว่ามีการโต้ตอบ (หรืออาจจะ) ในปี 2008 แต่ไม่ใช่ในปีอื่น ๆ หากคุณมีเหตุผลสำหรับเรื่องนี้ฉันคิดว่าแบบจำลองนั้นดี แต่มันก็เป็นข้อสันนิษฐานที่ผิดปกติมากพอที่คุณจะต้องพิสูจน์เรื่องนี้กับผู้ชมทุกคน

— Greg Snow

ขอบคุณมากที่เป็นประโยชน์ มันโอเคที่จะเปรียบเทียบผลลัพธ์ของการโต้ตอบกับแม้ว่านั้นจะมีทั้งช่วงเวลาและการโต้ตอบนั้นมีเฉพาะสำหรับปี 2008

B 1 X

$B1X$

B 1 X

$B1X$

— Ben

7

ฉันเห็นด้วยกับปีเตอร์ ฉันคิดว่ากฎเป็นคติชน เหตุใดเราจึงเข้าใจสถานการณ์ที่ตัวแปรสองตัวมีผลกระทบต่อโมเดลเนื่องจากการโต้ตอบเท่านั้น การเปรียบเทียบทางเคมีก็คือสารเคมีสองชนิดนั้นมีความเฉื่อย แต่เพียงอย่างเดียว แต่ก่อให้เกิดการระเบิดเมื่อผสมเข้าด้วยกัน นักคณิตศาสตร์ / สถิติอย่าง invariance ไม่มีส่วนเกี่ยวข้องกับปัญหาจริงของข้อมูลจริง ฉันแค่คิดว่าเมื่อมีตัวแปรมากมายที่ต้องพิจารณามีการทดสอบที่น่ากลัวมากมายที่ต้องทำหากคุณจะดูลักษณะพิเศษหลักทั้งหมดและส่วนใหญ่ถ้าไม่ใช่การโต้ตอบลำดับแรกทั้งหมด เราแทบไม่เคยดูการโต้ตอบลำดับที่สองแม้ในการทดลองขนาดเล็กที่มีเพียงไม่กี่ตัวเท่านั้น ความคิดก็คือยิ่งลำดับการปฏิสัมพันธ์สูงเท่าไรก็ยิ่งมีโอกาสน้อยเท่านั้นที่จะมีผลกระทบที่แท้จริง ดังนั้นอย่า ไม่ดูการโต้ตอบคำสั่งซื้อครั้งแรกหรือครั้งที่สองหากไม่มีผลกระทบหลัก อาจมีกฎที่ดี แต่ต้องปฏิบัติตามอย่างเคร่งครัดนั่นหมายถึงการมองข้ามข้อยกเว้นและปัญหาของคุณอาจเป็นข้อยกเว้น

— Michael Chernick
แหล่งที่มา

8

Re: "คณิตศาสตร์ / สถิติอย่าง invariance ไม่มีส่วนเกี่ยวข้องกับปัญหาจริงของข้อมูลจริง" - มันไม่เกี่ยวข้องกับปัญหาจริงกับข้อมูลจริงเมื่อ value ของคุณและการอนุมานทางสถิติของคุณ (และดังนั้น " การตัดสินใจในโลกแห่งความเป็นจริง "เกี่ยวกับความสำคัญของตัวพยากรณ์), สามารถขึ้นอยู่กับบางสิ่งบางอย่างตามอำเภอใจเช่นเดียวกับการตัดสินใจที่จะตั้งศูนย์ทำนายของคุณ

p

$p$

— มาโคร

1

ฉันอาจจะพูดผิดว่าค่าคงที่ไม่มีความเกี่ยวข้องในโลกแห่งความเป็นจริง จุดประสงค์ของฉันคือว่าผลลัพธ์ทางคณิตศาสตร์บางอย่างอาจไม่เกี่ยวข้องในปัญหาการปฏิบัติเฉพาะ เป็นตัวอย่างอย่างน้อยการประมาณกำลังสองคือความน่าจะเป็นสูงสุดภายใต้สมมติฐานข้อผิดพลาดปกติและโดยทฤษฎีของ Gauss Markov คือความแปรปรวนขั้นต่ำที่ไม่เอนเอียงภายใต้เงื่อนไขที่อ่อนแอ แต่ฉันจะไม่ใช้มันเมื่อมีค่าผิดปกติในข้อมูล ในทำนองเดียวกันคุณสมบัติเช่น invariance ควรออกกฎรวมถึงการโต้ตอบเมื่อมันทำให้รู้สึกว่าทางการแพทย์ว่ามันจะเกิดขึ้นโดยไม่มีผลกระทบหลัก?

— Michael Chernick

6

[พยายามที่จะตอบคำถามส่วนหนึ่งของคำถามเดิมซึ่งดูเหมือนว่าไม่ได้เปิดเผยในคำตอบส่วนใหญ่: "ควร AIC เนื่องจากเกณฑ์การเลือกแบบจำลองนั้นเชื่อถือได้หรือไม่"]

AIC ควรใช้เป็นแนวทางมากกว่ากฎที่ควรนำมาเป็นพระกิตติคุณ

ประสิทธิผลของ AIC (หรือ BIC หรือเกณฑ์ 'ง่าย' ใด ๆ ที่คล้ายกันสำหรับการเลือกรูปแบบ) ขึ้นอยู่กับอัลกอริทึมการเรียนรู้และปัญหา

คิดแบบนี้: เป้าหมายของความซับซ้อน (จำนวนปัจจัย) ในสูตร AIC นั้นง่าย: เพื่อหลีกเลี่ยงการเลือกรุ่นที่เหมาะสมเกินไป แต่ความเรียบง่ายของ AIC มักล้มเหลวในการจับความซับซ้อนที่แท้จริงของปัญหา นี่คือเหตุผลที่มีเทคนิคการปฏิบัติอื่น ๆ เพื่อหลีกเลี่ยงการปรับตัวมากเกินไป: ตัวอย่างเช่นการตรวจสอบข้ามหรือเพิ่มคำปกติ

เมื่อฉันใช้ SGD ออนไลน์ (การไล่ระดับสีแบบสุ่ม) เพื่อทำการถดถอยเชิงเส้นบนชุดข้อมูลที่มีอินพุตจำนวนมากฉันพบว่า AIC เป็นตัวทำนายคุณภาพของโมเดลที่แย่มาก มีสถานการณ์ชีวิตจริงมากมายที่แต่ละเทอมมีผลกระทบเล็กน้อย แต่ด้วยกันจำนวนมากของพวกเขาให้หลักฐานทางสถิติที่แข็งแกร่งของผลลัพธ์ เกณฑ์การเลือกแบบจำลอง AIC และ BIC จะปฏิเสธโมเดลเหล่านี้และเลือกแบบที่ง่ายกว่าแม้ว่าแบบที่ซับซ้อนกว่าจะดีกว่า

ในที่สุดมันเป็นข้อผิดพลาดทั่วไป (ประมาณ: ออกจากประสิทธิภาพของตัวอย่าง) ที่นับ AIC สามารถให้คำแนะนำเกี่ยวกับคุณภาพของแบบจำลองได้ในบางสถานการณ์ที่ค่อนข้างง่าย แค่ระวังและจำไว้ว่าชีวิตจริงนั้นบ่อยกว่าไม่ซับซ้อนกว่าสูตรธรรมดา

— arielf
แหล่งที่มา