การเลือกแบบจำลองและสมรรถนะของแบบจำลองในการถดถอยโลจิสติกส์

9

ฉันมีคำถามเกี่ยวกับการเลือกแบบจำลองและประสิทธิภาพของตัวแบบในการถดถอยโลจิสติก ฉันมีสามแบบซึ่งตั้งอยู่บนสมมติฐานที่แตกต่างกันสามแบบ สองรุ่นแรก (ให้ตั้งชื่อพวกเขาว่า z และ x) จะมีตัวแปรอธิบายเพียงตัวเดียวในแต่ละรุ่นและรุ่นที่สาม (ให้ชื่อมันด้วย) มีความซับซ้อนมากขึ้น ฉันใช้ AIC สำหรับการเลือกตัวแปรสำหรับรุ่น w แล้ว AIC เพื่อเปรียบเทียบว่าสามรุ่นใดที่อธิบายตัวแปรตามได้ดีที่สุด ฉันพบว่าโมเดล w มีค่า AIC ต่ำที่สุดและตอนนี้ต้องการทำสถิติประสิทธิภาพสำหรับโมเดลนั้นเพื่อให้ได้แนวคิดเกี่ยวกับพลังการทำนายของโมเดล เนื่องจากทั้งหมดที่ฉันรู้คือว่ารุ่นนี้ดีกว่าอีกสองคน แต่ไม่ดีเท่าไหร่

เนื่องจากฉันใช้ข้อมูลทั้งหมดเพื่อเรียนรู้รูปแบบ (เพื่อให้สามารถเปรียบเทียบทั้งสามรุ่น) ฉันจะทำอย่างไรกับประสิทธิภาพของโมเดล จากสิ่งที่ฉันรวบรวมฉันไม่สามารถทำการตรวจสอบความถูกต้องไขว้กันของ k-fold ในรุ่นสุดท้ายที่ฉันได้รับจากการเลือกแบบจำลองโดยใช้ AIC แต่ต้องเริ่มจากจุดเริ่มต้นด้วยตัวแปรอธิบายรวมอยู่ด้วยใช่ไหม ฉันคิดว่ามันเป็นรุ่นสุดท้ายที่ฉันเลือกกับ AIC ที่ฉันต้องการทราบว่ามันทำงานได้ดีเพียงใด แต่ตระหนักว่าฉันได้รับการฝึกอบรมเกี่ยวกับข้อมูลทั้งหมดเพื่อให้โมเดลนั้นมีความลำเอียง ดังนั้นถ้าฉันควรเริ่มจากจุดเริ่มต้นด้วยตัวแปรอธิบายทั้งหมดในทุกเท่าฉันจะได้แบบจำลองขั้นสุดท้ายที่แตกต่างกันสำหรับบางเท่าฉันสามารถเลือกแบบจำลองจากการพับซึ่งให้พลังการทำนายที่ดีที่สุดและนำไปใช้กับชุดข้อมูลแบบเต็มเพื่อเปรียบเทียบ AIC กับอีกสองรุ่น (z และ x)? หรือมันทำงานอย่างไร

ส่วนที่สองของคำถามของฉันคือคำถามพื้นฐานเกี่ยวกับการกำหนดพารามิเตอร์มากเกินไป ฉันมี 156 จุดข้อมูล 52 เป็น 1 ส่วนที่เหลือเป็น 0 ฉันมีตัวแปรอธิบาย 14 แบบให้เลือกสำหรับโมเดล w ฉันรู้ว่าฉันไม่สามารถรวมทั้งหมดได้เนื่องจากการกำหนดค่าพารามิเตอร์มากเกินไปฉันได้อ่านว่าคุณควรใช้ 10% ของกลุ่มของตัวแปรตามที่มีการสังเกตน้อยที่สุด จะเป็น 5 สำหรับฉันเท่านั้น ฉันพยายามตอบคำถามทางนิเวศวิทยามันเป็นการดีที่จะเลือกตัวแปรเริ่มต้นซึ่งฉันคิดว่าจะอธิบายสิ่งที่ดีที่สุดโดยขึ้นอยู่กับนิเวศวิทยาหรือไม่? หรือฉันจะเลือกตัวแปรอธิบายเริ่มต้นได้อย่างไร รู้สึกไม่ถูกต้องที่จะยกเว้นตัวแปรบางอย่างอย่างสมบูรณ์

ดังนั้นฉันมีสามคำถามจริง ๆ :

เป็นไปได้ไหมที่จะทดสอบประสิทธิภาพของแบบจำลองที่ผ่านการฝึกอบรมกับชุดข้อมูลแบบเต็มด้วยการตรวจสอบความถูกต้องข้าม?
ถ้าไม่ฉันจะเลือกรุ่นสุดท้ายเมื่อทำการตรวจสอบข้ามได้อย่างไร
ฉันจะเลือกตัวแปรเริ่มต้นได้อย่างไรเพื่อที่ฉันต้องการให้มีพารามิเตอร์มากเกินไป?

ขอโทษสำหรับคำถามที่ยุ่งเหยิงของฉันและความไม่รู้ของฉัน ฉันรู้ว่ามีการถามคำถามที่คล้ายกัน แต่ยังรู้สึกสับสนเล็กน้อย ชื่นชมความคิดและข้อเสนอแนะใด ๆ

logistic model-selection cross-validation

— Mael
แหล่งที่มา

7

เป็นความจริงที่ว่าจะเป็นการดีกว่าที่จะใช้ชุดทดสอบข้อมูลเพื่อตรวจสอบความถูกต้องของแบบจำลองของคุณ อย่างไรก็ตามคุณยังสามารถพูดได้ว่าแบบจำลองของคุณมีประสิทธิภาพอย่างไรกับข้อมูลของคุณตราบใดที่คุณซื่อสัตย์เกี่ยวกับสิ่งที่คุณทำ สิ่งที่คุณไม่สามารถทำได้จริง ๆ ก็คือบอกว่ามันจะทำได้ดีในข้อมูลอื่น ๆ : มันอาจจะไม่ น่าเสียดายที่บทความที่ตีพิมพ์จำนวนมากอย่างน้อยบอกใบ้เกี่ยวกับความคิดที่ผิด

คุณถาม

มันโอเคที่จะเลือกตัวแปรเริ่มต้นที่ฉันคิดว่าอธิบายได้ง่ายที่สุดขึ้นอยู่กับนิเวศวิทยา?

ไม่เพียงเท่านั้นมันจะดีกว่าระบบอัตโนมัติใด ๆ แน่นอนเหล่านี้อาจเป็นตัวแปรสุดท้าย ขึ้นอยู่กับขอบเขตของความรู้ในสาขานั้น ๆ หากไม่เป็นที่รู้จักมากนักเกี่ยวกับสิ่งที่คุณกำลังทำการวิจัยอาจจำเป็นต้องมีวิธีการสำรวจเพิ่มเติม แต่ถ้าคุณมีเหตุผลที่ดีที่จะคิดว่าตัวแปรบางอย่างควรอยู่ในตัวแบบแล้วลองใส่มันลงไปและฉันจะเถียงว่าจะปล่อยพวกมันไว้ที่นั่นแม้ว่าจะไม่มีนัยสำคัญก็ตาม

— Peter Flom
แหล่งที่มา

1

หากคุณกำลังจะทำการเลือกรูปแบบแล้วฉันคิดว่าคุณควรทำการค้นหาแบบละเอียดและชั่งน้ำหนักแต่ละรุ่นแทนการหยิบเชอร์รี่ คุณมีตัวแปร 14 ตัวเท่านั้นซึ่งแน่นอนว่าเป็นไปได้ - 16384 โมเดลที่แตกต่างนั้นไม่ได้มีขนาดใหญ่มากนักโดยเฉพาะอย่างยิ่งเนื่องจากขนาดตัวอย่างมีขนาดเล็ก ฉันจะดูน้ำหนักปกติที่กำหนดโดย:

w_{m} = {[\sum_{l} \exp (- \frac{1}{2} [A I C_{l} - A I C_{m}])]}^{- 1}

$w_m=\left[\sum_{l}\exp\left(-\frac{1}{2}[AIC_l - AIC_m]\right)\right]^{-1}$

น้ำหนักเหล่านี้ถือว่า AIC เป็นลบสองเท่าของโอกาสในการบันทึกบวกสองเท่าของจำนวนเบต้า หากโมเดลที่ดีที่สุดมีน้ำหนักใกล้เคียงกับให้ใช้อันนั้น มิฉะนั้นคุณควรเฉลี่ยผลลัพธ์ของคุณ aross รุ่นที่มีน้ำหนักใกล้เคียงทั้งหมด1สิ่งที่มักจะเกิดขึ้นก็คือควรมีการรวมกลุ่มของตัวแปร "แกน" ไว้เสมอด้วยความไม่แน่นอนของชุด "ที่ไม่ใช่แกนหลัก" และชุดตัวแปรที่ไม่สำคัญสามชุดซึ่งไม่เคยปรากฏในโมเดลที่มีน้ำหนักสูง $1$ $1$

คุณสามารถแทนที่ AIC ด้วย BIC หรือ IC ตามบทลงโทษอื่น ๆ เพื่อดูว่าน้ำหนักขึ้นอยู่กับการลงโทษที่ซับซ้อนเฉพาะที่ใช้

— probabilityislogic
แหล่งที่มา

การใช้ AIC ในแบบจำลองที่เป็นไปได้ทั้งหมดเป็นกระบวนการที่มีหลายหลากมากซึ่งฉันสงสัยเกี่ยวกับประสิทธิภาพ การพูดในลักษณะทั่วไปอย่างกว้าง ๆ มันไม่เสมอไปที่จะคิดว่าเรื่องนี้เป็นปัญหาการเลือกตัวแปร แต่เป็นปัญหาการลงโทษ (หดตัว)

— Frank Harrell

มีกระบวนการที่ไม่มีหลายหลากมากในการเลือกแบบจำลองหรือไม่? คุณกำลังเผชิญกับพื้นที่ที่ไม่ต่อเนื่องขนาดใหญ่ - สิ่งนี้นำไปสู่การเปรียบเทียบจำนวนมากอย่างสม่ำเสมอ ฉันคิดว่าคำถามนั้นมีมากกว่าหรือไม่ว่านัยก่อนหน้าโมเดลจะเป็นสิ่งที่สมเหตุสมผลหรือไม่

— ความน่าจะเป็นทาง

ใส่กัน แต่ฉันคิดว่าแบบฝึกหัดการเลือกรูปแบบส่วนใหญ่นั้นไม่จำเป็น (เช่นความประหยัดไม่ใช่เพื่อนของคุณ) และผลที่ตามมาจากการไม่มีนักบวชเลย

— Frank Harrell

ฉันยังเห็นด้วยฉันคิดว่า Bayes Factor ใช้ดีที่สุดสำหรับปัญหาของโครงสร้างแบบจำลองเช่นใช้การแจกแจงแบบปกติหรือแบบ t พวกเขาไม่ได้ไร้ประโยชน์สำหรับการเลือก covariate แต่ไม่มีประสิทธิภาพเมื่อเทียบกับการหดตัว

— ความน่าจะเป็นทาง

ขออภัยสำหรับความคิดเห็นสายของฉัน แต่คุณรู้วิธีง่าย ๆ ในการคำนวณใน R? ฉันมี AIC: s อยู่ในรายการหรือเมทริกซ์ ฉันค่อนข้างใหม่สำหรับ R ดังนั้นการสร้างฟังก์ชั่นที่ซับซ้อนก็ยาก ขอบคุณ!

— mael

0

หากต้องการตอบว่า "เป็นไปได้ไหมที่จะทดสอบประสิทธิภาพของแบบจำลองที่ผ่านการฝึกอบรมเกี่ยวกับชุดข้อมูลแบบเต็มด้วยการตรวจสอบความถูกต้องข้าม" ไม่ฉันไม่คิดว่าตกลง คุณควรใส่ทั้ง 3 โมเดลเข้ากับเซ็ตย่อยเดียวกันของชุดข้อมูลของคุณ จากนั้นทำการตรวจสอบข้ามเพื่อดูว่าอันไหนดีกว่า

— สถิติ
แหล่งที่มา

1

ดังนั้นถ้าฉันเข้าใจคุณถูกต้องฉันควรใช้เพียงหนึ่งการฝึกอบรมและชุดทดสอบหนึ่งชุดสำหรับทุกรุ่น? ฉันยังคงสามารถใช้ตัวแปร 5 ตัวของฉันสำหรับรุ่นสุดท้ายได้หรือไม่หรือมีความเสี่ยงต่อการกำหนดพารามิเตอร์มากเกินไป? และมันไม่เสี่ยงกับการฝึกอบรมและการทดสอบเพียงชุดเดียว - เนื่องจากมันจะมากขึ้นอยู่กับว่าการแบ่งจะอยู่ที่ไหนกับข้อมูลเล็กน้อยที่ฉันมี - หรือว่าไม่มีอะไรต้องกังวล? ไม่อย่างนั้นจะรู้สึกว่านี่เป็นวิธีที่ถูกต้องที่สุดในการทำมัน

— mael

0

เป็นไปได้ไหมที่จะทดสอบประสิทธิภาพของแบบจำลองที่ผ่านการฝึกอบรมกับชุดข้อมูลแบบเต็มด้วยการตรวจสอบความถูกต้องข้าม?

ผมคิดว่าไม่. บางทีวิธีที่ดีกว่าคือการประเมินแต่ละโมเดลทั้งสามโดยใช้การตรวจสอบความถูกต้องแบบไขว้ซ้ำ ระบุว่าคุณได้เลือกคุณสมบัติของคุณตามความรู้เดิมคุณไม่จำเป็นต้องกังวลเกี่ยวกับการเลือกคุณสมบัติ วิธีนี้ช่วยให้คุณสามารถประเมินประสิทธิภาพของโมเดลได้

ถ้าไม่ฉันจะเลือกรุ่นสุดท้ายเมื่อทำการตรวจสอบข้ามได้อย่างไร

เมื่อคุณประเมินประสิทธิภาพของโมเดลของคุณโดยใช้การตรวจสอบความถูกต้องไขว้กันซ้ำแล้วซ้ำอีกคุณสามารถฝึกอบรมโมเดลสุดท้ายโดยใช้ข้อมูลที่มีทั้งหมด

ฉันจะเลือกตัวแปรเริ่มต้นได้อย่างไรเพื่อที่ฉันต้องการให้มีพารามิเตอร์มากเกินไป?

ถ้าฉันเข้าใจถูกต้อง: ตามคำแนะนำของผู้มีส่วนร่วมข้างต้นคุณสามารถเพิ่มคุณสมบัติของคุณตามความรู้ก่อนหน้าของพื้นที่หรืออื่น ๆ ที่คุณต้องทำการเลือกคุณสมบัติภายในการตรวจสอบข้ามเพื่อหลีกเลี่ยงการ overfitting ขั้นตอนการเลือกคุณสมบัติเดียวกันนี้จะถูกนำไปใช้กับข้อมูลทั้งหมดเมื่อฝึกอบรมรุ่นสุดท้าย คุณไม่สามารถใช้โมเดลนี้เพื่อรายงานประสิทธิภาพทั่วไปของโมเดลซึ่งต้องมาจากการประเมินการตรวจสอบข้าม

— BGreene
แหล่งที่มา