จะตรวจสอบข้ามกับ cv.glmnet (LASSO regression ใน R) ได้อย่างไร?

ฉันสงสัยว่าจะเข้าใกล้การฝึกอบรมและทดสอบแบบจำลอง LASSO โดยใช้ glmnet ใน R ได้อย่างไร

• โดยเฉพาะฉันสงสัยว่าจะทำอย่างไรหากขาดชุดข้อมูลการทดสอบภายนอกทำให้ฉันต้องใช้การตรวจสอบข้าม (หรือวิธีการอื่นที่คล้ายคลึงกัน) เพื่อทดสอบแบบจำลอง LASSO ของฉัน

ให้ฉันทำลายสถานการณ์ของฉัน:

ฉันมีชุดข้อมูลเพียงชุดเดียวเพื่อแจ้งและฝึกอบรมโมเดล glmnet ของฉัน ดังนั้นฉันจะต้องใช้การตรวจสอบข้ามเพื่อแยกข้อมูลของฉันเพื่อสร้างวิธีทดสอบโมเดลของฉัน

ฉันกำลังใช้อยู่cv.glmnetซึ่งตามรายละเอียดแพ็คเกจ :

ทำการตรวจสอบความถูกต้องข้ามของ k-fold สำหรับ glmnet, สร้างพล็อตและส่งกลับค่าสำหรับแลมบ์ดา

• การตรวจสอบข้ามถูกดำเนินการในcv.glmnetการเลือกแลมบ์ดาที่ดีที่สุดหรือเป็นวิธีการตรวจสอบข้ามโดยทั่วไปหรือไม่

  • กล่าวอีกนัยหนึ่งฉันยังต้องทำอีกขั้นตอนการตรวจสอบข้ามเพื่อ "ทดสอบ" โมเดลของฉันหรือไม่

ฉันทำงานกับข้อสันนิษฐานที่ว่า "ใช่แล้ว"

ในกรณีนี้ฉันจะตรวจสอบcv.glmnetรุ่นของฉันได้อย่างไร

• ฉันต้องทำด้วยตนเองหรืออาจเป็นcaretฟังก์ชั่นที่มีประโยชน์สำหรับรุ่น glmnet หรือไม่?

• ฉันจะใช้ "ลูป" สองจุดศูนย์กลางของการตรวจสอบความถูกต้องไขว้หรือไม่ ... ฉันใช้ "ลูปด้านใน" ของ CV ผ่านcv.glmnetเพื่อกำหนดค่าแลมบ์ดาที่ดีที่สุดในแต่ละkเท่าของ "ลูปภายนอก" ของการประมวลผลการตรวจสอบความถูกต้องข้าม ?

  • หากฉันทำการตรวจสอบความถูกต้องของcv.glmnetรูปแบบการตรวจสอบความถูกต้องไขว้ฉันจะแยกโมเดล "ดีที่สุด" (จากแลมบ์ดา "ที่ดีที่สุด") จากแต่ละcv.glmnetรุ่นในแต่ละช่วงของการตรวจสอบไขว้ภายนอก

    • หมายเหตุ: ฉันกำหนด "ดีที่สุด" รูปแบบเป็นรูปแบบที่เกี่ยวข้องกับแลมบ์ดาที่ผลิต MSE ภายใน 1 SE ขั้นต่ำที่ ... นี้เป็น$lambda.1seในcv.glmnetรูปแบบ

บริบท:

ฉันพยายามที่จะทำนายอายุต้นไม้ ("อายุ") ตามเส้นผ่าศูนย์กลางต้นไม้ ("D"), D ^ 2 และสปีชีส์ ("factor (SPEC)") [สมการที่เกิด: Age ~ D + factor(SPEC) + D^2] ฉันมีแถวข้อมูล ~ 50K แต่ข้อมูลนั้นยาว (ติดตามบุคคลตลอดเวลา) และประกอบด้วย ~ 65 สปีชีส์

การตรวจสอบข้ามถูกดำเนินการใน cv.glmnet เพียงเพื่อเลือกแลมบ์ดาที่ดีที่สุดหรือยังใช้เป็นขั้นตอนการตรวจสอบข้ามโดยทั่วไปมากขึ้นหรือไม่

มันเกือบทุกอย่างที่จำเป็นในการตรวจสอบข้าม ตัวอย่างเช่นมันเหมาะกับlambdaค่าที่เป็นไปได้ของข้อมูลเลือกโมเดลที่ดีที่สุดและในที่สุดก็ฝึกโมเดลด้วยพารามิเตอร์ที่เหมาะสม

ตัวอย่างเช่นในวัตถุที่ส่งคืน ::

cvmเป็นค่าเฉลี่ยข้อผิดพลาดข้ามการตรวจสอบ cvsdคือค่าเบี่ยงเบนมาตรฐานโดยประมาณ

เช่นเดียวกับค่าที่ส่งคืนอื่น ๆ ค่าเหล่านี้จะถูกคำนวณในชุดทดสอบ ในที่สุด,

glmnet.fit ให้รูปแบบการฝึกอบรมกับข้อมูลทั้งหมด (การฝึกอบรม + ทดสอบ) ด้วยพารามิเตอร์ที่ดีที่สุด

ฉันต้องทำด้วยตนเองหรือบางทีฟังก์ชันคาเร็ตมีประโยชน์สำหรับรุ่น glmnet หรือไม่

คุณไม่จำเป็นต้องทำสิ่งนี้ด้วยตนเอง 'Caret' จะมีประโยชน์มากและเป็นหนึ่งในแพ็คเกจที่ฉันชอบเพราะมันใช้ได้กับรุ่นอื่น ๆ ที่มีไวยากรณ์เหมือนกัน ตัวผมเองมักจะใช้มากกว่าcaret cv.glmnetอย่างไรก็ตามในสถานการณ์ของคุณมันเป็นสิ่งเดียวกัน

ฉันจะใช้ "ลูป" สองจุดศูนย์กลางของการตรวจสอบไขว้หรือไม่ ... ฉันใช้ "ลูปด้านใน" ของ CV ผ่าน cv.glmnet เพื่อกำหนดค่าแลมบ์ดาที่ดีที่สุดภายในแต่ละเท่าของ k เท่าของ "ลูปภายนอก" ของ k-fold การประมวลผลการตรวจสอบข้าม?

คุณสามารถทำเช่นนี้และแนวคิดนี้จะคล้ายกับความคิดของการซ้อนกันข้ามการตรวจสอบการตรวจสอบข้ามซ้อนกันสำหรับการเลือกรูปแบบ

ถ้าฉันทำการตรวจสอบความถูกต้องของโมเดล cv.glmnet ของฉันแล้วฉันจะแยกโมเดล "ดีที่สุด" (จากค่าแลมบ์ดา "ดีที่สุด") จากแต่ละรุ่น cv.glmnet ภายในแต่ละวงของวงอื่น "การตรวจสอบข้าม?

เพียงแค่วนรอบที่คุณสร้างข้อมูลการฝึกอบรมและข้อมูลการทดสอบทำงานcv.glmnetบนข้อมูลการฝึกอบรมและใช้แบบจำลองglmnet.fitเพื่อทำนายข้อมูลการทดสอบ