คำถามติดแท็ก cross-validation

ฉันมากใหม่เพื่อการวิเคราะห์ข้อมูลการทำงาน (FDA) ฉันกำลังอ่าน: Ramsay, James O. , และ Silverman, Bernard W. (2006), การวิเคราะห์ข้อมูลเชิงหน้าที่, 2 ed., Springer, New York อย่างไรก็ตามฉันยังไม่ชัดเจนว่าจะใช้ FDA ที่ไหนเมื่อไร? ใครช่วยกรุณายกตัวอย่างให้ฉันโดยเฉพาะอย่างยิ่งในการศึกษาทางการแพทย์? ฉันไม่รู้จริง ๆ ว่าที่ไหน / เมื่อไหร่ที่จะใช้ FDA ในการปฏิบัติ สำหรับข้อมูลกราฟการเจริญเติบโตเราสามารถใช้โมเดลผสมแบบไม่เชิงเส้นสำหรับข้อมูลระยะยาวเราสามารถใช้ ANOVA แบบวัดซ้ำได้และสำหรับข้อมูลหลายตัวแปร / ข้อมูลมิติสูงเราสามารถใช้ PCA, FA และอื่น ๆ ดังนั้นเมื่อใด / ที่ไหน / สถานการณ์ที่จะใช้ FDA?

15 statistical-significance  cross-validation  nonparametric 

"การตรวจสอบความถูกต้อง Bootstrap" / "การตรวจสอบความถูกต้องแบบข้ามภาพ" เป็นสิ่งใหม่สำหรับฉัน แต่ได้มีการพูดคุยกันโดยคำตอบของคำถามนี้ ฉันรวบรวมมันประกอบด้วยข้อมูล 2 ประเภท: ข้อมูลจริงและข้อมูลจำลองที่ชุดข้อมูลจำลองที่กำหนดถูกสร้างขึ้นจากข้อมูลจริงโดยการสุ่มใหม่พร้อมเปลี่ยนใหม่จนกระทั่งข้อมูลจำลองมีขนาดเท่ากับข้อมูลจริง ฉันสามารถคิดถึงวิธีการสองแบบในการใช้ชนิดข้อมูลดังกล่าว: (1) ปรับโมเดลให้เหมาะสมครั้งเดียวประเมินมันหลายครั้งในชุดข้อมูลจำลองจำนวนมาก (2) ปรับโมเดลให้เหมาะสมหลายครั้งโดยใช้ชุดข้อมูลจำลองจำนวนมากแต่ละชุดแต่ละครั้งประเมินกับข้อมูลจริง อันไหนดีกว่ากัน?

15 cross-validation  bootstrap  validation  resampling 

สมมติว่าฉันได้สร้างแบบจำลองการทำนายสำหรับการเกิดโรคเฉพาะในชุดข้อมูลหนึ่ง (ชุดข้อมูลการสร้างแบบจำลอง) และตอนนี้ต้องการตรวจสอบว่ารูปแบบการทำงานในชุดข้อมูลใหม่ได้ดีเพียงใด (ชุดข้อมูลการตรวจสอบความถูกต้อง) สำหรับแบบจำลองที่สร้างขึ้นด้วยการถดถอยโลจิสติกฉันจะคำนวณความน่าจะเป็นที่คาดการณ์สำหรับแต่ละคนในชุดข้อมูลการตรวจสอบความถูกต้องตามค่าสัมประสิทธิ์แบบจำลองที่ได้จากชุดข้อมูลการสร้างแบบจำลองแล้วหลังจากแยกขั้ว ที่ช่วยให้ฉันสามารถคำนวณอัตราบวกที่แท้จริง (ความไว) และอัตราลบที่แท้จริง (ความจำเพาะ) ยิ่งกว่านั้นฉันสามารถสร้างเส้นโค้ง ROC ทั้งหมดได้โดยการปรับค่า cutoff แล้วรับ AUC สำหรับกราฟ ROC ตอนนี้สมมติว่าฉันมีข้อมูลการอยู่รอด ดังนั้นฉันใช้โมเดลอันตรายตามสัดส่วนของ Cox ในชุดข้อมูลการสร้างแบบจำลองและตอนนี้ต้องการตรวจสอบว่าแบบจำลองนั้นทำงานได้ดีเพียงใดในชุดข้อมูลการตรวจสอบความถูกต้อง เนื่องจากความเสี่ยงพื้นฐานไม่ใช่ฟังก์ชันพารามิเตอร์ในโมเดล Cox ฉันไม่เห็นว่าฉันจะได้รับโอกาสรอดชีวิตที่คาดการณ์ไว้สำหรับแต่ละคนในชุดข้อมูลการตรวจสอบตามค่าสัมประสิทธิ์แบบจำลองที่ได้จากชุดข้อมูลการสร้างแบบจำลองอย่างไร ดังนั้นฉันจะไปเกี่ยวกับการตรวจสอบว่าแบบจำลองทำงานได้ดีในชุดข้อมูลการตรวจสอบได้อย่างไร มีวิธีการที่กำหนดไว้สำหรับการทำเช่นนี้หรือไม่? และถ้าใช่จะมีการใช้งานในซอฟต์แวร์ใด ๆ หรือไม่? ขอบคุณล่วงหน้าสำหรับคำแนะนำใด ๆ !

15 predictive-models  cross-validation  survival  roc 

ฉันอ่านซ้ำแล้วซ้ำอีกว่าการตรวจสอบความถูกต้องแบบ "ปล่อยให้ออกมาหนึ่งครั้ง" นั้นมีความแปรปรวนสูงเนื่องจากการทับซ้อนขนาดใหญ่ของการฝึกอบรม อย่างไรก็ตามฉันไม่เข้าใจว่าทำไมจึงเป็นเช่นนั้น: ประสิทธิภาพการตรวจสอบข้ามไม่ควรมีเสถียรภาพมาก (ความแปรปรวนต่ำ) เพราะชุดการฝึกอบรมเกือบเหมือนกันหรือไม่ หรือฉันมีความเข้าใจผิดเกี่ยวกับแนวคิดเรื่อง "ความแปรปรวน" โดยสิ้นเชิง? ฉันยังไม่เข้าใจอย่างชัดเจนว่า LOO สามารถเป็นกลางได้อย่างไร แต่มีความแปรปรวนสูง หากการประมาณค่า LOO เท่ากับค่าตัวประมาณที่แท้จริงในความคาดหมาย - จะมีความแปรปรวนสูงได้อย่างไร หมายเหตุ: ฉันรู้ว่ามีคำถามที่คล้ายกันที่นี่: เหตุใดความแปรปรวนการตรวจสอบความถูกต้องแบบข้ามครั้งต่อวัน (LOOCV) เกี่ยวกับการประมาณค่าเฉลี่ยสำหรับข้อผิดพลาดสูง อย่างไรก็ตามคนที่ตอบว่าต่อมาในความเห็นว่าแม้ upvotes เขาได้ตระหนักว่าคำตอบของเขาผิด

15 variance  cross-validation  bias 

ฉันมีคำถามเฉพาะเกี่ยวกับการตรวจสอบความถูกต้องในการวิจัยการเรียนรู้ของเครื่อง ดังที่เราทราบระบอบการเรียนรู้ของเครื่องขอให้นักวิจัยฝึกแบบจำลองของพวกเขาในข้อมูลการฝึกอบรมเลือกจากแบบจำลองผู้สมัครตามชุดการตรวจสอบและรายงานความแม่นยำในชุดการทดสอบ ในการศึกษาที่เข้มงวดมากชุดทดสอบสามารถใช้ได้เพียงครั้งเดียว อย่างไรก็ตามมันไม่สามารถเป็นสถานการณ์การวิจัยได้เพราะเราต้องปรับปรุงประสิทธิภาพของเราจนกว่าความแม่นยำในการทดสอบจะดีกว่าผลการทดสอบที่ทันสมัยก่อนที่เราจะสามารถเผยแพร่ (หรือแม้แต่ส่ง) กระดาษ ตอนนี้ปัญหามา สมมติว่า 50% เป็นผลลัพธ์ที่ทันสมัยที่สุดและรุ่นของฉันสามารถบรรลุความแม่นยำ 50--51 ซึ่งดีกว่าโดยเฉลี่ย อย่างไรก็ตามความแม่นยำในการตรวจสอบที่ดีที่สุดของฉัน (52%) ให้ความแม่นยำในการทดสอบต่ำมากเช่น 49% จากนั้นฉันต้องรายงาน 49% ว่าเป็นประสิทธิภาพโดยรวมของฉันถ้าฉันไม่สามารถปรับปรุงมาตรฐานการตรวจสอบความถูกต้องซึ่งฉันคิดว่าไม่มีความหวัง สิ่งนี้ช่วยป้องกันฉันจากการศึกษาปัญหา แต่ไม่สำคัญกับเพื่อนของฉันเพราะพวกเขาไม่เห็น ACC 52% ซึ่งฉันคิดว่าเป็นเรื่องผิดปกติ ดังนั้นคนมักจะทำในการวิจัยของพวกเขาได้อย่างไร การตรวจสอบ ps k-fold ไม่ได้ช่วยอะไรเพราะสถานการณ์เดียวกันอาจยังคงเกิดขึ้นได้

15 machine-learning  cross-validation  reproducible-research 

มีความแตกต่างระหว่างแจ็คไนฟ์และการตรวจสอบไขว้แบบครั้งเดียวหรือไม่? ขั้นตอนดูเหมือนกันว่าฉันทำบางสิ่งหายไปหรือไม่

15 cross-validation  jackknife 

เมื่อใช้ bootstrapping สำหรับการประเมินแบบจำลองฉันมักคิดเสมอว่าตัวอย่างถุงนอกถูกใช้โดยตรงเป็นชุดทดสอบ อย่างไรก็ตามสิ่งนี้ดูเหมือนจะไม่เป็นกรณีสำหรับแนวทางการเรียนรู้แบบ Scikit ที่เลิก เรียนBootstrapซึ่งดูเหมือนว่าจะสร้างชุดการทดสอบจากการวาดภาพโดยการแทนที่จากชุดย่อยข้อมูลนอกถุง อะไรคือเหตุผลเชิงสถิติที่อยู่เบื้องหลังสิ่งนี้? มีสถานการณ์ที่เฉพาะเจาะจงซึ่งเทคนิคนี้ดีกว่าเพียงแค่การประเมินตัวอย่างนอกหรือในทางกลับกัน?

15 cross-validation  bootstrap  random-forest  scikit-learn  bagging 

ฉันกำลังจำแนกภาพโดยใช้การเรียนรู้ของเครื่อง สมมติว่าฉันมีข้อมูลการฝึกอบรม (ภาพ) และจะแบ่งข้อมูลออกเป็นชุดการฝึกอบรมและการตรวจสอบความถูกต้อง และฉันยังต้องการที่จะเพิ่มข้อมูล (สร้างภาพใหม่จากภาพต้นฉบับ) โดยการหมุนแบบสุ่มและการฉีดสัญญาณรบกวน augmentaion ทำแบบออฟไลน์ วิธีใดที่ถูกต้องในการเพิ่มข้อมูล? ขั้นแรกให้แบ่งข้อมูลออกเป็นชุดฝึกอบรมและตรวจสอบความถูกต้องจากนั้นทำการเพิ่มข้อมูลทั้งชุดฝึกอบรมและชุดตรวจสอบ ขั้นแรกให้แบ่งข้อมูลออกเป็นชุดฝึกอบรมและตรวจสอบความถูกต้องจากนั้นทำการเพิ่มข้อมูลในชุดฝึกอบรมเท่านั้น ก่อนอื่นทำการเพิ่มข้อมูลบนข้อมูลจากนั้นแบ่งข้อมูลออกเป็นชุดฝึกอบรมและตรวจสอบความถูกต้อง

14 machine-learning  classification  cross-validation  dataset  data-augmentation 

ฉันดูหัวข้อต่างๆที่นี่ แต่ฉันไม่คิดว่าจะตอบคำถามที่แน่นอน ฉันมีชุดข้อมูลของนักเรียนประมาณ 50,000 คนและเวลาในการออกกลางคัน ฉันจะทำการลดความเสี่ยงตามสัดส่วนที่มีค่าความแปรปรวนจำนวนมาก ฉันกำลังจะทำการถดถอยโลจิสติกเมื่อออกกลางคัน / อยู่ต่อเป้าหมายหลักคือการคาดการณ์สำหรับนักเรียนกลุ่มใหม่ โดยทั่วไปแล้วฉันไม่มีความหรูหราของข้อมูลและทำตัวแบบที่เหมาะสมกับการลงโทษ แต่คราวนี้ฉันคิดว่าการแยกชุดฝึกอบรมและชุดข้อมูลทดสอบแล้วทำการเลือกตัวแปรในชุดฝึกอบรม จากนั้นใช้ชุดข้อมูลทดสอบสำหรับการประมาณค่าพารามิเตอร์และความสามารถในการทำนาย นี่เป็นกลยุทธ์ที่ดีใช่ไหม ถ้าไม่ดีกว่าอะไร ยินดีต้อนรับการอ้างอิง แต่ไม่จำเป็น

14 cross-validation  survival  train 

ฉันกำลังเขียนทบทวนวรรณกรรมเกี่ยวกับปัญหาสุขภาพของประชาชนในปัจจุบันที่มีข้อมูลสับสน: อะไรคือกรณีศึกษาทางประวัติศาสตร์ทั่วไปที่ใช้ในการศึกษาด้านสาธารณสุข / ระบาดวิทยาที่ความสัมพันธ์หรือการอ้างถึงที่ไม่ถูกต้องหรือน่าอับอายถูกนำมาใช้โดยเจตนาหรือผิดพลาดในนโยบายและกฎหมายด้านสาธารณสุข การเสียชีวิตของรถยนต์ในทศวรรษ 1960 และจากการศึกษาโดยใช้หลักฐานตามมาซึ่งกำหนดเข็มขัดนิรภัยและถุงลมนิรภัยในที่สุดควรเป็นไปตามกฎหมายเป็นตัวอย่างที่ดีของนโยบายสาธารณสุขของHOWควรได้รับแรงหนุนจากการอนุมานและแบบจำลองทางสถิติที่มีประสิทธิภาพ ฉันกำลังมองหาตัวอย่างเพิ่มเติมของกรณีประเภทตรงกันข้าม (วิทยาศาสตร์ไม่ดีเพื่อกำหนดนโยบายอย่างเร่งด่วน) อย่างไรก็ตามถ้าไม่มีอะไรฉันต้องการเรียนรู้กรณีเพิ่มเติมคล้ายกับตัวอย่างก่อนหน้าของการศึกษาที่มีประสิทธิภาพเพื่อประโยชน์ต่อสุขภาพของประชาชนที่ประสบความสำเร็จ ฉันต้องการใช้สิ่งเหล่านี้เป็นตัวอย่างเพื่อแสดงให้เห็นว่าการวิจัยเชิงสถิติเชิงสาธารณสุขมีความสำคัญต่อการกำหนดนโยบายอย่างไร

14 cross-validation  reliability  epidemiology  biostatistics 

ฉันเคยได้ยินนิพจน์ต่อไปนี้มาก่อน: "การเพิ่มประสิทธิภาพเป็นรากฐานของความชั่วร้ายทั้งหมดในสถิติ" ตัวอย่างเช่นคำตอบที่ดีที่สุดในหัวข้อนี้ทำให้คำสั่งนั้นอ้างอิงถึงอันตรายของการปรับให้เหมาะสมเกินไปในระหว่างการเลือกแบบจำลอง คำถามแรกของฉันคือต่อไปนี้: คำพูดนี้เป็นของใครโดยเฉพาะ? (เช่นในเอกสารสถิติ) จากสิ่งที่ฉันเข้าใจข้อความดังกล่าวหมายถึงความเสี่ยงของการมีน้ำหนักเกิน ภูมิปัญญาดั้งเดิมจะบอกว่าการตรวจสอบข้ามที่เหมาะสมได้ต่อสู้กับปัญหานี้อยู่แล้ว แต่ดูเหมือนว่าปัญหานี้จะมีมากกว่านั้น นักสถิติและผู้ปฏิบัติงาน ML ควรระมัดระวังในการเพิ่มประสิทธิภาพโมเดลของพวกเขาแม้ในขณะที่ปฏิบัติตามโปรโตคอลการตรวจสอบข้ามที่เข้มงวด (เช่น 100 ซ้อน CV 10 เท่า) ถ้าเป็นเช่นนั้นเราจะรู้ได้อย่างไรว่าเมื่อไรที่จะหยุดการค้นหานางแบบ "ดีที่สุด"?

14 cross-validation  optimization  overfitting 

ล็อคแล้ว คำถามและคำตอบของคำถามนี้ถูกล็อคเนื่องจากคำถามอยู่นอกหัวข้อ แต่มีความสำคัญทางประวัติศาสตร์ ขณะนี้ไม่ยอมรับคำตอบหรือการโต้ตอบใหม่ ตอนนี้ฉันมีRกรอบข้อมูล (การฝึกอบรม) ทุกคนสามารถบอกฉันได้ว่าจะแยกชุดข้อมูลนี้เป็นการสุ่มตรวจสอบข้าม 10 เท่าได้อย่างไร

14 cross-validation 

ฉันกำลังทำการตรวจสอบความถูกต้องโดยใช้วิธีการตรวจสอบ ผมมีการตอบสนองไบนารีและกำลังใช้แพคเกจการบูตสำหรับ R และฟังก์ชั่น cv.glm ปัญหาของฉันคือฉันไม่เข้าใจส่วน "ต้นทุน" ในฟังก์ชั่นนี้ จากสิ่งที่ฉันสามารถเข้าใจได้นี่คือฟังก์ชั่นที่ตัดสินว่าควรประเมินค่าที่ประมาณว่าเป็น 1 หรือ 0 นั่นคือค่าเกณฑ์สำหรับการจำแนกประเภท ถูกต้องหรือไม่ cost <- function(r, pi = 0) mean(abs(r-pi) > 0.5)และในความช่วยเหลือในการวิจัยที่พวกเขาใช้ฟังก์ชั่นนี้สำหรับรูปแบบทวินาม: ฉันจะตีความฟังก์ชั่นนี้ได้อย่างไร? ดังนั้นฉันสามารถแก้ไขได้อย่างถูกต้องสำหรับการวิเคราะห์ของฉัน ความช่วยเหลือใด ๆ ที่ได้รับการชื่นชมไม่ต้องการที่จะใช้ฟังก์ชั่นที่ฉันไม่เข้าใจ

14 r  cross-validation 

หลังจากอ่านหนึ่งใน "เคล็ดลับการวิจัย"ของ RJ Hyndman เกี่ยวกับการตรวจสอบความถูกต้องและช่วงเวลาฉันกลับมาที่คำถามเก่า ๆ ของฉันที่ฉันจะพยายามกำหนดที่นี่ แนวคิดก็คือในการจำแนกปัญหาหรือการถดถอยการเรียงลำดับข้อมูลไม่สำคัญและด้วยเหตุนี้kสามารถใช้การตรวจสอบความถูกต้องข้าม -fold ได้ ในทางกลับกันในอนุกรมเวลาการเรียงลำดับข้อมูลมีความสำคัญอย่างยิ่ง แต่เมื่อใช้เครื่องการเรียนรู้รูปแบบให้กับชุดเวลาคาดการณ์กลยุทธ์ร่วมกันคือการก่อร่างใหม่ชุดเป็นชุดของ "พาหะนำเข้าส่งออก" ซึ่งเป็นเวลาทีมีรูปแบบ( Y T - n + 1 , . . . , Y T - 1 , Y เสื้อ ; Y T + 1 ){ y1, . . . , yT}{Y1,...,YT}\{y_1, ..., y_T\}เสื้อเสื้อt( yt - n + …

14 time-series  machine-learning  cross-validation 

ความเข้าใจทั่วไปของฉันคือAICเกี่ยวข้องกับการแลกเปลี่ยนระหว่างความดีงามของแบบและความซับซ้อนของแบบจำลอง A Iค= 2 k - 2 l n ( L )AIC=2k−2ln(L)AIC =2k -2ln(L) kkk = จำนวนพารามิเตอร์ในโมเดล LLL = ความเป็นไปได้ เกณฑ์ข้อมูล Bayesian BICนั้นเกี่ยวข้องกับ AIC อย่างมาก AIC จะลงโทษจำนวนพารามิเตอร์ที่น้อยกว่า BIC ฉันเห็นว่ามีการใช้สองสิ่งนี้ทุกที่ในอดีต แต่การตรวจสอบข้ามโดยทั่วไป (GCV) นั้นใหม่สำหรับฉัน GCV เกี่ยวข้องกับ BIC หรือ AIC ได้อย่างไร วิธีการเหล่านี้ใช้ร่วมกันหรือแยกออกจากกันในการเลือกระยะเวลาการลงโทษในการถดถอยแบบแผงเหมือนสัน? แก้ไข: นี่เป็นตัวอย่างการคิดและอภิปราย: require(lasso2) data(Prostate) require(rms) ridgefits = ols(lpsa~lcavol+lweight+age+lbph+svi+lcp+gleason+pgg45, method="qr", data=Prostate,se.fit = …

14 cross-validation  lasso  aic  ridge-regression  bic