คำถามติดแท็ก bias-variance-tradeoff

วิธีการตรวจสอบข้ามที่แตกต่างกันอย่างไรเปรียบเทียบในแง่ของความแปรปรวนของโมเดลและอคติ คำถามของฉันได้รับแรงบันดาลใจบางส่วนจากหัวข้อนี้: จำนวนการพับที่เหมาะสมที่สุดในการตรวจสอบความถูกต้องข้าม -fold: CV แบบปล่อยครั้งเดียวเป็นตัวเลือกที่ดีที่สุดเสมอหรือไม่ KKKเค. คำตอบนั้นแสดงให้เห็นว่าแบบจำลองที่เรียนรู้ด้วยการตรวจสอบข้ามแบบลาหนึ่ง - ออกนั้นมีความแปรปรวนสูงกว่าแบบเรียนรู้ด้วยการตรวจสอบความถูกต้องแบบเท่าปกติKKK อย่างไรก็ตามสัญชาตญาณของฉันบอกฉันว่าใน CV แบบปล่อยครั้งเดียวควรเห็นความแปรปรวนค่อนข้างต่ำระหว่างแบบจำลองกว่าใน -fold CV เนื่องจากเราเปลี่ยนจุดข้อมูลเพียงจุดเดียวในส่วนการพับและดังนั้นชุดการฝึกอบรมKKK หรือไปในอีกทางหนึ่งถ้าต่ำใน -fold CV ชุดการฝึกอบรมจะแตกต่างกันมากในโฟลด์และโมเดลที่ได้จะมีความแตกต่างกันมากขึ้น (ดังนั้นความแปรปรวนที่สูงขึ้น)เคKKKKKK หากอาร์กิวเมนต์ข้างต้นถูกต้องทำไมรูปแบบการเรียนรู้ที่มีประวัติย่อแบบลาออกมีความแปรปรวนสูงกว่า

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

การพิจารณาด้านพลังงานของคอมพิวเตอร์มีเหตุผลอะไรบ้างที่จะเชื่อว่าการเพิ่มจำนวนของการพับในการตรวจสอบความถูกต้องจะนำไปสู่การเลือก / การตรวจสอบความถูกต้องของโมเดลที่ดีขึ้น การที่จะโต้แย้งอย่างสุดขั้วการตรวจสอบความถูกต้องของการตรวจสอบข้ามแบบครั้งเดียวนั้นนำไปสู่รูปแบบที่ดีกว่าการตรวจสอบความถูกต้องข้ามแบบ -fold หรือไม่?KKK พื้นหลังบางส่วนของคำถามนี้: ฉันกำลังทำงานกับปัญหาที่มีอินสแตนซ์น้อยมาก (เช่น 10 ข้อบวกและ 10 ข้อเสีย) และกลัวว่าแบบจำลองของฉันอาจไม่ได้มาตรฐาน / มีข้อมูลน้อยมาก

47 cross-validation  bias-variance-tradeoff 

ฉันกำลังอ่านบทของการแลกเปลี่ยนความแปรปรวนแบบอคติขององค์ประกอบของการเรียนรู้ทางสถิติและฉันมีข้อสงสัยในสูตรที่หน้า 29 ให้ข้อมูลเกิดขึ้นจากแบบจำลองที่โดยที่สุ่ม จำนวนที่มีค่าคาดว่าและความแปรปรวน 2 ให้ค่าที่คาดหวังของข้อผิดพลาดของแบบจำลองคือ E [(Y-f_k (x)) ^ 2] โดยที่f_k (x)คือคำทำนายของxของผู้เรียนของเรา ข้อผิดพลาดคือ E [(Y-f_k (x)) ^ 2] = \ sigma ^ 2 + Bias (f_k) ^ 2 + Var (f_k (x)) Y=f(x)+ϵY=f(x)+ϵ Y = f(x)+\epsilonε = E [ ε ] = 0 E E [ ( Y - …

20 machine-learning  unbiased-estimator  mse  bias-variance-tradeoff 

ฉันพยายามที่จะเข้าใจการแลกเปลี่ยนอคติความแปรปรวนความสัมพันธ์ระหว่างอคติของตัวประมาณและอคติของตัวแบบและความสัมพันธ์ระหว่างความแปรปรวนของตัวประมาณและความแปรปรวนของตัวแบบ ฉันมาถึงข้อสรุปเหล่านี้: เรามีแนวโน้มที่จะทำให้ข้อมูลมีค่ามากเกินไปเมื่อเราละเลยอคติของตัวประมาณนั่นคือเมื่อเราตั้งเป้าหมายที่จะลดอคติของแบบจำลองให้น้อยที่สุดโดยละเลยความแปรปรวนของแบบจำลอง (กล่าวอีกนัยหนึ่งคือเรามุ่งที่จะลดความแปรปรวนของ ความเอนเอียงของตัวประมาณเช่นกัน) ในทางกลับกันเรามีแนวโน้มที่จะลดข้อมูลเมื่อเราเพิกเฉยความแปรปรวนของตัวประมาณนั่นคือเมื่อเรามุ่งที่จะลดความแปรปรวนของตัวแบบที่ละเลยความเอนเอียงของแบบจำลอง (กล่าวอีกนัยหนึ่งคือเรามุ่งที่จะลดอคติของ ตัวประมาณโดยไม่พิจารณาความแปรปรวนของตัวประมาณด้วย) ข้อสรุปของฉันถูกต้องหรือไม่?

15 regression  variance  bias  bias-variance-tradeoff 

ฉันกำลังอ่านเกี่ยวกับการเลือกชุดย่อยที่ดีที่สุดในองค์ประกอบของหนังสือการเรียนรู้ทางสถิติ ถ้าฉันมีตัวทำนาย 3 ตัวฉันจะสร้างชุดย่อย:2 3 = 8x1, x2, x3x1,x2,x3x_1,x_2,x_323= 823=82^3=8 ชุดย่อยที่ไม่มีตัวทำนาย เซตย่อยที่มีตัวทำนายx1x1x_1 เซตย่อยที่มีตัวทำนายx2x2x_2 เซตย่อยที่มีตัวทำนายx3x3x_3 เซตย่อยที่มีตัวทำนายx1, x2x1,x2x_1,x_2 เซตย่อยที่มีตัวทำนายx1, x3x1,x3x_1,x_3 เซตย่อยที่มีตัวทำนายx2, x3x2,x3x_2,x_3 เซตย่อยที่มีตัวทำนายx1, x2, x3x1,x2,x3x_1,x_2,x_3 จากนั้นฉันจะทดสอบแบบจำลองเหล่านี้ทั้งหมดในข้อมูลการทดสอบเพื่อเลือกแบบที่ดีที่สุด ตอนนี้คำถามของฉันคือเหตุใดการเลือกชุดย่อยที่ดีที่สุดจึงไม่ได้รับความนิยมเมื่อเทียบกับเช่นบ่วงบาศ ถ้าฉันเปรียบเทียบฟังก์ชั่น thresholding ของเซตย่อยและ lasso ที่ดีที่สุดฉันจะเห็นว่าเซตย่อยที่ดีที่สุดกำหนดค่าสัมประสิทธิ์บางค่าให้เป็นศูนย์เช่น lasso แต่ค่าสัมประสิทธิ์อื่น ๆ (ที่ไม่ใช่ศูนย์) จะยังคงมีค่า ols พวกเขาจะไม่ได้รับอคติ ในขณะที่ lasso สัมประสิทธิ์บางอย่างจะเป็นศูนย์และอื่น ๆ (ไม่ใช่ศูนย์) จะมีอคติ รูปด้านล่างแสดงว่าดีกว่า: จากภาพส่วนหนึ่งของเส้นสีแดงในกล่องเซตย่อยที่ดีที่สุดวางลงบนสีเทา อีกส่วนหนึ่งวางอยู่ในแกน x ซึ่งสัมประสิทธิ์บางค่าเป็นศูนย์ เส้นสีเทากำหนดโซลูชันที่ไม่เอนเอียง ในเชือกอคติบางส่วนเป็นที่รู้จักโดย\จากรูปนี้ฉันเห็นว่าเซตย่อยที่ดีที่สุดดีกว่าบ่วงบาศ! …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

ใน 'องค์ประกอบของการเรียนรู้ทางสถิติ' นิพจน์สำหรับการสลายตัวของความแปรปรวนแบบอคติของแบบจำลองเชิงเส้นจะได้รับเป็น ที่เป็นฟังก์ชันเป้าหมายจริงคือความแปรปรวนของข้อผิดพลาดแบบสุ่มในโมเดลและเป็นประมาณการเชิงเส้นของ(x)Err(x0)=σ2ϵ+E[f(x0)−Ef^(x0)]2+||h(x0)||2σ2ϵ,Err(x0)=σϵ2+E[f(x0)−Ef^(x0)]2+||h(x0)||2σϵ2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,f(x0)f(x0)f(x_0)σ2ϵσϵ2 \sigma_\epsilon^2y=f(x)+ϵy=f(x)+ϵy=f(x)+\epsilonf^(x)f^(x)\hat f(x)f(x)f(x)f(x) คำแปรปรวนทำให้ฉันหนักใจที่นี่เพราะสมการบอกเป็นนัยว่าความแปรปรวนจะเป็นศูนย์ถ้าเป้าหมายไม่มีเสียงนั่นคือแต่มันก็ไม่สมเหตุสมผลสำหรับฉันเพราะแม้จะมีสัญญาณรบกวนเป็นศูนย์ฉันยังสามารถรับตัวประมาณแตกต่างกันสำหรับชุดการฝึกอบรมที่แตกต่างกันซึ่งหมายถึงความแปรปรวนไม่ใช่ศูนย์σ2ϵ=0.σϵ2=0.\sigma_\epsilon^2=0.f^(x0)f^(x0)\hat f(x_0) ตัวอย่างเช่นสมมติว่าฟังก์ชันเป้าหมายเป็นกำลังสองและข้อมูลการฝึกอบรมมีสองจุดตัวอย่างที่สุ่มจากกำลังสองนี้ ชัดเจนฉันจะได้เส้นตรงที่แตกต่างกันทุกครั้งที่ฉันสุ่มตัวอย่างสองคะแนนจากการสุ่มกำลังสอง - เป้าหมาย แล้วความแปรปรวนเป็นศูนย์ได้อย่างไรf(x0)f(x0)f(x_0) ใครช่วยให้ฉันรู้ว่ามีอะไรผิดปกติในความเข้าใจของฉันเกี่ยวกับการย่อยสลายความแปรปรวนแบบอคติ?

9 regression  linear-model  bias-variance-tradeoff 

ฉันต้องการจัดประเภทจุดข้อมูลว่าต้องการโมเดลที่ซับซ้อนกว่าหรือไม่ต้องการโมเดลที่ซับซ้อนกว่านี้อีก ความคิดปัจจุบันของฉันคือการปรับข้อมูลทั้งหมดให้เป็นแบบจำลองเชิงเส้นอย่างง่ายและสังเกตขนาดของเศษเหลือเพื่อทำการจัดหมวดหมู่นี้ จากนั้นฉันก็อ่านเรื่องอคติและความแปรปรวนของข้อผิดพลาดและรู้ว่าถ้าฉันสามารถคำนวณอคติโดยตรงมันอาจเป็นการวัดที่ดีกว่าจากนั้นก็ทำงานกับข้อผิดพลาดทั้งหมด (ส่วนที่เหลือหรือส่วนที่เป็นมาตรฐาน) เป็นไปได้หรือไม่ที่จะประเมินความลำเอียงโดยตรงกับตัวแบบเชิงเส้น? มีหรือไม่มีข้อมูลทดสอบหรือไม่ การตรวจสอบข้ามจะช่วยได้ไหม ถ้าไม่เราสามารถใช้ bootstrapping ทั้งชุดแบบเส้นตรง (ฉันคิดว่ามันเรียกว่า bagging) เพื่อหาค่าอคติโดยประมาณได้หรือไม่?

9 regression  multiple-regression  residuals  bias-variance-tradeoff