คำถามติดแท็ก bias

สมมติสัมพันธ์เชิงเส้นต่อไปนี้: โดยที่เป็นตัวแปรที่ขึ้นต่อกันเป็นตัวแปรอิสระเดี่ยวและเป็นคำผิดพลาดYi=β0+β1Xi+uiYi=β0+β1Xi+uiY_i = \beta_0 + \beta_1 X_i + u_iYiYiY_iXผมXiX_iยูผมuiu_i ตาม Stock &amp; Watson (Introduction to Econometrics; บทที่ 4 ) ข้อสมมติฐานกำลังสองน้อยที่สามคือช่วงเวลาที่สี่ของและนั้นไม่ใช่ศูนย์และ จำกัดinfty)XผมXiX_iยูผมuiu_i( 0 &lt; E(X4ผม) &lt; ∞ และ 0 &lt; E(ยู4ผม) &lt; ∞ )(0&lt;E(Xi4)&lt;∞ and 0&lt;E(ui4)&lt;∞)(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty) ฉันมีสามคำถาม: ฉันไม่เข้าใจบทบาทของสมมติฐานนี้อย่างเต็มที่ OLS ลำเอียงและไม่สอดคล้องกันหรือไม่หากสมมติฐานนี้ไม่ถือหรือเราต้องการสมมติฐานนี้ในการอนุมาน การเขียนสต็อคและวัตสัน "สมมติฐานนี้จำกัดความน่าจะเป็นของการวาดภาพการสังเกตด้วยค่าขนาดใหญ่มากของหรือ " อย่างไรก็ตามสัญชาตญาณของฉันก็คือสมมติฐานนี้มาก เรามีปัญหาหรือไม่ถ้าเรามีค่าผิดปกติจำนวนมาก (เช่นช่วงเวลาที่สี่มีขนาดใหญ่) แต่ถ้าค่าเหล่านี้ยังคง …

9 regression  least-squares  assumptions  bias  consistency 

ฉันกำลังทำการบ้านบนต้นไม้ตัดสินใจและหนึ่งในคำถามที่ฉันต้องตอบคือ "ทำไมตัวประมาณถูกสร้างขึ้นจากต้นไม้ลำเอียงและการห่อถุงช่วยลดความแปรปรวนได้อย่างไร" ตอนนี้ฉันรู้ว่าแบบจำลองที่ติดตั้งแล้วมีแนวโน้มที่จะมีอคติต่ำมากเพราะพวกเขาพยายามจัดวางจุดข้อมูลทั้งหมด และฉันมีสคริปต์ใน Python ที่ติดตั้งทรีกับชุดข้อมูลบางส่วน (มีคุณสมบัติเดียวมันเป็นเพียงไซน์ไซด์โดยมีจุดปิดบางภาพด้านล่าง) ดังนั้นฉันสงสัยว่า "ดีถ้าฉัน reeeeally overfit ข้อมูลฉันจะได้รับอคติเป็นศูนย์หรือไม่" และมันกลับกลายเป็นว่าแม้จะมีความลึก 10,000 ยังคงมีบางจุดที่เส้นโค้งไม่ผ่าน ฉันพยายามค้นหาสาเหตุ แต่ไม่พบคำอธิบายจริงๆ ฉันเดาว่าอาจมีต้นไม้บางต้นที่สามารถผ่านทุกจุดได้อย่างสมบูรณ์แบบและต้นไม้ที่ฉันได้รับก็คือ "โชคร้าย" หรือนั่นอาจเป็นชุดข้อมูลที่แตกต่างกันอาจให้ผลลัพธ์ที่ไม่เอนเอียง (อาจเป็นไซนัสที่สมบูรณ์แบบ?) หรือแม้แต่นั้นการตัดที่เกิดขึ้นในตอนต้นทำให้เป็นไปไม่ได้ที่การตัดเพิ่มเติมจะแยกจุดทั้งหมดอย่างสมบูรณ์ ดังนั้นเมื่อคำนึงถึงชุดข้อมูลนี้ (เนื่องจากอาจแตกต่างกับชุดอื่น ๆ ) คำถามของฉันคือ: เป็นไปได้หรือไม่ที่จะปรับต้นไม้จนจุดที่อคตินั้นมีค่าเป็นศูนย์หรือว่าจะมีอคติอยู่บ้าง ขนาดเล็ก? และถ้าอย่างน้อยก็มีอคติเสมอทำไมมันถึงเกิดขึ้น? PS ฉันไม่รู้ว่ามันอาจเกี่ยวข้องหรือไม่ แต่ฉันใช้DecisionTreeRegressorจากsklearnเพื่อให้พอดีกับโมเดลกับข้อมูล

9 cart  bias 

ในบทความนี้ ( การอนุมานแบบเบย์สำหรับส่วนประกอบความแปรปรวนโดยใช้ข้อผิดพลาดเฉพาะฮาร์วิลล์ 2517) ผู้เขียนอ้างว่า เป็น "ที่รู้จักกันดี ความสัมพันธ์ ", สำหรับการถดถอยเชิงเส้น ที่ \ epsilon \ sim \ mathcal {N} (0, H)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)y=Xβ+ϵ,y=Xβ+ϵ,y=X\beta+\epsilon,ϵ∼N(0,H).ϵ∼N(0,H).\epsilon\sim\mathcal{N}(0, H). สิ่งนี้เป็นที่รู้จักกันดีอย่างไร วิธีที่ง่ายที่สุดในการพิสูจน์สิ่งนี้คืออะไร?

9 regression  regression-coefficients  heteroscedasticity  bias  linear-algebra 

หนังสือองค์ประกอบของการเรียนรู้เชิงสถิติ (มีให้ใน PDF ออนไลน์) กล่าวถึงอคติที่เหมาะสม (7.21, หน้า 229) มันระบุว่าอคติในแง่ดีคือความแตกต่างระหว่างข้อผิดพลาดการฝึกอบรมและข้อผิดพลาดในตัวอย่าง (ข้อผิดพลาดสังเกตว่าถ้าเราตัวอย่างค่าผลลัพธ์ใหม่ที่แต่ละจุดฝึกอบรมเดิม) (ต่อด้านล่าง) ถัดไปจะระบุอคติเชิงบวกนี้ ( ) เท่ากับความแปรปรวนร่วมของค่า y ที่เราประมาณและค่า y ที่แท้จริง (สูตรต่อด้านล่าง) ฉันมีปัญหาในการทำความเข้าใจว่าทำไมสูตรนี้บ่งบอกถึงการมองในแง่ดี อย่างไร้เดียงสาฉันจะคิดว่าความแปรปรวนร่วมที่แข็งแกร่งระหว่างจริงและทำนายเพียงอธิบายความถูกต้อง - ไม่มองในแง่ดี แจ้งให้เราทราบหากมีคนสามารถช่วยได้มาของสูตรหรือแบ่งปันสัญชาตญาณ ωω\omegayyyyyy

9 error  bias  validation 

มีวิธีใดบ้างที่จะแก้ไขอคติในโมเดลอันตรายตามสัดส่วนของ Cox ที่เกิดจากตัวอย่างที่ไม่ได้เลือกแบบสุ่ม (เช่นการแก้ไขของ Heckman) ความเป็นมา : ให้บอกว่าสถานการณ์มีลักษณะดังนี้: - ในช่วงสองปีแรกลูกค้าทั้งหมดได้รับการยอมรับ - หลังจากสองปีที่ผ่านมา Cox PH model ได้ถูกสร้างขึ้น แบบจำลองทำนายระยะเวลาที่ลูกค้าจะใช้บริการของเรา - เนื่องจากนโยบายของ บริษัท ต่อจากนี้เฉพาะลูกค้าที่มีโอกาสรอดชีวิต 3 เดือนที่มากกว่า 0.5 ได้รับการยอมรับคนอื่น ๆ จึงถูกปฏิเสธ - หลังจากนั้นอีกสองปีจะต้องมีการสร้างโมเดลใหม่ ปัญหาคือเรามีเป้าหมายเฉพาะสำหรับลูกค้าที่ได้รับการยอมรับและการใช้เฉพาะลูกค้าเหล่านี้อาจทำให้เกิดอคติที่ร้ายแรง

9 bias  cox-model