การย่อยสลายความแปรปรวนแบบอคติ: คำที่คาดการณ์ข้อผิดพลาดกำลังสองน้อยกว่าข้อผิดพลาดลดลง

Hastie และคณะ "องค์ประกอบของการเรียนรู้ทางสถิติ" (2009) พิจารณากระบวนการสร้างข้อมูล กับและvarepsilon}

พวกเขานำเสนอการสลายตัวอคติ - แปรปรวนต่อไปนี้ของข้อผิดพลาดคาดการณ์กำลังสองที่จุด (หน้า 223 สูตร 7.9): ในของฉัน งานของตัวเองฉันไม่ได้ระบุแต่รับการคาดการณ์แบบสุ่มแทน (ถ้าเกี่ยวข้อง) คำถาม:ฉันกำลังมองหาคำว่า หรือแม่นยำยิ่งขึ้น $x_0$

ผมเสนอข้อผิดพลาดซึ้งปรับปรุง นี่เป็นคำศัพท์ที่นำมาใช้ในวรรค 2.1.1 ของGareth, Witten, Hastie & Tibshirani, คำแนะนำเบื้องต้นเกี่ยวกับการเรียนรู้ทางสถิติหนังสือซึ่งโดยพื้นฐานแล้วจะทำให้ ESL + ห้องปฏิบัติการรหัส R ที่ยอดเยี่ยมง่าย (ยกเว้นข้อเท็จจริงที่ใช้attachแต่เดี๋ยวก่อนไม่มีใครสมบูรณ์แบบ) ฉันจะแสดงรายการด้านล่างเหตุผลข้อดีและข้อเสียของคำศัพท์นี้

แรกของทั้งหมดที่เราจะต้องจำได้ว่าเราไม่เพียง แต่ถือว่าจะมีค่าเฉลี่ย 0, แต่ยังเป็นอิสระของ (ดูวรรค 2.6.1 สูตร 2.29 ของ ESL 2 ^{ครั้ง}ฉบับที่ 12 ^วันการพิมพ์) แน่นอน$\epsilon$$X$$\epsilon$ ไม่สามารถประมาณได้จาก $X$ไม่ว่าชั้นเรียนสมมติฐานใด $\mathcal{H}$(ตระกูลของแบบจำลอง) เราเลือกและตัวอย่างที่เราใช้ในการเรียนรู้สมมติฐานของเรานั้นใหญ่เพียงใด (ประเมินโมเดลของเรา) สิ่งนี้อธิบายว่าทำไม$\sigma^2_{\epsilon}$ เรียกว่าข้อผิดพลาดลดลง

ดูเหมือนว่าเป็นธรรมชาติในการกำหนดส่วนที่เหลือของข้อผิดพลาด $\text{Err}(x_0)-\sigma^2_{\epsilon}$ที่ผิดพลาดซึ้งปรับปรุง ตอนนี้คำศัพท์นี้อาจฟังดูค่อนข้างสับสน: ตามความเป็นจริงภายใต้สมมติฐานที่เราทำไว้สำหรับกระบวนการสร้างข้อมูลเราสามารถพิสูจน์ได้ว่า

ดังนั้นความผิดพลาดที่ลดลงสามารถลดลงเป็นศูนย์ได้ถ้าหาก $\mathbb{E}[Y\vert X=x]\in \mathcal{H}$(สมมติว่าเรามีผู้ประเมินที่สอดคล้องกัน) ถ้า$\mathbb{E}[Y\vert X=x]\notin \mathcal{H}$เราไม่สามารถขับข้อผิดพลาดที่ลดได้ถึง 0 แม้จะอยู่ในขีด จำกัด ของขนาดตัวอย่างที่ไม่สิ้นสุด อย่างไรก็ตามยังคงเป็นเพียงส่วนหนึ่งของข้อผิดพลาดของเราซึ่งสามารถลดลงได้หากไม่ถูกกำจัดโดยการเปลี่ยนขนาดตัวอย่างแนะนำการทำให้เป็นปกติ (การหดตัว) ในตัวประมาณของเราเป็นต้นกล่าวอีกนัยหนึ่งคือเลือกอีกอัน$\hat{f}(x)$ ในรุ่นครอบครัวของเรา

โดยพื้นฐานแล้วออกซิเจนที่ลดลงนั้นไม่ได้หมายถึงความรู้สึกเป็นศูนย์ (yuck!) แต่ในแง่ของความผิดพลาดที่สามารถลดลงได้ถึงแม้ว่าจะไม่จำเป็นต้องมีขนาดเล็กก็ตาม นอกจากนี้โปรดทราบว่าโดยหลักการแล้วข้อผิดพลาดนี้สามารถลดลงเป็น 0 ได้โดยการขยายใหญ่ขึ้น$\mathcal{H}$ จนกว่าจะมี $\mathbb{E}[Y\vert X=x]$. ในทางตรงกันข้าม,$\sigma^2_{\epsilon}$ ไม่สามารถลดได้ไม่ว่าจะใหญ่เพียงใด $\mathcal{H}$ เป็นเพราะ $\epsilon\perp X$.

ในระบบที่เกิดเหตุการณ์ทางกายภาพทั้งหมดได้รับการออกแบบอย่างเหมาะสมส่วนที่เหลือจะเป็นจุดรบกวน อย่างไรก็ตามโดยทั่วไปจะมีโครงสร้างในข้อผิดพลาดของแบบจำลองข้อมูลมากกว่าเสียงรบกวน ตัวอย่างเช่นการตั้งค่าแบบอคติและเสียงรบกวนอย่างเดียวไม่ได้อธิบายส่วนที่เหลือของเส้นโค้งเช่นโครงสร้างข้อมูลที่ไม่ถูกถอดรหัส จำนวนรวมของเศษส่วนที่ไม่ได้อธิบายคือ$1-R^2$ซึ่งอาจประกอบด้วยการบิดเบือนความจริงของฟิสิกส์รวมถึงอคติและเสียงรบกวนของโครงสร้างที่รู้จัก ถ้าโดยอคติเราหมายถึงเฉพาะข้อผิดพลาดในการประมาณค่าเฉลี่ย$y$โดย "irreducible error" เราหมายถึงสัญญาณรบกวนและโดยความแปรปรวนเราหมายถึงข้อผิดพลาดทางกายภาพของแบบจำลองจากนั้นผลรวมของอคติ (squared) และข้อผิดพลาดทางกายภาพของระบบไม่ใช่สิ่งพิเศษใด ๆ มันเป็นเพียงข้อผิดพลาดที่ไม่ใช่เสียงรบกวน . อาจมีการใช้การลงทะเบียนคำผิด (ยกกำลังสอง) สำหรับสิ่งนี้ในบริบทที่เฉพาะเจาะจงดูด้านล่าง หากคุณต้องการพูดข้อผิดพลาดเป็นอิสระจาก$n$เมื่อเทียบกับข้อผิดพลาดที่เป็นหน้าที่ของ $n$, บอกว่า. IMHO ไม่ใช่ข้อผิดพลาดที่ไม่สามารถลดลงได้ดังนั้นคุณสมบัติของการลดความสามารถในการลดความเข้าใจผิดทำให้เกิดความสับสนมากกว่าที่มันจะส่องสว่าง

ทำไมฉันถึงไม่ชอบคำว่า "reducibility"? มันรสชาติของซ้ำซากตัวอ้างอิงในขณะที่ความจริงของ reducibility ฉันเห็นด้วยกับรัสเซล 2462ว่า"ฉันไม่เห็นเหตุผลใด ๆ ที่จะเชื่อว่าความจริงของการลดความจำเป็นมีเหตุผลซึ่งเป็นสิ่งที่จะต้องมีความหมายโดยบอกว่ามันเป็นเรื่องจริงในโลกที่เป็นไปได้ทั้งหมด ตรรกะจึงเป็นข้อบกพร่อง ... สมมติฐานที่น่าสงสัย "

ด้านล่างเป็นตัวอย่างของโครงสร้างที่เหลือเนื่องจากการสร้างแบบจำลองทางกายภาพที่ไม่สมบูรณ์ สิ่งนี้แสดงให้เห็นถึงสิ่งตกค้างจากสี่เหลี่ยมจัตุรัสที่น้อยที่สุดที่ปกติของการกระจายแกมม่าที่ปรับขนาดเช่นแกมม่าแปรปรวน (GV) ไปยังตัวอย่างพลาสมาเลือดของกัมมันตภาพรังสีของรังสีของไตที่ได้รับการกรองกัมมันตรังสี [ 1 ] โปรดทราบว่าข้อมูลเพิ่มเติมที่ถูกทิ้ง ($n=36$ สำหรับแต่ละเวลาตัวอย่าง) โมเดลที่ดีกว่าจะกลายเป็นเพื่อให้ reducibility deproves กับช่วงตัวอย่างเพิ่มเติม

เป็นที่น่าสังเกตว่าเมื่อหนึ่งหยดตัวอย่างแรกที่ห้านาทีฟิสิกส์จะดีขึ้นตามลำดับเมื่อมีการปล่อยตัวอย่างแรกออกไปจนถึง 60 นาที นี่แสดงให้เห็นว่าแม้ว่า GV จะเป็นตัวอย่างที่ดีสำหรับความเข้มข้นในพลาสมาของยา แต่ก็มีบางอย่างเกิดขึ้นในช่วงแรก

อันที่จริงถ้าหากใครเชื่อว่ามีการแจกแจงแกมม่าสองครั้งหนึ่งครั้งแรกการส่งยาไปทั่วและอีกครั้งสำหรับการล้างอวัยวะ $1\%$[ 2 ] ถัดไปเป็นตัวอย่างของการชักชวนนั้น

จากตัวอย่างหลังนั้นสำหรับรากที่สองของการนับเมื่อเทียบกับกราฟเวลา $y$การเบี่ยงเบนแกนเป็นส่วนเบี่ยงเบนมาตรฐานในแง่ของความผิดพลาดของเสียงปัวซอง กราฟดังกล่าวเป็นภาพที่ข้อผิดพลาดของความพอดีคือการลงทะเบียนภาพที่ผิดจากการบิดเบือนหรือแปรปรวน ในบริบทนั้นและเฉพาะบริบทนั้นการลงทะเบียนที่ไม่ถูกต้องคือความผิดพลาดของอคติและการสร้างแบบจำลองและข้อผิดพลาดทั้งหมดคือการลงทะเบียนที่ผิดพลาดรวมถึงข้อผิดพลาดทางเสียง