เศษซาก“ คาดการณ์ลบจริง” หรือ“ ลบจริงทำนาย”

ฉันเคยเห็น "ส่วนที่เหลือ" นิยามต่าง ๆ ว่าเป็น "คาดการณ์ลบค่าจริง" หรือ "ลบค่าคาดการณ์จริง" เพื่อวัตถุประสงค์ในการแสดงเพื่อแสดงว่ามีการใช้สูตรทั้งสองอย่างแพร่หลายให้เปรียบเทียบการค้นหาเว็บต่อไปนี้:

• ส่วนที่เหลือ "คาดการณ์ลบจริง"
• ส่วนที่เหลือ "ตามจริงลบด้วยคำทำนาย"

ในทางปฏิบัติมันแทบไม่เคยสร้างความแตกต่างเลยเนื่องจากสัญญาณของสิ่งที่เหลือตามปกติไม่สำคัญ (เช่นถ้ามันถูกยกกำลังสองหรือค่าสัมบูรณ์ถูกใช้) อย่างไรก็ตามคำถามของฉันคือ: หนึ่งในสองเวอร์ชันนี้ (การคาดการณ์แรกและจริงก่อน) ถือเป็น "มาตรฐาน" หรือไม่ ฉันชอบที่จะสอดคล้องในการใช้งานของฉันดังนั้นหากมีมาตรฐานดั้งเดิมที่ดีขึ้นฉันต้องการที่จะปฏิบัติตาม อย่างไรก็ตามหากไม่มีมาตรฐานฉันยินดีที่จะยอมรับว่าเป็นคำตอบหากสามารถพิสูจน์ได้อย่างชัดเจนว่าไม่มีการประชุมมาตรฐาน

ส่วนที่เหลือจะเป็นค่าลบจริงเสมอ แบบจำลองคือ: ดังนั้นที่เหลือซึ่งเป็นการประมาณการข้อผิดพลาด : ε ε ε = Y -

ฉันเห็นด้วยกับ @whuber ว่าเครื่องหมายนั้นไม่สำคัญทางคณิตศาสตร์ เป็นการดีที่จะมีการประชุมแม้ว่า และอนุสัญญาปัจจุบันเป็นเหมือนคำตอบของฉัน

เนื่องจาก OP ท้าทายอำนาจของฉันในเรื่องนี้ฉันจึงเพิ่มการอ้างอิง:

• " (2008) ส่วนที่เหลือใน: สารานุกรมกระชับของสถิติสปริงเกอร์นิวยอร์กนิวยอร์กซึ่งให้คำนิยามเดียวกัน
• ฟิชเชอร์ "วิธีการทางสถิติสำหรับนักวิจัย" ในปี 1925 ก็มีคำจำกัดความเหมือนกันเช่นกันโปรดดูมาตรา 26 ในเวอร์ชัน 1934นี้ แม้จะมีตำแหน่งที่ถ่อมตัว แต่ก็เป็นงานสำคัญในบริบททางประวัติศาสตร์

ฉันเพิ่งเจอเหตุผลที่น่าสนใจสำหรับหนึ่งคำตอบที่จะเป็นคำตอบที่ถูกต้อง

การถดถอย (และแบบจำลองทางสถิติส่วนใหญ่ของการเรียงลำดับใด ๆ ) เกี่ยวข้องกับวิธีการแจกแจงแบบมีเงื่อนไขของการตอบสนองขึ้นอยู่กับตัวแปรอธิบาย องค์ประกอบที่สำคัญของการจำแนกลักษณะของการแจกแจงเหล่านั้นคือการวัดบางอย่างที่มักเรียกว่า "ความเบ้" (แม้ว่าจะมีการเสนอสูตรที่หลากหลายและแตกต่างกัน): มันหมายถึงวิธีพื้นฐานที่สุดที่รูปร่างการกระจายออกจากสมมาตร นี่คือตัวอย่างของข้อมูล bivariate (การตอบสนองและเป็นหนึ่งเดียวตัวแปรอธิบาย ) กับการตอบสนองเงื่อนไขเบ้บวก:$y$$x$

เส้นโค้งสีน้ำเงินเป็นสี่เหลี่ยมจัตุรัสที่น้อยที่สุดพอดี มันแปลงค่าติดตั้ง

เมื่อเราคำนวณความแตกต่างระหว่างการตอบสนองและค่าติดตั้งเราจะเปลี่ยนตำแหน่งของการแจกแจงแบบมีเงื่อนไขแต่อย่าเปลี่ยนรูปร่างของมัน โดยเฉพาะอย่างยิ่งความเบ้ของมันจะไม่เปลี่ยนแปลง$y$$\hat y$

นี่เป็นพล็อตการวินิจฉัยมาตรฐานที่แสดงว่าการแจกแจงแบบมีเงื่อนไขแบบเลื่อนแตกต่างกันอย่างไรกับค่าที่ทำนาย ในทางเรขาคณิตมันก็เกือบจะเหมือนกับ "จนกว่าจะถึง" แผนการกระจายก่อนหน้านี้

ถ้าเราคำนวณความแตกต่างในลำดับอื่นแทนมันจะเปลี่ยนจากนั้นกลับรูปร่างของการแจกแจงแบบมีเงื่อนไข ความเบ้ของมันจะเป็นลบของการแจกแจงแบบมีเงื่อนไขดั้งเดิม$\hat y - y,$

สิ่งนี้แสดงปริมาณเดียวกันกับตัวเลขก่อนหน้า แต่ส่วนที่เหลือได้รับการคำนวณโดยการลบข้อมูลออกจากรูปแบบที่เหมาะสมซึ่งแน่นอนว่าเหมือนกับลบค่าก่อนหน้านี้

แม้ว่าตัวเลขก่อนหน้านี้ทั้งสองจะมีความเท่าเทียมกันทางคณิตศาสตร์ในทุก ๆ ด้าน แต่ก็ถูกแปลงเป็นรูปแบบอื่น ๆ เพียงแค่พลิกจุดข้ามเส้นขอบฟ้าสีฟ้า แต่หนึ่งในนั้นก็มีความสัมพันธ์โดยตรงกับพล็อตเดิม

ดังนั้นหากเป้าหมายของเราคือการเชื่อมโยงลักษณะการกระจายตัวของส่วนที่เหลือกับลักษณะของข้อมูลต้นฉบับ - และนั่นก็เป็นกรณี - มันก็เป็นการดีกว่าที่จะเปลี่ยนการตอบสนองแทนที่จะเปลี่ยนและย้อนกลับ

คำตอบที่ถูกต้องชัดเจน: คำนวณส่วนที่เหลือของคุณเป็น$y - \hat y.$

Green & Tashman (2008, Foresight ) รายงานการสำรวจเล็ก ๆ เกี่ยวกับคำถามแบบอะนาล็อกสำหรับข้อผิดพลาดในการพยากรณ์ ฉันจะสรุปข้อโต้แย้งสำหรับการประชุมตามที่รายงานโดยพวกเขา:

อาร์กิวเมนต์สำหรับ "คาดการณ์จริง"

1. การประชุมทางสถิติคือการ y$y=\hat{y}+\epsilon$

2. อย่างน้อยหนึ่งผู้ตอบแบบสอบถามจากแผ่นดินไหวได้เขียนว่านี่คือการประชุมสำหรับการสร้างแบบจำลองคลื่นแผ่นดินไหวเวลาเดินทาง เมื่อคลื่นไหวสะเทือนจริงมาถึงก่อนเวลาที่ทำนายไว้โดยแบบจำลองเราจะมีเวลาการเดินทางในเชิงลบตกค้าง (ข้อผิดพลาด) ( sic )

3. การประชุมนี้สมเหตุสมผลถ้าเราตีความเป็นงบประมาณแผนงานหรือเป้าหมาย ที่นี่ข้อผิดพลาดในเชิงบวกหมายความว่าเกินงบประมาณ / แผน / เป้าหมาย$\hat{y}$

4. การประชุมนี้ทำให้สูตรสำหรับการยกกำลังแบบเอ็กซ์โปเนนเชียลค่อนข้างง่ายขึ้น เราสามารถใช้เครื่องหมายด้วยอนุสัญญาอื่นเราจะต้องใช้เครื่องหมาย$+$$-$

อาร์กิวเมนต์สำหรับ "ทำนายตามจริง"

1. หากแสดงว่าข้อผิดพลาดเชิงบวกระบุว่าการคาดการณ์นั้นสูงเกินไป มันใช้งานง่ายกว่าการสนทนา$y=\hat{y}-\epsilon$

   ที่เกี่ยวข้องหากมีการกำหนดอคติบวกเป็นข้อผิดพลาดที่คาดหวังในเชิงบวกก็หมายความว่าการคาดการณ์โดยเฉลี่ยสูงเกินไปกับอนุสัญญานี้

   และนี่เป็นข้อโต้แย้งเพียงข้อเดียวที่ได้รับจากการประชุมนี้ จากนั้นอีกครั้งเนื่องจากความเข้าใจผิดที่อนุสัญญาอื่น ๆ สามารถนำไปสู่ ​​(ข้อผิดพลาดเชิงบวก = การคาดการณ์ต่ำเกินไป) จึงเป็นข้อตกลงที่แข็งแกร่ง

ในท้ายที่สุดฉันจะยืนยันว่ามันจะลงมากับคนที่คุณต้องสื่อสารกับคนที่เหลือของคุณ และเนื่องจากการสนทนานี้มีสองด้านแน่นอนว่าควรสังเกตอย่างชัดเจนว่าคุณทำตามแบบแผนใด

คำศัพท์ที่แตกต่างกันบ่งชี้ว่า คำว่า "ส่วนที่เหลือ" หมายถึงว่ามันเป็นสิ่งที่หลงเหลืออยู่หลังจากตัวแปรอธิบายทั้งหมดได้ถูกนำมาพิจารณาเช่นคาดการณ์จริง "ข้อผิดพลาดในการทำนาย" หมายความว่ามันเป็นการทำนายที่เบี่ยงเบนไปจากความเป็นจริงนั่นคือการทำนายที่เกิดขึ้นจริง

แนวคิดของการสร้างแบบจำลองก็มีอิทธิพลต่อการประชุมที่เป็นธรรมชาติมากขึ้น สมมติว่าคุณมี dataframe กับหนึ่งหรือมากกว่าคอลัมน์คุณลักษณะการตอบสนองคอลัมน์และคอลัมน์ทำนายYY $X = x_1,x_2...$$y$$\hat y$

แนวคิดหนึ่งคือคือค่า "ของจริง" และเป็นเพียงเวอร์ชันแปลงแล้ว ในความคิดนี้และเป็นทั้งตัวแปรสุ่ม (เป็นสิ่งที่ได้รับ) แม้ว่าเป็นหนึ่งที่เรากำลังสนใจจริงในคือคนที่เราสามารถสังเกตดังนั้นจะใช้เป็นพร็อกซี่สำหรับปี"ข้อผิดพลาด" เป็นเท่าใดเบี่ยงเบนไปจากนี้ "จริง" ค่าYนี้แสดงให้เห็นการกำหนดข้อผิดพลาดดังต่อไปนี้ทิศทางของการเบี่ยงเบนนี้คือ-yY X Y Y Y Y Y Y Y Y Y E = Y - $y$$\hat y$$X$$y$$\hat y$$\hat y$$y$$\hat y$$\hat y$$y$$\hat y$$y$$e = \hat y -y$

อย่างไรก็ตามมีความคิดอื่นที่คิดเป็นค่า "ของจริง" นั่นคือ y ขึ้นอยู่กับผ่านกระบวนการที่กำหนดไว้บางอย่าง สถานะของก่อให้เกิดค่าที่กำหนดขึ้นโดยเฉพาะ ค่านี้จะถูกรบกวนโดยกระบวนการสุ่มบางอย่าง ดังนั้นเราจึงมี() ในความคิดนี้คือค่า "ของจริง" ของ y ตัวอย่างเช่นสมมติว่าคุณพยายามคำนวณค่าของ g นั่นคือความเร่งเนื่องจากแรงโน้มถ่วง คุณวางพวงของวัตถุคุณวัดระยะเวลาที่พวกมันหล่นลงมา ( ) และระยะเวลาที่มันตกลงมา ( ) จากนั้นคุณวิเคราะห์ข้อมูลด้วยแบบจำลอง y =$\hat y$$X$$X$$x \rightarrow f(X)\rightarrow f(X)+error()$$\hat y$$X$$y$$\sqrt{\frac{2x}{g}}$. คุณพบว่าไม่มีค่า g ที่ทำให้สมการนี้ทำงานได้อย่างถูกต้อง ดังนั้นคุณจึงทำโมเดลนี้เป็น

$\hat y = \sqrt{\frac{2x}{g}}$
$y = \hat y +error$+

นั่นคือคุณใช้ตัวแปร y และพิจารณาว่ามีค่า "ของจริง"ที่ถูกสร้างขึ้นจริงโดยกฎทางกายภาพและจากนั้นค่าอื่น ๆที่แก้ไขโดยสิ่งที่เป็นอิสระจากเช่น ข้อผิดพลาดการวัดหรือลมกระโชกหรืออะไรก็ตาม$\hat y$$y$$\hat y$$X$

ในความคิดนี้คุณกำลังเอา y =เป็นสิ่งที่ความจริง "ควร" กำลังทำอยู่และถ้าคุณได้รับคำตอบที่ไม่เห็นด้วยก็ดีความเป็นจริงได้ คำตอบที่ไม่ถูกต้อง. ตอนนี้แน่นอนว่าสิ่งนี้อาจดูค่อนข้างงี่เง่าและหยิ่งจองหองเมื่อทำแบบนี้ แต่มีเหตุผลที่ดีสำหรับการดำเนินแนวคิดนี้และอาจเป็นประโยชน์ในการคิดวิธีนี้ และในที่สุดมันก็เป็นแบบอย่างเท่านั้น นักสถิติไม่จำเป็นต้องคิดว่านี่เป็นวิธีที่โลกใช้งานได้จริง (แม้ว่าอาจมีบางคนทำอยู่) และเมื่อให้สมการมันจะตามมาว่าข้อผิดพลาดนั้นเป็นจริงลบด้วยการทำนาย$\sqrt{\frac{2x}{g}}$$y = \hat y +error$

นอกจากนี้โปรดทราบว่าหากคุณไม่ชอบแง่มุม "ความจริงทำให้ผิด" ของแนวคิดที่สองคุณสามารถดูได้ว่าเป็น "เราได้ระบุกระบวนการบางอย่างที่ f ซึ่ง y ขึ้นอยู่กับแต่เราไม่ได้รับ คำตอบที่ถูกต้องอย่างแท้จริงดังนั้นจึงต้องมีกระบวนการอื่นที่มีอิทธิพลต่อ y ด้วย " ในรูปแบบนี้$X$

Y= Y +G(?)กรัม=Y -$\hat y = f(X)$
$y = \hat y+g(?)$
$g = y-\hat y$Y

คำตอบโดย @Aksakal ถูกต้องสมบูรณ์ แต่ฉันจะเพิ่มองค์ประกอบเพิ่มเติมอีกหนึ่งรายการที่ฉันพบช่วยฉัน (และนักเรียนของฉัน)

คำขวัญ: สถิติคือ "สมบูรณ์แบบ" ในขณะที่ฉันสามารถให้การทำนายที่สมบูรณ์แบบได้เสมอ (ฉันรู้ว่าบางคนกำลังเขียนคิ้วขึ้นตอนนี้ ... ลองฟังฉันสิ)

ฉันจะคาดการณ์ค่าสังเกตของฉันy_iด้วยรูปแบบของรูปแบบบางอย่างผมจะสร้างมูลค่าที่คาดการณ์ไว้สำหรับแต่ละค่าสังเกตฉันจะเรียกสิ่งนี้\ปัญหาเดียวก็คือโดยปกติ (เสมอ) ดังนั้นเราจะเพิ่มตัวแปรใหม่เพื่อให้ความเท่าเทียมนั้นคงอยู่ ... แต่สำหรับฉันแล้วตัวเลือกที่ดีกว่าคือการเพิ่มลงใน ค่า "ทำนาย" ("ทำขึ้น") ของเราแทนการเพิ่มลงในมูลค่าจริง (เนื่องจากการเพิ่มหรือลบออกจากมูลค่าจริงอาจเป็นไปไม่ได้ทางร่างกาย ... ดูความคิดเห็นด้านล่าง): ทีนี้เรามีการทำนาย "สมบูรณ์แบบ" ... ค่า "สุดท้าย" ของเราตรงกับค่าที่เราสังเกตYฉันY ฉัน ≠ Yฉันε ฉันY ฉัน = Yฉัน + ε $y_i$$\hat{y}_i$

เห็นได้ชัดว่าสิ่งนี้คัดสรรกว่าทฤษฎีทางสถิติจำนวนมหาศาลที่เกิดขึ้น ... แต่มันเน้นความคิดที่ว่าค่าที่สังเกตได้คือผลรวมของสองส่วนที่แตกต่างกัน (ส่วนที่เป็นระบบและส่วนที่สุ่ม) หากคุณจำได้ในรูปแบบนี้คุณจะมีส่วนที่เหลืออยู่เป็นค่าที่ถูกลบด้วยค่าพยากรณ์$\epsilon_i$

$\newcommand{\e}{\varepsilon}$ฉันจะใช้กรณีเฉพาะของการถดถอยเชิงเส้นกำลังสองน้อยที่สุด ถ้าเราใช้รูปแบบของเราที่จะแล้วเป็นจุด @Aksakal จากธรรมชาติเราจบลงด้วยดังนั้นY แต่ถ้าเราใช้เป็นรูปแบบของเราซึ่งเราอย่างแน่นอนอิสระที่จะทำแล้วเราจะได้รับY ณ จุดนี้มีจริงๆเหตุผลที่จะชอบหนึ่งในช่วงอื่น ๆ นอกเหนือจากการตั้งค่าที่คลุมเครือไม่กว่า-1$Y = X\beta + \e$$\e = Y - X\beta$$\hat \e = Y - \hat Y$$Y = X\beta - \e$$\e = X\beta - Y \implies \hat \e = \hat Y - Y$$1$$-1$

แต่ถ้าแล้วเราได้รับที่เหลือของเราผ่านทางที่เป็นเมทริกซ์ idempotent ฉายเข้ามุมฉากพื้นที่ไปยังพื้นที่คอลัมน์ของการออกแบบเมทริกซ์Xถ้าเรานำมาใช้แทนแล้วเราจบลงด้วย Y แต่ไม่ได้เป็นของตัวเองเป็น idempotentฉัน) ดังนั้นจริงๆเป็นเชิงลบของเมทริกซ์ฉายคือP_X ดังนั้นฉันจึงเห็นว่านี่เป็นการยกเลิกการลบที่แนะนำโดยใช้ดังนั้นเพื่อประโยชน์ของความประหยัดที่ดีกว่าการใช้$\hat \e = Y - \hat Y$$(I - P_X)Y$$I - P_X$$X$$Y = X\beta - \e$$\hat \e = (P_X - I)Y$$P_X - I$P X - ฉันฉัน- P X Y = X β - ε Y = X β + ε Y - $(P_X - I)^2 = P_X^2 - 2P_X + I = -(P_X - I)$$P_X - I$$I - P_X$$Y = X\beta - \e$$Y = X\beta + \e$ซึ่งในทางกลับกันทำให้เราเป็นส่วนที่เหลือ$Y - \hat Y$

ดังที่ได้กล่าวไว้ในที่อื่นก็ไม่เหมือนการแบ่งอะไรถ้าเราใช้แต่เราจบลงด้วยสถานการณ์เชิงลบนี้สองครั้งซึ่งผมคิดว่าเป็นเหตุผลที่ดีพอที่จะใช้เพียงYY -$\hat Y - Y$$Y - \hat Y$