นักอุตุนิยมวิทยาของฉันถูกต้องหรือไม่?

20

คำถามที่รบกวนฉันในบางครั้งซึ่งฉันไม่รู้วิธีการแก้ไข:

ทุกวันนักอุตุนิยมวิทยาของฉันให้โอกาสเปอร์เซ็นต์ฝนตก (สมมติว่าคำนวณเป็นตัวเลข 9000 และเขาไม่เคยซ้ำตัวเลข) ทุกวันต่อมาฝนหรือฝนไม่ตก

ฉันมีข้อมูลหลายปี - โอกาสที่จะเกิดฝนหรือไม่ จากประวัติศาสตร์ของนักอุตุนิยมวิทยานี้ถ้าเขาบอกว่าคืนนี้โอกาสในวันพรุ่งนี้ของฝนคือ X แล้วสิ่งที่ฉันคาดเดาได้ดีที่สุดว่าโอกาสฝนตกจริงๆคืออะไร?

hypothesis-testing forecasting

— พอลเมอเรย์
แหล่งที่มา

นี้เกี่ยวข้องกับคำถามที่ผ่านมา: stats.stackexchange.com/q/2275/495

— Simon Byrne

สิ่งที่ต้องคำนึงถึง: ในหนังสือของ Nate Silver เกี่ยวกับการทำนายสัญญาณและเสียง: ทำไมการคาดการณ์มากมายจึงล้มเหลว - แต่บางคนทำไม่ได้เขาพูดยาว ๆ ว่านักอุตุนิยมวิทยาจะปรับการพยากรณ์ฝนของพวกเขาเป็นประจำด้วยเหตุผลทางการตลาดอย่างไร NOAA ไม่ได้ แต่ Weather Channel เปิดให้บริการอย่างเป็นธรรมเกี่ยวกับการแก้ไขโอกาสระหว่าง 5 และ 20 ถึง 20 (เพื่อไม่ให้ลูกค้าโกรธถ้าฝนตกจริง ๆ ) ในขณะที่นักพยากรณ์สำหรับสถานีโทรทัศน์ท้องถิ่นมักวางตัวเลขของพวกเขาอย่างโจ่งแจ้งมากขึ้น ความลำเอียงที่มีสติและผิดจรรยาบรรณนี้อาจส่งผลกระทบต่อการประเมินทางสถิติของคุณภาพการทำนาย

— SQLServerSteve

6

ในกรณีที่คุณกำลังคิดแบบจำลองซึ่งโอกาสที่แท้จริงของฝนpคือฟังก์ชันของโอกาสที่คาดการณ์q : p = p (q ) ทุกครั้งที่มีการคาดคะเนคุณจะสังเกตเห็นการตระหนักถึงความแปรปรวนของเบอร์นูลลีหนึ่งครั้งที่มีความน่าจะเป็นp (q)ของความสำเร็จ นี่คือการตั้งค่าการถดถอยแบบโลจิสติกส์แบบคลาสสิกหากคุณเต็มใจที่จะสร้างแบบจำลองโอกาสที่แท้จริงเช่นการรวมกันเชิงเส้นของฟังก์ชันพื้นฐานf1 , f2 , ... , fk ; นั่นคือแบบจำลองบอกว่า

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

มีข้อผิดพลาด IID อี หากคุณไม่เชื่อเรื่องรูปแบบของความสัมพันธ์ (แม้ว่านักอุตุนิยมวิทยาจะดีp (q) - qควรมีขนาดเล็กพอสมควร) ให้พิจารณาใช้ชุดเส้นโค้งสำหรับพื้นฐาน การส่งออกตามปกติประกอบด้วยประมาณการของสัมประสิทธิ์และการประมาณการความแปรปรวนของอี ให้การคาดการณ์ในอนาคตqเพียงแค่เสียบค่าลงในแบบจำลองพร้อมค่าสัมประสิทธิ์โดยประมาณเพื่อให้ได้คำตอบสำหรับคำถามของคุณ (และใช้ความแปรปรวนของeเพื่อสร้างช่วงเวลาการทำนายรอบคำตอบนั้นหากคุณต้องการ)

กรอบนี้มีความยืดหยุ่นเพียงพอที่จะรวมปัจจัยอื่น ๆ เช่นความเป็นไปได้ของการเปลี่ยนแปลงในคุณภาพของการทำนายเมื่อเวลาผ่านไป นอกจากนี้ยังให้คุณทดสอบสมมติฐานเช่นว่าp = q (ซึ่งเป็นสิ่งที่นักอุตุนิยมวิทยาเรียกร้องโดยปริยาย)

— whuber
แหล่งที่มา

อืม - คำถามของฉันยังไม่ชัดเจน สิ่งเดียวที่ฉันสามารถทำได้คือการเลือกบางแบบจำลองสำหรับ Q () ที่อนุญาตให้พารามิเตอร์การตั้งค่าและเพิ่มความดีของพอดีโดยการเล่นซอกับพารามิเตอร์เหล่านั้น นั่นคือ - ไม่ว่าฉันจะทำอะไรฉันจะต้องตั้งสมมติฐานบางอย่างเกี่ยวกับสิ่งที่ q () โดยทั่วไปดูเหมือนว่า

— พอลเมอเรย์

11

การเปรียบเทียบความน่าจะเป็นของการคาดการณ์สำหรับเหตุการณ์ไบนารี (หรือตัวแปรสุ่มแยก) สามารถทำได้ตามคะแนน Brier

$\tau$ $\tau$

คุณควรดูว่าศูนย์ยุโรปสำหรับการพยากรณ์อากาศระดับกลาง ( ECMWF ทำ ) ได้อย่างไร

— โรบินกีร์ด
แหล่งที่มา

3

เมื่อการพยากรณ์บอกว่า "โอกาสร้อยละ X ของฝนใน (พื้นที่)" ก็หมายความว่าแบบจำลองสภาพอากาศเชิงตัวเลขได้ระบุปริมาณฝนในรูปแบบ X เปอร์เซ็นต์ของพื้นที่สำหรับช่วงเวลาที่เป็นปัญหา ตัวอย่างเช่นโดยปกติจะแม่นยำในการทำนาย "โอกาส 100 เปอร์เซ็นต์ของฝนในอเมริกาเหนือ" จำไว้ว่าแบบจำลองนั้นดีในการทำนายพลศาสตร์และน่าสงสารในการทำนายอุณหพลศาสตร์

— หมาด ๆ
แหล่งที่มา

1

หัวข้อเก่า แต่เป็นประเด็นสำคัญสำหรับการชี้แจงใน OP: เมื่อพวกเขาบอกว่าพวกเขามีข้อมูล "ฝนหรือไม่" ซึ่งเปรียบเทียบการทำนายพวกเขาหมายถึง "ที่บ้านของฉัน" หรือพวกเขาหมายถึง "ในการทำนาย พื้นที่ "?

— Wayne

2

วิธีการของBrier Scoreนั้นง่ายมากและเป็นวิธีที่ใช้งานได้โดยตรงที่สุดในการตรวจสอบความถูกต้องของผลลัพธ์ที่คาดการณ์เมื่อเทียบกับเหตุการณ์ไบนารี

อย่าพึ่งพาเพียงแค่สูตร ... วางแผนคะแนนสำหรับช่วงเวลาที่แตกต่างกันข้อมูลข้อผิดพลาดการถ่วงน้ำหนักเฉลี่ยของข้อมูลข้อผิดพลาด ... มันยากที่จะพูดว่าการวิเคราะห์ภาพอาจเปิดเผย ... หลังจากคุณคิด คุณเห็นอะไรบางอย่างคุณจะรู้ได้ดีขึ้นว่าการทดสอบสมมติฐานแบบใดที่จะดำเนินการจนกว่าคุณจะดูข้อมูล

คะแนน Brier โดยทั่วไปถือว่ามีความเสถียรของการเปลี่ยนแปลง / การแจกแจงสภาพอากาศและเทคโนโลยีที่ขับเคลื่อนโมเดลการพยากรณ์การขาดความเป็นเส้นตรงไม่มีอคติการขาดการเปลี่ยนแปลงอคติ เมื่อการเปลี่ยนแปลงสภาพภูมิอากาศในรูปแบบที่ยังไม่เข้าใจความแม่นยำของการพยากรณ์อากาศจะลดลง ในทางกลับกันนักวิทยาศาสตร์ที่ให้ข้อมูลแก่นักอุตุนิยมวิทยามีทรัพยากรมากกว่ารุ่นที่สมบูรณ์กว่ากำลังการคำนวณมากขึ้นดังนั้นบางทีความแม่นยำของการทำนายจะเพิ่มขึ้น การดูข้อผิดพลาดจะบอกอะไรบางอย่างเกี่ยวกับเสถียรภาพความเป็นเส้นตรงและอคติของการคาดการณ์ ... คุณอาจมีข้อมูลไม่เพียงพอที่จะเห็นแนวโน้ม คุณอาจเรียนรู้ว่าเสถียรภาพความเป็นเส้นตรงและอคติไม่ใช่ปัญหา คุณอาจเรียนรู้ว่าการพยากรณ์อากาศกำลังแม่นยำมากขึ้น ... หรือไม่

— markbruns
แหล่งที่มา

0

แล้วการคาดคะเนที่ได้รับและการแยกเศษส่วนที่สังเกตได้เป็นเพียงการประมาณค่าของคุณสำหรับแต่ละถังขยะ?

คุณสามารถทำให้สิ่งนี้เป็นรูปแบบต่อเนื่องโดยการชั่งน้ำหนักการสังเกตทั้งหมดรอบค่าที่คุณสนใจ (พูดคำทำนายในวันพรุ่งนี้) โดย Gaussian และดูว่าค่าเฉลี่ยถ่วงน้ำหนัก

คุณสามารถเดาความกว้างเพื่อให้ได้เศษของข้อมูล (หรือพูดไม่น้อยกว่า 100 คะแนนเพื่อการประเมินที่ดี) หรือใช้วิธีการเช่นการตรวจสอบข้ามความเป็นไปได้สูงสุดเพื่อให้ได้ความกว้างแบบเกาส์เซียน

— luispedro
แหล่งที่มา

0

คุณต้องการที่จะรู้ว่าการคาดการณ์ของเขามีความแม่นยำมากกว่าการคาดการณ์อื่นหรือไม่? ถ้าเป็นเช่นนั้นคุณสามารถดูการวัดความแม่นยำขั้นพื้นฐานสำหรับการจำแนกประเภทความน่าจะเป็นเช่นการข้ามเอนโทรปีความแม่นยำ / การจำเส้นโค้ง ROC และคะแนน f1

การพิจารณาว่าการคาดการณ์นั้นดีหรือไม่นั้นเป็นเรื่องที่แตกต่าง ทางเลือกหนึ่งคือดูการสอบเทียบ ในทุกวันที่เขาพูดว่าจะมีโอกาส 90% ของฝนฝนตก 90% ของวันเหล่านั้นมีฝนใช่ไหม? ใช้เวลาทั้งวันที่เขามีการคาดการณ์จากนั้นฝากข้อมูลโดยประมาณความน่าจะเป็นของฝน สำหรับแต่ละถังคำนวณเปอร์เซ็นต์ของวันที่มีฝนตกจริง จากนั้นสำหรับการวางแผนแต่ละถังความน่าจะเป็นที่แท้จริงของฝนเทียบกับการประเมินของเขาสำหรับความน่าจะเป็นของฝน พล็อตจะมีลักษณะเป็นเส้นตรงหากการพยากรณ์ถูกปรับเทียบอย่างดี

— อเล็กซ์แลมบ์
แหล่งที่มา