การทำความเข้าใจ“ ความแปรปรวน” อย่างสังหรณ์ใจ

อะไรคือวิธีที่สะอาดและง่ายที่สุดในการอธิบายแนวคิดเรื่องความแปรปรวนของใครบางคน? มันหมายถึงอะไรอย่างสังหรณ์ใจ? ถ้ามีใครอธิบายเรื่องนี้ให้ลูกฟัง

มันเป็นแนวคิดที่ฉันมีปัญหาในการสื่อสาร - โดยเฉพาะอย่างยิ่งเมื่อเกี่ยวข้องกับความแปรปรวนกับความเสี่ยง ฉันเข้าใจในเชิงคณิตศาสตร์และสามารถอธิบายได้เช่นกัน แต่เมื่ออธิบายปรากฏการณ์ในโลกแห่งความเป็นจริงคุณจะทำให้คนหนึ่งเข้าใจถึงความแปรปรวนและการบังคับใช้ใน 'โลกแห่งความจริง' ได้อย่างไร

สมมติว่าเรากำลังจำลองการลงทุนในหุ้นโดยใช้ตัวเลขสุ่ม (กลิ้งแม่พิมพ์หรือใช้แผ่นงาน Excel ไม่สำคัญ) เราได้รับผลตอบแทนจากการลงทุนโดยเชื่อมโยงแต่ละตัวแปรสุ่มกับ 'การเปลี่ยนแปลงบางอย่าง' ในผลตอบแทน เช่น.:

การกลิ้ง 1 หมายถึงการเปลี่ยนแปลง 0.8 ต่อ$ 1 ในการลงทุน 5 การเปลี่ยนแปลง 1.1 ต่อ$ 1 และอื่น ๆ

ตอนนี้หากการจำลองนี้ดำเนินการประมาณ 50 ครั้ง (หรือ 20 หรือ 100) เราจะได้รับค่าบางอย่างและมูลค่าสุดท้ายของการลงทุน ดังนั้น 'ความแปรปรวน' จริง ๆ แล้วบอกอะไรเราถ้าเราจะคำนวณจากชุดข้อมูลด้านบน สิ่งใดที่ "เห็น" - หากความแปรปรวนปรากฎเป็น 1.7654 หรือ 0.88765 หรือ 5.2342 สิ่งนี้หมายความว่าอย่างไร ฉันสามารถสังเกตอะไรเกี่ยวกับการลงทุนนี้ได้บ้าง ข้อสรุปอะไรที่ฉันสามารถวาด - ในแง่คนธรรมดา

โปรดเพิ่มคำถามด้วยสำหรับส่วนเบี่ยงเบนมาตรฐานด้วย! แม้ว่าฉันจะรู้สึกว่า 'เข้าใจง่ายกว่า' แต่สิ่งที่จะช่วยทำให้ชัดเจน 'สังหรณ์ใจ' จะได้รับการชื่นชมอย่างมาก!

ฉันอาจจะใช้การเปรียบเทียบที่คล้ายกันกับสิ่งที่ฉันได้เรียนรู้ที่จะให้ 'คนธรรมดา' เมื่อนำเสนอแนวคิดของอคติและความแปรปรวน: การเปรียบเทียบ dartboard ดูด้านล่าง:

โดยเฉพาะอย่างยิ่งภาพข้างต้นเป็นจากสารานุกรมของเครื่องการเรียนรู้และการอ้างอิงในภาพคือมัวร์และของ McCabe "รู้เบื้องต้นเกี่ยวกับการปฏิบัติงานของสถิติ"

แก้ไข:

นี่คือแบบฝึกหัดที่ฉันเชื่อว่าใช้งานได้ง่าย: หยิบไพ่ (ออกจากกล่อง) และวางสำรับจากความสูงประมาณ 1 ฟุต ขอให้ลูกของคุณหยิบไพ่และส่งคืนให้คุณ จากนั้นแทนที่จะทิ้งดาดฟ้าโยนให้สูงที่สุดเท่าที่จะทำได้และปล่อยให้ไพ่ตกลงไปที่พื้น ขอให้ลูกของคุณหยิบไพ่และส่งคืนให้คุณ

ความสนุกแบบสัมพัทธ์ที่มีระหว่างการทดลองสองครั้งควรทำให้พวกเขารู้สึกถึงความแปรปรวนได้ง่าย :)

ฉันเคยสอนสถิติให้กับคนธรรมดาด้วยเรื่องตลกและฉันพบว่าพวกเขาเรียนรู้มากมาย

สมมติว่าสำหรับความแปรปรวนหรือค่าเบี่ยงเบนมาตรฐานเรื่องตลกต่อไปนี้มีประโยชน์มาก:

เรื่องตลก

เมื่อนักสถิติสองคนที่มีความสูง 4 ฟุตและ 5 ฟุตต้องข้ามแม่น้ำที่มีความลึกเฉลี่ย 3 ฟุต ในขณะเดียวกันนักสถิติคนที่สามมาและพูดว่า "คุณจะรออะไรอีกหรือคุณสามารถข้ามแม่น้ำได้อย่างง่ายดาย"

ฉันสมมติว่าคนธรรมดารู้เกี่ยวกับคำว่า 'เฉลี่ย' คุณสามารถถามคำถามเดียวกันกับพวกเขาว่าพวกเขาจะข้ามแม่น้ำในสถานการณ์เช่นนี้หรือไม่?

สิ่งที่พวกเขาขาดไปคือ 'ความแปรปรวน' เพื่อตัดสินใจว่าจะทำอย่างไรในสถานการณ์

มันคือทั้งหมดที่เกี่ยวกับทักษะการนำเสนอของคุณ อย่างไรก็ตามเรื่องตลกช่วยได้มากสำหรับคนธรรมดาที่ต้องการเข้าใจสถิติ ฉันหวังว่ามันจะช่วย!

ฉันจะมุ่งเน้นที่ส่วนเบี่ยงเบนมาตรฐานมากกว่าความแปรปรวน ความแปรปรวนอยู่ในระดับที่ไม่ถูกต้อง

เช่นเดียวกับค่าเฉลี่ยคือค่าปกติ SD นั้นเป็นความแตกต่าง (สัมบูรณ์) โดยทั่วไปจากค่าเฉลี่ย มันไม่เหมือนกับการกระจายการพับที่ค่าเฉลี่ยและรับค่าเฉลี่ยนั้น

ฉันไม่เห็นด้วยกับคำตอบมากมายที่ผลักดันให้ผู้คนคิดถึงความแปรปรวนอย่างหมดจด ในฐานะที่เป็นคนฉลาด (Nassim Taleb) ได้ชี้ให้เห็นเมื่อผู้คนคิดว่าความแปรปรวนตามการแพร่กระจายพวกเขาเพียงแค่คิดว่ามันเป็น MAD

ความแปรปรวนเป็นคำอธิบายว่าสมาชิกมาจากค่าเฉลี่ยเท่าใดและจะตัดสินความสำคัญของการสังเกตแต่ละครั้งด้วยระยะทางเดียวกันนี้ ซึ่งหมายความว่าการสังเกตการณ์ที่อยู่ไกลออกไปจะถูกตัดสินว่ามีความสำคัญมากกว่า ดังนั้นสี่เหลี่ยม

ฉันคิดว่าความแปรปรวนของตัวแปรเครื่องแบบต่อเนื่องเป็นวิธีที่ง่ายที่สุดในการถ่ายภาพ การสังเกตแต่ละครั้งสามารถวาดสี่เหลี่ยมจัตุรัสได้ การซ้อนสี่เหลี่ยมเหล่านี้จะสร้างปิรามิด ตัดปิรามิดลงครึ่งหนึ่งเพื่อให้น้ำหนักอยู่ครึ่งหนึ่งและอีกครึ่งอยู่ในอีกด้านหนึ่ง ใบหน้าที่คุณตัดมันคือความแปรปรวน

บางทีนี่อาจช่วยได้ ฉันขอโทษล่วงหน้าว่าในฐานะมือสมัครเล่นที่สมบูรณ์ฉันอาจผิดพลาดได้

ลองนึกภาพคุณถาม 1,000 คนให้เดาอย่างถูกต้องว่ามีถั่วจำนวนเท่าใดในขวดที่เต็มไปด้วยถั่วเยลลี่ ทีนี้ลองนึกดูว่าคุณไม่จำเป็นต้องสนใจรู้คำตอบที่ถูกต้อง (ซึ่งอาจมีประโยชน์) แต่คุณต้องการที่จะเข้าใจมากขึ้นว่าผู้คนประเมินคำตอบอย่างไร

ความแปรปรวนสามารถอธิบายให้บุคคลทั่วไปทราบได้จากคำตอบที่แตกต่างกัน (จากมากไปน้อย) คุณสามารถดำเนินการต่อโดยเพิ่มว่าหากมีผู้คนจำนวนมากที่ถูกสอบสวนคำตอบที่ถูกต้องควรอยู่ที่ไหนสักแห่งในช่วงกลางของการแพร่กระจายของ

ตอนนี้ฉันอ้างถึงเพื่อนร่วมงานที่นับถือของฉันมากขึ้นสำหรับการตัดสิน

ฉันกำลังนั่งลงเพื่อไขปริศนาความแปรปรวนและในที่สุดสิ่งที่ทำให้ฉันคลิกเข้าไปแทนที่ฉันก็คือดูมันแบบกราฟิก

สมมติว่าคุณวาดเส้นจำนวนที่มีสี่จุด, -7, -1, 1 และ 7 ตอนนี้วาดแกน Y จำนวนจินตภาพด้วยสี่จุดเดียวกันตามมิติ Y และใช้คู่ XY เพื่อวาดสี่เหลี่ยมสำหรับแต่ละคู่ ของคะแนน คุณไขลานกับสี่เหลี่ยมสี่แยกซึ่งประกอบด้วย 49, 1, 1 และ 49 สี่เหลี่ยมเล็ก ๆ แต่ละอัน แต่ละคนมีส่วนร่วมในผลรวมของสี่เหลี่ยมซึ่งตัวเองสามารถแสดงเป็นขนาดใหญ่ 10 x 10 ตารางกับ 100 สี่เหลี่ยมเล็ก ๆ โดยรวม

ความแปรปรวนคือขนาดของสี่เหลี่ยมจัตุรัสโดยเฉลี่ย 49 + 1 + 49 + 1 = 100, 100/4 = 25 ดังนั้น 25 จะเป็นความแปรปรวน ค่าเบี่ยงเบนมาตรฐานจะเป็นความยาวของด้านใดด้านหนึ่งของตารางเฉลี่ยนั้นหรือ 5

เห็นได้ชัดว่าการเปรียบเทียบนี้ไม่ครอบคลุมความแตกต่างของแนวคิดเรื่องความแปรปรวน มีหลายสิ่งที่ต้องอธิบายเช่นทำไมเรามักใช้ตัวส่วนของ n-1 เพื่อประมาณค่าพารามิเตอร์ประชากรแทนที่จะใช้เพียงแค่ n แต่ในฐานะที่เป็นแนวคิดพื้นฐานในการตรึงส่วนที่เหลือของความเข้าใจรายละเอียดเกี่ยวกับความแปรปรวนเพียงแค่วาดมันออกมาเพื่อที่ฉันจะได้เห็นมันช่วยได้อย่างมาก มันช่วยให้เข้าใจสิ่งที่เราหมายถึงเมื่อเราบอกว่าความแปรปรวนคือค่าเบี่ยงเบนกำลังสองเฉลี่ยจากค่าเฉลี่ย นอกจากนี้ยังช่วยในการทำความเข้าใจความสัมพันธ์ SD ที่มีต่อค่าเฉลี่ยนั้น

มีการฝึกสอนคนธรรมดามากมายเกี่ยวกับการเบี่ยงเบนมาตรฐานและความแปรปรวน

TL; DR; มันเหมือนกับค่าเฉลี่ยของระยะทางจากค่าเฉลี่ย (ซึ่งเป็นบิตสับสนและทำให้เข้าใจผิดในรุ่นที่กระชับดังนั้นอ่านบทความเต็ม)

ฉันถือว่าคนธรรมดารู้เรื่องเฉลี่ย ฉันพูดถึงความสำคัญของการรู้ SD และการประเมินข้อผิดพลาด (ดู PS ด้านล่าง) จากนั้นฉันสัญญาว่าจะไม่มีการใช้ความรู้ทางคณิตศาสตร์หรือสถิติอันศักดิ์สิทธิ์ใด ๆ - เป็นเพียงเหตุผลที่สมเหตุสมผลและตรรกะที่บริสุทธิ์

1. ปัญหา. ให้บอกว่าเรามีเทอร์โมมิเตอร์ (ฉันเลือกอุปกรณ์วัดตามสิ่งที่อยู่ใกล้กับหู)

   เราทำการวัดอุณหภูมิและเครื่องวัดอุณหภูมิแบบเดียวกันโดยที่ N แสดงให้เราเห็นเช่น 36.5, 35.9, 37.0, 36.6, ... (ดูรูป) เรารู้ว่าอุณหภูมิจริงนั้นเท่ากัน แต่เทอร์โมมิเตอร์อยู่กับเราเพียงเล็กน้อยในแต่ละการวัด

   เราจะประมาณปริมาณขยะขนาดเล็กนี้อยู่กับเราได้อย่างไร

   เราสามารถคำนวณค่าเฉลี่ย (ดูเส้นสีแดงในภาพด้านล่าง) เราเชื่อได้มั้ย แม้หลังจากเฉลี่ยแล้วมันมีความแม่นยำเพียงพอสำหรับความต้องการของเราหรือไม่?

   

2. วิธีที่ง่ายที่สุด เราสามารถหาจุดที่ไกลที่สุดคำนวณระยะห่างระหว่างมันกับค่าเฉลี่ย (เส้นสีแดง) แล้วบอกว่านี่คือวิธีที่เทอร์โมมิเตอร์อยู่กับเราเพราะมันเป็นความผิดพลาดสูงสุดที่เราเห็น อาจเดาได้ว่ามันไม่ใช่การประเมินที่ดีที่สุด ถ้าเราดูภาพส่วนใหญ่อยู่ในระดับโดยเฉลี่ยเราจะตัดสินได้แค่จุดเดียว ที่จริงแล้วหนึ่งคนสามารถฝึกเหตุผลการนับเลขทำไมการประมาณเช่นนั้นหยาบและมักจะไม่ดี

3. ความแปรปรวน จากนั้น ... ให้ใช้ระยะทางทั้งหมดและคำนวณระยะทางเฉลี่ย !

   $(x_{i} - \bar{x})$$\bar{x}$$x_{i}$เป็นหนึ่งในการวัด

   จากนั้นอาจจินตนาการได้ว่าสูตรของระยะทางเฉลี่ยจะรวมกันทุกอย่างและหารด้วย N:

   $$\frac{\sum(x_{i} - \bar{x})}{N}$$

   แต่มีปัญหา เราสามารถมองเห็นได้ง่ายเช่น ที่ 36.4 และ 36.8 อยู่ที่ระยะห่างเดียวกันจาก 36.6 แต่ถ้าเราใส่ค่าในสูตรด้านบนเราจะได้รับ -0.2 และ +0.2 และผลรวมของพวกเขาเท่ากับ 0 ซึ่งไม่ใช่สิ่งที่เราต้องการ

   วิธีกำจัดเครื่องหมาย (ณ จุดนี้คนธรรมดามักพูดว่า "รับค่าสัมบูรณ์" และรับคำแนะนำว่า "การรับค่าสัมบูรณ์เป็นสิ่งประดิษฐ์น้อยอีกวิธีหนึ่งคืออะไร") เราสามารถกำหนดค่าเป็นสองเท่า! จากนั้นสูตรจะกลายเป็น:

   $$\frac{\sum(x_{i} - \bar{x})^{2}}{N}$$

   สูตรนี้เรียกว่า "ความแปรปรวน" ในสถิติ และมันก็เหมาะกว่าการประมาณค่าการแพร่กระจายของเทอร์โมมิเตอร์ (หรืออะไรก็ตาม) ที่ดีกว่าการวัดระยะทางสูงสุด

4. ส่วนเบี่ยงเบนมาตรฐาน แต่ก็ยังมีอีกหนึ่งปัญหา ดูสูตรความแปรปรวน กำลังสองทำให้หน่วยการวัดของเรา ... กำลังสอง หากเครื่องวัดอุณหภูมิวัดอุณหภูมิเป็น° C (หรือ° F) การประมาณค่าความผิดพลาดของเรานั้นวัดเป็น (หรือ ° F $°C^{2}$$°F^{2}$ ) วิธีการแก้สี่เหลี่ยม? - ใช้สแควร์รูท!

   $$\sqrt{\frac{\sum(x_{i} - \bar{x})^{2}}{N}}$$

   ดังนั้นที่นี่เรามาถึงสูตรค่าเบี่ยงเบนมาตรฐานซึ่งจะแสดงกันทั่วไปว่าเป็น\และนี่คือวิธีที่ดีกว่าในการประเมินความแม่นยำของอุปกรณ์ของเรา$\sigma$

ณ จุดนี้คนธรรมดาเข้าใจชัดเจนว่าเรามาที่นี่ได้อย่างไรและการเบี่ยงเบนมาตรฐาน / ความแปรปรวนทำงานอย่างไร จากจุดนี้ฉันมักจะไปที่กฎ 68–95–99.7 ซึ่งอธิบายเกี่ยวกับการสุ่มตัวอย่างและประชากรข้อผิดพลาดมาตรฐานเทียบกับข้อกำหนดส่วนเบี่ยงเบนมาตรฐาน ฯลฯ

PS ความสำคัญของการรู้ตัวอย่างพูดคุย SD:

ช่วยบอกว่าคุณมีอุปกรณ์วัดบางที่ costed 1 000 000 $ และมันให้คำตอบกับคุณ: 42. คุณคิดว่าจะจ่าย 1 000 000 $สำหรับ 42 ไหม? อี้! หนึ่งจ่าย 1,000,000 สำหรับความแม่นยำของคำตอบนั้น เพราะคุ้มค่า - ไม่มีค่าใช้จ่ายใด ๆ โดยไม่ทราบว่ามีข้อผิดพลาด คุณจ่ายสำหรับข้อผิดพลาดไม่ใช่ค่า นี่คือตัวอย่างชีวิตที่ดี

ในชีวิตทั่วไปเวลาส่วนใหญ่เราใช้ไม้บรรทัดเพื่อวัดระยะทาง ไม้บรรทัดให้ความแม่นยำประมาณหนึ่งมิลลิเมตร (หากคุณไม่ได้อยู่ในสหรัฐฯ) ถ้าคุณต้องไปไกลกว่ามิลลิเมตรแล้ววัดบางอย่างด้วยความแม่นยำ 0.1 มม. - คุณอาจใช้คาลิปเปอร์ ตอนนี้มันเป็นเรื่องง่ายที่จะตรวจสอบว่าผู้ปกครองที่ถูกที่สุด (แต่ยังมีความแม่นยำมิลลิเมตร) ค่าใช้จ่ายเซนต์ในขณะที่คาลิปเปอร์ที่ดีค่าใช้จ่ายสิบดอลลาร์ 2 ขนาดของราคาสำหรับ 1 ขนาดของความแม่นยำ และนั่นเป็นเรื่องปกติของจำนวนเงินที่คุณจ่ายสำหรับข้อผิดพลาด

ผมคิดว่าวลีที่สำคัญที่จะใช้เมื่ออธิบายทั้งความแปรปรวนและค่าเบี่ยงเบนมาตรฐานคือ"ตัวชี้วัดของการแพร่กระจาย" ในภาษาพื้นฐานที่สุดความแปรปรวนและส่วนเบี่ยงเบนมาตรฐานบอกเราว่าการกระจายข้อมูลเป็นอย่างไร เพื่อให้แม่นยำยิ่งขึ้นอีกเล็กน้อยถึงแม้จะยังพูดกับคนธรรมดาอยู่ แต่พวกเขาก็บอกเราว่าข้อมูลนั้นกระจายไปทั่วค่าเฉลี่ยได้ดีเพียงใด ในการผ่านให้สังเกตว่าค่าเฉลี่ยคือ"การวัดตำแหน่ง" "ตัวชี้วัดของสถานที่"เพื่อสรุปคำอธิบายของคนธรรมดามันควรจะเน้นว่าค่าเบี่ยงเบนมาตรฐานจะถูกแสดงในหน่วยเดียวกับข้อมูลที่เรากำลังทำงานด้วยและนั่นก็คือเหตุผลที่เราใช้รากที่สองของความแปรปรวน เช่นทั้งสองมีการเชื่อมโยง

ฉันคิดว่าคำอธิบายสั้น ๆ จะทำเคล็ดลับ มันอาจจะค่อนข้างคล้ายกับคำอธิบายตำราเรียนเบื้องต้น

ฉันถือว่าความแปรปรวนของการแจกแจงเป็นโมเมนต์ความเฉื่อยกับแกนที่ค่าเฉลี่ยของการกระจายตัวและมวลแต่ละตัวเป็น 1 ปรีชานี้จะทำให้แนวคิดนามธรรมเป็นรูปธรรม

ช่วงเวลาแรกคือค่าเฉลี่ยของการแจกแจงและช่วงเวลาที่สองคือความแปรปรวน

การอ้างอิง: หลักสูตรแรกของความน่าจะเป็นรุ่นที่ 8

ฉันจะเรียกมันว่าค่าเฉลี่ยที่ต่างจากค่าเฉลี่ยโดยรวม