ทำไมต้องแตกต่างยกกำลังสองแทนที่จะรับค่าสัมบูรณ์ในส่วนเบี่ยงเบนมาตรฐาน?

ในคำจำกัดความของส่วนเบี่ยงเบนมาตรฐานทำไมเราต้องยกกำลังสองความแตกต่างจากค่าเฉลี่ยเพื่อให้ได้ค่าเฉลี่ย (E) และนำสแควร์รูทกลับมาที่จุดสิ้นสุด? เราไม่เพียงแค่เอาค่าสัมบูรณ์ของความแตกต่างมาแทนและรับค่าที่คาดหวัง (ค่าเฉลี่ย) ของสิ่งเหล่านั้นและนั่นจะไม่แสดงการแปรผันของข้อมูลหรือไม่ จำนวนจะแตกต่างจากวิธีสแควร์ (วิธีค่าสัมบูรณ์จะน้อยกว่า) แต่ก็ยังควรแสดงการแพร่กระจายของข้อมูล ไม่มีใครรู้ว่าทำไมเราถึงใช้วิธีการจตุรัสนี้เป็นมาตรฐาน?

ความหมายของค่าเบี่ยงเบนมาตรฐาน:

$\sigma = \sqrt{E\left[\left(X - \mu\right)^2\right]}.$

เราไม่สามารถใช้ค่าสัมบูรณ์แทนได้และยังเป็นการวัดที่ดีหรือไม่?

$\sigma = E\left[|X - \mu|\right]$

หากเป้าหมายของการเบี่ยงเบนมาตรฐานคือการสรุปการแพร่กระจายของชุดข้อมูลแบบสมมาตร (เช่นโดยทั่วไปว่าแต่ละตัวเลขนั้นมาจากค่าเฉลี่ย) เราต้องมีวิธีที่ดีในการกำหนดวิธีการวัดการแพร่กระจายนั้น

ประโยชน์ของการยกกำลังสอง ได้แก่ :

• การยกกำลังสองจะให้ค่าเป็นบวกเสมอดังนั้นผลรวมจะไม่เป็นศูนย์
• Squaring เน้นความแตกต่างที่ใหญ่กว่า - คุณลักษณะที่กลายเป็นทั้งดีและไม่ดี (คิดว่ามีเอฟเฟกต์ผิดปกติ)

อย่างไรก็ตามการยกกำลังสองมีปัญหาเป็นตัวชี้วัดของการแพร่กระจายและนั่นคือหน่วยทั้งหมดกำลังสองในขณะที่เราอาจต้องการการแพร่กระจายที่จะอยู่ในหน่วยเดียวกับข้อมูลต้นฉบับ (คิดว่าปอนด์กำลังสองดอลลาร์กำลังสองหรือแอปเปิ้ลยกกำลังสอง) . ดังนั้นสแควร์รูทช่วยให้เรากลับไปยังหน่วยดั้งเดิม

ฉันสมมติว่าคุณสามารถพูดได้ว่าความแตกต่างแบบสัมบูรณ์กำหนดน้ำหนักเท่ากันให้กับการแพร่กระจายของข้อมูลในขณะที่การยกกำลังสองเน้นความสุดขั้ว แม้ว่าทางเทคนิคตามที่คนอื่น ๆ ชี้ให้เห็นการยกกำลังสองจะทำให้พีชคณิตทำงานได้ง่ายขึ้นและมีคุณสมบัติที่วิธีการสัมบูรณ์ไม่ได้ (ตัวอย่างเช่นความแปรปรวนเท่ากับค่าคาดหวังของการกระจายตัวลบด้วยกำลังสอง ค่าเฉลี่ยของการกระจาย)

สิ่งสำคัญคือให้สังเกตว่าไม่มีเหตุผลที่คุณไม่สามารถรับความแตกต่างที่แน่นอนได้หากคุณชอบวิธีที่คุณต้องการดู 'สเปรด' (เรียงลำดับตามที่บางคนเห็นว่า 5% เป็นเกณฑ์มหัศจรรย์สำหรับ- ค่า เมื่อในความเป็นจริงมันขึ้นอยู่กับสถานการณ์) อันที่จริงมีวิธีการแข่งขันหลายวิธีสำหรับการวัดการแพร่กระจาย$p$

มุมมองของฉันคือการใช้ค่ากำลังสองเพราะฉันคิดว่ามันเกี่ยวข้องกับทฤษฎีบทพีทาโกรัส: ... นี่ยังช่วยให้ฉันจำได้ว่าเมื่อทำงานกับตัวแปรสุ่มอิสระ , ผลต่างเพิ่ม, ส่วนเบี่ยงเบนมาตรฐานไม่ได้ แต่นั่นเป็นเพียงความชอบส่วนตัวของฉันซึ่งส่วนใหญ่ฉันใช้เป็นตัวช่วยความจำเท่านั้นโปรดอย่าสนใจย่อหน้านี้$c = \sqrt{a^2 + b^2}$

มากขึ้นการวิเคราะห์ในเชิงลึกสามารถอ่านได้ที่นี่

ความแตกต่างกำลังสองมีคุณสมบัติทางคณิตศาสตร์ที่ดีกว่า มันเปลี่ยนแปลงได้อย่างต่อเนื่อง (ดีเมื่อคุณต้องการย่อให้เล็กสุด) มันเป็นสถิติที่เพียงพอสำหรับการกระจายแบบเกาส์เซียนและมันเป็นเวอร์ชันปกติของ L2 ซึ่งมีประโยชน์ในการพิสูจน์การลู่เข้าและอื่น ๆ

ส่วนเบี่ยงเบนสัมบูรณ์เฉลี่ย (สัญกรณ์ค่าสัมบูรณ์ที่คุณแนะนำ) ใช้เป็นเครื่องวัดการกระจายตัว แต่ก็ไม่ได้เป็น "ความประพฤติดี" เหมือนกับข้อผิดพลาดกำลังสอง

วิธีหนึ่งที่คุณสามารถคิดได้ก็คือค่าเบี่ยงเบนมาตรฐานนั้นคล้ายกับ "ระยะทางจากค่าเฉลี่ย"

เปรียบเทียบสิ่งนี้กับระยะทางในปริภูมิแบบยุคลิด - นี่คือระยะทางที่แท้จริงที่คุณแนะนำ (ซึ่ง btw คือความเบี่ยงเบนสัมบูรณ์ ) ซึ่งเหมือนกับการคำนวณระยะทางแมนฮัตตัน

เหตุผลที่เราคำนวณค่าเบี่ยงเบนมาตรฐานแทนของข้อผิดพลาดแน่นอนคือการที่เราสมมติว่าข้อผิดพลาดที่จะกระจายตามปกติ มันเป็นส่วนหนึ่งของแบบจำลอง

สมมติว่าคุณวัดความยาวน้อยมากด้วยไม้บรรทัดแล้วค่าเบี่ยงเบนมาตรฐานเป็นเมตริกที่ไม่ดีสำหรับข้อผิดพลาดเพราะคุณรู้ว่าคุณจะไม่วัดความยาวเชิงลบโดยไม่ตั้งใจ การวัดที่ดีขึ้นน่าจะเป็นสิ่งที่ช่วยให้พอดีกับการกระจายแกมม่ากับการวัดของคุณ:

$\log(E(x)) - E(\log(x))$

เช่นเดียวกับค่าเบี่ยงเบนมาตรฐานนี่ก็เป็นค่าที่ไม่เป็นลบและแตกต่างกัน แต่ก็เป็นสถิติข้อผิดพลาดที่ดีกว่าสำหรับปัญหานี้

คำตอบที่ทำให้ฉันพึงพอใจมากที่สุดคือมันหลุดออกจากธรรมชาติจากตัวอย่างทั่วๆไปจนถึงปริภูมิแบบยุคลิดแบบยู - มิติ เป็นที่ถกเถียงกันอย่างแน่นอนว่าเป็นสิ่งที่ควรทำ แต่ไม่ว่าในกรณีใด:

$n$$X_i$$\mathbb R^n$$x_i$$\bf x$$\mu$$X_i=\mu$$\hat\mu=\bar x$$\hat\mu\bf 1$$\sqrt{\frac{n-1} n}\hat\sigma=\|\bf x-\hat\mu\bf 1\|$

วิธีนี้ยังทำให้คุณได้รับการตีความทางเรขาคณิตสำหรับความสัมพันธ์y})$\hat\rho=\cos \angle(\vec{\bf\tilde x},\vec{\bf\tilde y})$

การยกระดับความแตกต่างจากค่าเฉลี่ยนั้นมีสองสามเหตุผล

• ความแปรปรวนหมายถึงช่วงเวลาที่สองของการเบี่ยงเบน (RV ที่นี่คือ ) และดังนั้นตารางเป็นช่วงเวลาเป็นเพียงความคาดหวังของพลังที่สูงขึ้นของตัวแปรสุ่ม$(x-\mu)$

• การมีรูปสี่เหลี่ยมตรงข้ามกับฟังก์ชั่นค่าสัมบูรณ์ให้ฟังก์ชันต่อเนื่องที่ดีและ differentiable (ค่าสัมบูรณ์ไม่แตกต่างที่ 0) - ซึ่งทำให้มันเป็นทางเลือกที่เป็นธรรมชาติโดยเฉพาะอย่างยิ่งในบริบทของการประมาณค่าและการวิเคราะห์การถดถอย

• สูตรที่ยกกำลังสองก็ตกหล่นจากพารามิเตอร์ของการแจกแจงแบบปกติ

อีกเหตุผลหนึ่ง (นอกเหนือจากดีเลิศข้างต้น) มาจากฟิชเชอร์เองซึ่งแสดงให้เห็นว่าค่าเบี่ยงเบนมาตรฐานนั้นมีประสิทธิภาพมากกว่าการเบี่ยงเบนสัมบูรณ์ ที่นี่มีประสิทธิภาพเกี่ยวข้องกับสถิติที่จะแปรผันตามมูลค่าตัวอย่างที่แตกต่างจากประชากร หากประชากรของคุณกระจายตามปกติค่าเบี่ยงเบนมาตรฐานของกลุ่มตัวอย่างต่าง ๆ จากประชากรนั้นโดยเฉลี่ยมักจะให้คุณค่ากับคุณซึ่งคล้ายกันมากในขณะที่ค่าเบี่ยงเบนสัมบูรณ์จะให้ตัวเลขที่กระจายออกไปอีกเล็กน้อย ตอนนี้เห็นได้ชัดว่านี่เป็นสถานการณ์ในอุดมคติ แต่เหตุผลนี้ทำให้คนจำนวนมากเชื่อ (พร้อมกับคณิตศาสตร์ที่สะอาดกว่า) ดังนั้นคนส่วนใหญ่จึงทำงานกับค่าเบี่ยงเบนมาตรฐาน

เพื่อให้ผู้คนรู้ว่ามีคำถามล้นคณิตศาสตร์ในหัวข้อเดียวกัน

ทำไมเป็นมันจึงเย็นต่อตารางตัวเลขในแง่ของการหาที่เบี่ยงเบนมาตรฐาน

ข้อความนำไปใช้คือการใช้รากที่สองของความแปรปรวนนำไปสู่การคณิตศาสตร์ง่ายขึ้น การตอบสนองที่คล้ายกันนั้นให้โดย Rich และ Reed ด้านบน

$\newcommand{\var}{\operatorname{var}}$ ความแปรปรวนเป็นสารเติมแต่ง: สำหรับตัวแปรสุ่มอิสระ , $X_1,\ldots,X_n$

$$\var(X_1+\cdots+X_n)=\var(X_1)+\cdots+\var(X_n).$$

สังเกตุสิ่งที่ทำให้เป็นไปได้: บอกฉันว่าโยนเหรียญยุติธรรม 900 ครั้ง ความน่าจะเป็นที่จำนวนหัวที่ฉันได้รับอยู่ระหว่าง 440 ถึง 455 แค่หาจำนวนที่คาดหวังของหัว ( ) และความแปรปรวนของจำนวนหัว ( ) จากนั้นหาความน่าจะเป็นที่มีการแจกแจงแบบปกติ (หรือแบบเกาส์) ที่มีความคาดหวังและค่าเบี่ยงเบนมาตรฐานอยู่ระหว่างและ455.5Abraham de Moivre ทำสิ่งนี้ด้วยการโยนเหรียญในศตวรรษที่ 18 ดังนั้นก่อนอื่นจึงแสดงให้เห็นว่าเส้นโค้งรูประฆังนั้นมีค่าสำหรับบางสิ่ง225 = 15 2 450 15 439.5 $450$$225=15^2$$450$$15$$439.5$$455.5$

ฉันคิดว่าความแตกต่างระหว่างการใช้การเบี่ยงเบนสัมบูรณ์และการเบี่ยงเบนกำลังสองจะชัดเจนขึ้นเมื่อคุณเคลื่อนที่เกินกว่าตัวแปรเดียวและคิดถึงการถดถอยเชิงเส้น http://en.wikipedia.org/wiki/Least_absolute_deviationsมีการสนทนาที่ดีโดยเฉพาะอย่างยิ่งส่วน "Contrasting Least Squares with Least Absolute Deviations" ซึ่งเชื่อมโยงกับแบบฝึกหัดนักเรียนบางส่วนที่มีแอปเพล็ตที่เรียบร้อยhttp: // www .math.wpi.edu

โดยสรุปการเบี่ยงเบนสัมบูรณ์อย่างน้อยที่สุดมีความทนทานต่อค่าผิดปกติมากกว่ากำลังสองน้อยที่สุดธรรมดาทั่วไป แต่มันอาจไม่เสถียร (การเปลี่ยนแปลงเล็กน้อยในแม้กระทั่งตัวเลขเดียวสามารถให้การเปลี่ยนแปลงครั้งใหญ่ในสายการประกอบ) และไม่ได้มีทางออกที่เป็นเอกลักษณ์เสมอไป สายติดตั้งทั้งหมด นอกจากนี้การเบี่ยงเบนสัมบูรณ์อย่างน้อยที่สุดต้องใช้วิธีการวนซ้ำในขณะที่สี่เหลี่ยมจัตุรัสขั้นต่ำสุดธรรมดามีวิธีแก้ปัญหาแบบปิดแบบง่าย ๆ แม้ว่าจะไม่ใช่เรื่องใหญ่ในตอนนี้เหมือนในสมัยของ Gauss และ Legendre

มีหลายเหตุผล; อาจหลักคือว่ามันทำงานได้ดีเป็นพารามิเตอร์ของการแจกแจงแบบปกติ

ในหลาย ๆ ด้านการใช้ส่วนเบี่ยงเบนมาตรฐานเพื่อสรุปการกระจายตัวคือการข้ามไปสู่ข้อสรุป คุณสามารถบอกได้ว่า SD หมายถึงการกระจายแบบสมมาตรเนื่องจากการรักษาระยะทางที่ต่ำกว่าค่าเฉลี่ยเท่ากับระยะทางเหนือค่าเฉลี่ย SD เป็นเรื่องยากมากที่จะตีความกับนักสถิติ หนึ่งอาจโต้แย้งว่าความแตกต่างเฉลี่ยของ Gini มีการใช้งานที่กว้างขึ้นและสามารถตีความได้มากขึ้น มันไม่จำเป็นต้องมีใครที่จะประกาศตัวเลือกของพวกเขาในการวัดแนวโน้มกลางเช่นการใช้ SD ทำเพื่อค่าเฉลี่ย ความแตกต่างเฉลี่ยของ Gini คือความแตกต่างที่แท้จริงโดยเฉลี่ยระหว่างการสำรวจสองแบบที่แตกต่างกัน นอกเหนือจากความแข็งแกร่งและง่ายต่อการตีความแล้วมันยังมีค่าเท่ากับ 0.98 เท่ากับ SD ถ้าการกระจายตัวเป็นแบบเกาส์จริง

การประมาณค่าเบี่ยงเบนมาตรฐานของการแจกแจงต้องเลือกระยะทาง
สามารถใช้ระยะทางใด ๆ ต่อไปนี้:

$$d_n((X)_{i=1,\ldots,I},\mu)=\left(\sum | X-\mu|^n\right)^{1/n}$$

เรามักจะใช้ระยะทางแบบยุคลิดตามธรรมชาติ ( ) ซึ่งเป็นสิ่งที่ทุกคนใช้ในชีวิตประจำวัน ระยะทางที่คุณเสนอเป็นหนึ่งกับ 1 ทั้งคู่เป็นผู้สมัครที่ดี แต่ก็แตกต่างกันn = $n=2$$n=1$

เราสามารถตัดสินใจใช้เช่นกัน$n=3$

ฉันไม่แน่ใจว่าคุณจะชอบคำตอบของฉันจุดของฉันที่ตรงกันข้ามกับคนอื่นไม่ได้แสดงให้เห็นว่าดีกว่า ฉันคิดว่าถ้าคุณต้องการประเมินค่าเบี่ยงเบนมาตรฐานของการกระจายคุณสามารถใช้ระยะทางที่แตกต่างกันได้$n=2$

ขึ้นอยู่กับสิ่งที่คุณกำลังพูดถึงเมื่อคุณพูดว่า "การแพร่กระจายของข้อมูล" สำหรับฉันนี่อาจหมายถึงสองสิ่ง:

1. ความกว้างของการแจกแจงตัวอย่าง
2. ความแม่นยำของการประมาณที่กำหนด

สำหรับจุดที่ 1) ไม่มีเหตุผลใดที่จะใช้ค่าเบี่ยงเบนมาตรฐานเป็นการวัดการแพร่กระจายยกเว้นเมื่อคุณมีการแจกแจงตัวอย่างแบบปกติ วัดเป็นตัวชี้วัดที่เหมาะสมมากขึ้นในกรณีของการกระจาย Laplace สุ่มตัวอย่าง ฉันเดาว่าค่าเบี่ยงเบนมาตรฐานจะถูกใช้ที่นี่เพราะสัญชาตญาณมาจากจุดที่ 2) อาจเป็นเพราะความสำเร็จของการสร้างแบบจำลองกำลังสองน้อยที่สุดโดยทั่วไปซึ่งค่าเบี่ยงเบนมาตรฐานเป็นการวัดที่เหมาะสม อาจเป็นเพราะการคำนวณนั้นง่ายกว่าการคำนวณสำหรับการแจกแจงส่วนใหญ่$E(|X-\mu|)$$E(X^2)$$E(|X|)$

ตอนนี้สำหรับจุดที่ 2) มีเหตุผลที่ดีมากสำหรับการใช้ความแปรปรวน / ส่วนเบี่ยงเบนมาตรฐานเป็นตัวชี้วัดการแพร่กระจายโดยเฉพาะอย่างยิ่ง แต่กรณีที่พบบ่อยมาก คุณสามารถดูได้จากการประมาณ Laplace ไปยังด้านหลัง ด้วย Dataและข้อมูลก่อนหน้าให้เขียน posterior สำหรับพารามิเตอร์เป็น:$D$$I$$\theta$

$$p(\theta\mid DI)=\frac{\exp\left(h(\theta)\right)}{\int \exp\left(h(t)\right)\,dt}\;\;\;\;\;\;h(\theta)\equiv\log[p(\theta\mid I)p(D\mid\theta I)]$$

ฉันได้ใช้เป็นตัวแปรหุ่นเพื่อบ่งชี้ว่าตัวหารไม่ขึ้นอยู่กับ\ถ้าหลังมีเพียงครั้งเดียวสูงสุดกลมดี (เช่นไม่ใกล้เกินไปเป็น "เขตแดน") เราเทย์เลอร์สามารถขยายความน่าจะเป็นบันทึกเกี่ยวกับสูงสุด\หากเราใช้สองเทอมแรกของการขยายเทย์เลอร์เราจะได้รับ$t$$\theta$$\theta_\max$

$$h(\theta)\approx h(\theta_\max)+(\theta_\max-\theta)h'(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

แต่เรามีที่นี่เพราะเป็น "รอบดี"ดังนั้นเราจึงมี:$\theta_\max$$h'(\theta_\max)=0$

$$h(\theta)\approx h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

หากเราเสียบค่าประมาณนี้เราจะได้รับ:

$$p(\theta\mid DI)\approx\frac{\exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

$$=\frac{\exp\left(\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

ซึ่ง แต่สำหรับสัญกรณ์เป็นการแจกแจงแบบปกติโดยมีค่าเฉลี่ยเท่ากับและความแปรปรวนเท่ากับ$E(\theta\mid DI)\approx\theta_\max$

$$V(\theta\mid DI)\approx \left[-h''(\theta_\max)\right]^{-1}$$

(เป็นค่าบวกเสมอเพราะเรามีค่าสูงสุดที่ปัดเศษ) ดังนั้นหมายความว่าในปัญหา "ปกติ" (ซึ่งเป็นส่วนใหญ่ของพวกเขา) ความแปรปรวนเป็นปริมาณพื้นฐานซึ่งเป็นตัวกำหนดความถูกต้องของการประมาณการสำหรับ\ดังนั้นสำหรับการประมาณการโดยอิงจากข้อมูลจำนวนมากค่าเบี่ยงเบนมาตรฐานนั้นสมเหตุสมผลในทางทฤษฎี - มันบอกคุณทุกอย่างที่คุณจำเป็นต้องรู้ โดยพื้นฐานแล้วจะใช้อาร์กิวเมนต์เดียวกัน (โดยมีเงื่อนไขเหมือนกัน) ในกรณีที่มีหลายมิติพร้อมเป็นเมทริกซ์ของ Hessian เส้นทแยงมุมก็มีความแปรปรวนที่นี่เช่นกัน$-h''(\theta_\max)$$\theta$$h''(\theta)_{jk}=\frac{\partial h(\theta)}{\partial \theta_j \, \partial \theta_k}$

บ่อยครั้งที่ใช้วิธีการของความน่าจะเป็นสูงสุดจะมาถึงข้อสรุปเดียวกันเพราะ MLE มีแนวโน้มที่จะเป็นการรวมกันของข้อมูลและสำหรับตัวอย่างขนาดใหญ่ทฤษฎีขีด จำกัด กลางใช้และโดยทั่วไปคุณจะได้ผลลัพธ์เดียวกันถ้าเราใช้แต่มีและ interchanged: (ดูว่าคุณสามารถเดาได้ว่าฉันชอบกระบวนทัศน์ใด: P) ด้วยวิธีใดวิธีหนึ่งในการประมาณค่าพารามิเตอร์ส่วนเบี่ยงเบนมาตรฐานคือการวัดทางทฤษฎีที่สำคัญของการแพร่กระจายθ θ สูงสุด P ( θ สูงสุด | θ ) ≈ N ( θ , [ - เอช" ( θ สูงสุด ) ] - 1$p(\theta\mid I)=1$$\theta$$\theta_\max$

$$p(\theta_\max\mid\theta)\approx N\left(\theta,\left[-h''(\theta_\max)\right]^{-1}\right)$$

"ทำไมต้องเป็นความแตกต่างยกกำลังสอง" แทนที่จะเป็น "รับค่าสัมบูรณ์" เพื่อที่จะตอบอย่างถูกต้องมีวรรณกรรมที่ให้เหตุผลว่าทำไมมันจึงถูกนำมาใช้และกรณีที่สาเหตุส่วนใหญ่ของเหตุผลเหล่านั้นไม่ถือ "พวกเราไม่สามารถรับค่าสัมบูรณ์ได้หรือไม่?" ฉันรู้วรรณกรรมซึ่งคำตอบคือใช่มันกำลังทำอยู่และการทำเช่นนั้นถูกโต้แย้งว่าเป็นข้อได้เปรียบ

ผู้เขียน Gorard ก่อนอื่นการใช้กำลังสองถูกนำมาใช้ก่อนหน้านี้ด้วยเหตุผลของความเรียบง่ายของการคำนวณ แต่ที่เหตุผลดั้งเดิมเหล่านั้นไม่ถืออีกต่อไป รัฐ Gorard ที่สองคือ OLS นั้นเป็นลูกบุญธรรมเพราะฟิชเชอร์พบว่าผลลัพธ์ในตัวอย่างของการวิเคราะห์ที่ใช้ OLS นั้นมีการเบี่ยงเบนเล็กน้อยกว่าที่ใช้ความแตกต่างแบบสัมบูรณ์ ดังนั้นดูเหมือนว่า OLS อาจมีประโยชน์ในบางสถานการณ์ แม้กระนั้น Gorard จะต้องทราบว่ามีความเห็นพ้องต้องกัน (และเขาอ้างว่าชาวประมงเห็นด้วย) ว่าภายใต้เงื่อนไขในโลกแห่งความเป็นจริง (การวัดที่ไม่สมบูรณ์ของการสังเกตการแจกแจงแบบไม่สม่ำเสมอการศึกษาของประชากร ความแตกต่างที่แน่นอน

คำตอบของ Gorard สำหรับคำถามของคุณ "เราไม่สามารถเพียงเอาค่าสัมบูรณ์ของความแตกต่างมาแทนและรับค่าที่คาดหวังจากสิ่งเหล่านั้นได้หรือ" ใช่ ข้อได้เปรียบอีกประการหนึ่งคือการใช้ความแตกต่างสร้างมาตรการ (มาตรการของข้อผิดพลาดและการเปลี่ยนแปลง) ที่เกี่ยวข้องกับวิธีการที่เราประสบกับความคิดเหล่านั้นในชีวิต Gorard กล่าวว่าลองนึกภาพผู้คนที่แบ่งบิลร้านอาหารอย่างสม่ำเสมอและบางคนอาจสังเกตว่าวิธีการนั้นไม่ยุติธรรม ไม่มีใครที่จะมีข้อผิดพลาดตาราง; ความแตกต่างคือประเด็น

ในที่สุดเมื่อใช้ความแตกต่างแบบสัมบูรณ์เขาบันทึกการปฏิบัติแต่ละการสังเกตอย่างเท่าเทียมกันในขณะที่การเปรียบเทียบความแตกต่างทำให้การสังเกตการณ์มีน้ำหนักมากกว่าคุณภาพที่สังเกตได้ดีกว่าการสังเกตที่คาดการณ์ไว้ได้ดี กล่าวโดยสรุปแรงผลักดันทั่วไปของเขาคือในปัจจุบันมีเหตุผลไม่มากนักที่จะใช้กำลังสองและในทางกลับกันการใช้ความแตกต่างแบบสัมบูรณ์มีข้อดี

อ้างอิง:

• Gorard, S. (2005) Revisiting อภิปราย 90 ปี: ข้อดีของการเบี่ยงเบนเฉลี่ย , อังกฤษวารสารการศึกษาการศึกษา 53 ., 4, pp ได้ 417-430
• Gorard, S. (2013) ข้อดีเป็นไปได้ของค่าเฉลี่ยส่วนเบี่ยงเบนแน่นอน 'ผล' ขนาด , ปรับปรุงการวิจัยทางสังคม , 65: 1

เนื่องจากสี่เหลี่ยมสามารถอนุญาตให้ใช้การดำเนินการทางคณิตศาสตร์หรือฟังก์ชันอื่น ๆ ได้ง่ายกว่าค่าสัมบูรณ์

ตัวอย่าง: สี่เหลี่ยมสามารถรวม, แตกต่าง, สามารถใช้ในตรีโกณมิติ, ลอการิทึมและฟังก์ชั่นอื่น ๆ ได้อย่างง่ายดาย

เมื่อเพิ่มตัวแปรสุ่มความแปรปรวนเพิ่มสำหรับการแจกแจงทั้งหมด ความแปรปรวน (และส่วนเบี่ยงเบนมาตรฐาน) เป็นมาตรการที่มีประโยชน์สำหรับการแจกแจงเกือบทั้งหมดและไม่มีการ จำกัด การแจกแจงแบบเกาส์ (หรือที่เรียกว่า "ปกติ") ที่โปรดปรานใช้มันเป็นข้อผิดพลาดของเราวัด การขาดความเป็นเอกลักษณ์เป็นปัญหาร้ายแรงที่มีความแตกต่างอย่างแน่นอนเนื่องจากมักจะมีจำนวนไม่เท่ากันของการวัด "พอดี" และยังเห็นได้ชัดว่า "หนึ่งในกลาง" เป็นที่นิยมมากที่สุด ยิ่งไปกว่านั้นแม้กับคอมพิวเตอร์ทุกวันนี้ประสิทธิภาพการคำนวณก็มีความสำคัญ ฉันทำงานกับชุดข้อมูลขนาดใหญ่และเวลาของ CPU เป็นสิ่งสำคัญ อย่างไรก็ตามไม่มีการวัดค่า "ดีที่สุด" แบบสัมบูรณ์เพียงอย่างเดียวซึ่งชี้ให้เห็นโดยคำตอบก่อนหน้านี้ สถานการณ์ที่แตกต่างกันบางครั้งเรียกร้องให้มีมาตรการที่แตกต่างกัน

โดยปกติคุณสามารถอธิบายการกระจายตัวของการแจกแจงในทางใดทางหนึ่งที่มีความหมาย (ส่วนเบี่ยงเบนสัมบูรณ์ควอนไทล์ ฯลฯ )

ข้อเท็จจริงที่ดีอย่างหนึ่งคือความแปรปรวนเป็นช่วงเวลากลางที่สองและการแจกแจงทุกครั้งจะถูกอธิบายอย่างไม่ซ้ำกันในช่วงเวลาถ้ามันมีอยู่ ความจริงอีกอย่างที่ดีคือความแปรปรวนทางคณิตศาสตร์นั้นง่ายกว่าการเปรียบเทียบใด ๆ อีกความจริงก็คือความแปรปรวนเป็นหนึ่งในสองพารามิเตอร์ของการแจกแจงแบบปกติสำหรับการ parametrization ปกติและการแจกแจงแบบปกติมีเพียงช่วงเวลากลางที่ไม่เป็นศูนย์ 2 อันซึ่งก็คือพารามิเตอร์สองตัวนั้น แม้แต่การแจกแจงแบบไม่ปกติก็สามารถช่วยคิดในกรอบปกติได้

ดังที่ฉันเห็นเหตุผลที่มีค่าเบี่ยงเบนมาตรฐานอยู่ในแอปพลิเคชันสแควร์รูทของความแปรปรวนจะปรากฏเป็นประจำ (เช่นสร้างมาตรฐานการแปรปรวนแบบสุ่ม) ซึ่งจำเป็นต้องมีชื่อสำหรับมัน

วิธีการที่แตกต่างและเข้าใจง่ายกว่าคือเมื่อคุณคิดถึงการถดถอยเชิงเส้นกับการถดถอยแบบมัธยฐาน

สมมติว่ารูปแบบของเราก็คือว่าx จากนั้นเราจะพบขโดย minimisize ที่คาดว่าจะยืดเหลือ 2บีตา= หาเรื่องนาทีขE ( Y - x ข) $\mathbb{E}(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} (y - x b)^2$

ถ้าหากแบบจำลองของเราคือ Medianเราจะพบการประมาณค่าพารามิเตอร์ของเราโดยการลดค่าสัมบูรณ์ที่เหลืออยู่ให้น้อยที่สุด.บีตา= หาเรื่องนาทีขE | y - x b $(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} |y - x b|$

กล่าวอีกนัยหนึ่งว่าจะใช้ข้อผิดพลาดสัมบูรณ์หรือกำลังสองขึ้นอยู่กับว่าคุณต้องการสร้างแบบจำลองค่าที่คาดหวังหรือค่ามัธยฐาน

ถ้าการกระจายตัวอย่างเช่นแสดง heteroscedasticity เบ้นั้นมีความแตกต่างใหญ่ในวิธีการที่ความลาดชันของมูลค่าที่คาดหวังของการเปลี่ยนแปลงมากกว่าวิธีลาดชันมีไว้สำหรับค่ามัธยฐานค่าของYx $y$$x$$y$

Koenker และฮอลล็อคมีชิ้นส่วนที่ดีในการถดถอย quantile ที่ถดถอยแบ่งเป็นกรณีพิเศษ: http://master272.com/finance/QR/QRJEP.pdf

ฉันเดาว่านี่คือ: ประชากรส่วนใหญ่ (กระจาย) มีแนวโน้มที่จะชุมนุมรอบค่าเฉลี่ย ค่าที่อยู่ไกลกว่านั้นมาจากค่าเฉลี่ย, ยิ่งหายาก เพื่อที่จะแสดงให้เห็นอย่างชัดเจนว่าค่า "นอกบรรทัด" นั้นเป็นอย่างไรจำเป็นต้องคำนึงถึงทั้งระยะห่างจากค่าเฉลี่ยและความหายากของการเกิดขึ้น การยกกำลังความแตกต่างจากค่าเฉลี่ยนั้นทำได้เมื่อเทียบกับค่าที่มีการเบี่ยงเบนน้อยกว่า เมื่อความแปรปรวนทั้งหมดเฉลี่ยแล้วมันก็โอเคที่จะใช้สแควร์รูทซึ่งจะส่งคืนหน่วยไปยังมิติเดิม

กำลังขยายเพิ่มความเบี่ยงเบน

หากตัวอย่างของคุณมีค่าที่อยู่เหนือแผนภูมิทั้งหมดเพื่อนำ 68.2% ภายในส่วนเบี่ยงเบนมาตรฐานแรกค่าเบี่ยงเบนมาตรฐานของคุณต้องกว้างขึ้นเล็กน้อย หากข้อมูลของคุณมีแนวโน้มที่จะลดลงโดยเฉลี่ย then ก็จะเข้มงวดขึ้น

บางคนบอกว่าเป็นการทำให้การคำนวณง่ายขึ้น การใช้สแควร์รูทที่เป็นบวกของสแควร์จะได้รับการแก้ไขเพื่อให้อาร์กิวเมนต์ไม่ลอย

$|x| = \sqrt{x^{2}}$

ดังนั้นหากความเรียบง่ายเชิงพีชคณิตเป็นเป้าหมายดังนั้นมันจะมีลักษณะเช่นนี้:

$\sigma = \text{E}\left[\sqrt{(x-\mu)^{2}}\right]$ซึ่งให้ผลลัพธ์แบบเดียวกับ .$\text{E}\left[|x-\mu|\right]$

เห็นได้ชัดว่าการยกกำลังสองนี้มีผลในการขยายข้อผิดพลาดภายนอก (doh!)

ทำไมต้องแตกต่างยกกำลังสองแทนที่จะรับค่าสัมบูรณ์ในส่วนเบี่ยงเบนมาตรฐาน?

เรายกกำลังสองความแตกต่างของ x จากค่าเฉลี่ยเนื่องจากระยะทางแบบยุคลิดซึ่งเป็นสัดส่วนกับสแควร์รูทขององศาอิสระ (จำนวน x, การวัดประชากร) เป็นวิธีการกระจายตัวที่ดีที่สุด

กำลังคำนวณระยะทาง

ระยะทางจากจุด 0 ถึงจุด 5 คืออะไร

• $5-0 = 5$ ,
• $|0-5| = 5$และ
• $\sqrt{5^2} = 5$

โอเคนั่นมันเล็กน้อยเพราะมันเป็นมิติเดียว

ระยะทางสำหรับจุดที่จุด 0, 0 ถึงจุด 3, 4 เป็นอย่างไร?

หากเราสามารถไปในมิติเดียวในเวลา (เช่นในบล็อกเมือง) จากนั้นเราก็เพิ่มตัวเลขขึ้น (บางครั้งเรียกว่าระยะทางแมนฮัตตัน)

แต่จะเป็นสองมิติในคราวเดียว? จากนั้น (ตามทฤษฏีพีทาโกรัสเราทุกคนเรียนรู้ในโรงเรียนมัธยม) เรากำหนดระยะห่างในแต่ละมิติรวมกำลังสองจากนั้นใช้สแควร์รูทเพื่อหาระยะทางจากจุดกำเนิดถึงจุด

$$\sqrt{3^2 + 4^2} = \sqrt{25} = 5$$

ระยะทางจากจุดที่ 0, 0, 0 ถึงจุด 1, 2, 2?

นี่เป็นเพียง

$$\sqrt{1^2+2^2 + 2^2} = \sqrt9 = 3$$

เพราะระยะทางสำหรับสองคนแรกของ x รูปแบบขาสำหรับการคำนวณระยะทางรวมกับ x สุดท้าย

$$\sqrt{\sqrt{x_1^2 + x_2^2}^2 + x_3^2} = \sqrt{x_1^2 + x_2^2 + x_3^2}$$

เราสามารถขยายกฎการยกกำลังสองของระยะแต่ละมิติได้โดยทั่วไปนี่คือสิ่งที่เราเรียกว่าระยะทางแบบยุคลิดสำหรับการวัดแบบมุมฉากในพื้นที่มิติหลายมิติเช่น:

$$distance = \sqrt{ \sum_{i=1}^n{x_i^2} }$$

และผลรวมของกำลังสองมุมฉากคือระยะกำลังสอง:

$$distance^2 = \sum_{i=1}^n{x_i^2}$$

อะไรทำให้การวัดมุมฉาก (หรือมุมฉาก) เป็นอีกมุมมองหนึ่ง? เงื่อนไขคือไม่มีความสัมพันธ์ระหว่างการวัดทั้งสอง เราจะมองหาการวัดเหล่านี้ให้เป็นอิสระและกระจายเป็นรายบุคคล ( iid )

ความแปรปรวน

ตอนนี้จำสูตรสำหรับความแปรปรวนประชากร (ซึ่งเราจะได้ค่าเบี่ยงเบนมาตรฐาน):

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}$$

หากเรามีศูนย์กลางข้อมูลที่ 0 โดยการลบค่าเฉลี่ยเรามี:

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i)^2} {n}$$

ดังนั้นเราเห็นความแปรปรวนเป็นระยะทางกำลังสองหารด้วยจำนวนองศาอิสระ (จำนวนมิติที่ตัวแปรอิสระแปรผัน) นี่เป็นผลงานเฉลี่ยต่อต่อการวัด "ค่าเฉลี่ยความแปรปรวนกำลังสอง" ก็เป็นคำที่เหมาะสมเช่นกัน$distance^2$

ส่วนเบี่ยงเบนมาตรฐาน

จากนั้นเรามีค่าเบี่ยงเบนมาตรฐานซึ่งก็แค่สแควร์รูทของความแปรปรวน:

$$\sigma = \sqrt{\frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}}$$

ซึ่งเท่ากับระยะห่างหารด้วยสแควร์รูทขององศาอิสระ:

$$\sigma = \frac{\sqrt{\displaystyle\sum_{i=1}^{n}(x_i)^2}} {\sqrt{n}}$$

ค่าเบี่ยงเบนสัมบูรณ์เฉลี่ย

Mean Absolute Deviation (MAD) คือการวัดการกระจายตัวที่ใช้ระยะทางแมนฮัตตันหรือผลรวมของค่าสัมบูรณ์ของความแตกต่างจากค่าเฉลี่ย

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i - \mu|} {n}$$

อีกครั้งสมมติว่าข้อมูลอยู่กึ่งกลาง (ลบค่าเฉลี่ย) เรามีระยะทางแมนฮัตตันหารด้วยจำนวนการวัด:

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i|} {n}$$

อภิปรายผล

• ค่าเบี่ยงเบนสัมบูรณ์เฉลี่ยอยู่ที่ประมาณ. 8 เท่า ( จริง$\sqrt{2/\pi}$ ) ขนาดของส่วนเบี่ยงเบนมาตรฐานสำหรับชุดข้อมูลที่กระจายแบบปกติ
• ค่าเบี่ยงเบนสัมบูรณ์เฉลี่ยนั้นน้อยกว่าหรือเท่ากับส่วนเบี่ยงเบนมาตรฐานโดยไม่คำนึงถึงการแจกแจง MAD เข้าใจการกระจายตัวของชุดข้อมูลที่มีค่ามากเมื่อเทียบกับค่าเบี่ยงเบนมาตรฐาน
• ค่าเบี่ยงเบนสัมบูรณ์แบบสัมบูรณ์นั้นแข็งแกร่งกว่าค่าผิดปกติ (เช่นค่าผิดปกติไม่มีผลกระทบต่อสถิติเท่าที่ควรกับค่าเบี่ยงเบนมาตรฐาน
• การพูดทางเรขาคณิตถ้าการวัดไม่ได้เป็นมุมฉากซึ่งกันและกัน (iid) - ตัวอย่างเช่นถ้าพวกมันมีความสัมพันธ์เชิงบวกหมายความว่าการเบี่ยงเบนสัมบูรณ์จะเป็นสถิติเชิงพรรณนาที่ดีกว่าค่าเบี่ยงเบนมาตรฐานซึ่งอาศัยระยะทางแบบยุคลิด )

ตารางนี้แสดงข้อมูลข้างต้นอย่างกระชับยิ่งขึ้น:

$$\begin{array}{lll} & MAD & \sigma \\ \hline size & \le \sigma & \ge MAD \\ size, \sim N & .8 \times \sigma & 1.25 \times MAD \\ outliers & robust & influenced \\ not\ i.i.d. & robust & ok \end{array}$$

ความคิดเห็นที่:

คุณมีการอ้างอิงสำหรับ "เฉลี่ยเบี่ยงเบนสัมบูรณ์เป็นเรื่องเกี่ยวกับ. 8 เท่าของขนาดเบี่ยงเบนมาตรฐานสำหรับชุดข้อมูลที่กระจายตามปกติ"? การจำลองที่ฉันใช้แสดงสิ่งนี้ไม่ถูกต้อง

นี่คือตัวอย่างการจำลอง 10 ล้านตัวอย่างจากการแจกแจงแบบปกติมาตรฐาน:

>>> from numpy.random import standard_normal
>>> from numpy import mean, absolute
>>> for _ in range(10):
...     array = standard_normal(1_000_000)
...     print(numpy.std(array), mean(absolute(array - mean(array))))
... 
0.9999303226807994 0.7980634269273035
1.001126461808081 0.7985832977798981
0.9994247275533893 0.7980171649802613
0.9994142105335478 0.7972367136320848
1.0001188211817726 0.798021564315937
1.000442654481297 0.7981845236910842
1.0001537518728232 0.7975554993742403
1.0002838369191982 0.798143108250063
0.9999060114455384 0.797895284109523
1.0004871065680165 0.798726062813422

ข้อสรุป

เราชอบความแตกต่างกำลังสองเมื่อคำนวณการกระจายตัวเพราะเราสามารถใช้ประโยชน์จากระยะทางแบบยุคลิดซึ่งทำให้เรามีสถิติการกระจายตัวของ discriptive ดีกว่า เมื่อมีค่าที่ค่อนข้างสูงกว่าระยะทางแบบยุคลิดนั้นเป็นค่าทางสถิติในขณะที่ระยะทางแมนฮัตตันให้น้ำหนักแต่ละการวัดเท่ากัน