จะเข้าใจองศาอิสระได้อย่างไร?

จากWikipediaมีการตีความสามระดับของอิสรภาพในสถิติ:

ในสถิติจำนวนองศาความเป็นอิสระคือจำนวนของค่าในการคำนวณขั้นสุดท้ายของสถิติที่สามารถเปลี่ยนแปลงได้ฟรี

การประมาณค่าพารามิเตอร์ทางสถิติอาจขึ้นอยู่กับจำนวนข้อมูลหรือข้อมูลที่แตกต่างกัน จำนวนชิ้นส่วนข้อมูลอิสระที่เข้าสู่การประมาณค่าพารามิเตอร์เรียกว่า degree of freedom (df) โดยทั่วไปแล้วองศาอิสระของการประมาณค่าพารามิเตอร์จะเท่ากับจำนวนคะแนนอิสระที่เข้าไปในการประมาณลบด้วยจำนวนพารามิเตอร์ที่ใช้เป็นขั้นตอนกลางในการประมาณค่าพารามิเตอร์ของตัวเอง (ซึ่งในความแปรปรวนตัวอย่าง) หนึ่งเนื่องจากค่าเฉลี่ยตัวอย่างเป็นเพียงขั้นตอนกลางเท่านั้น)

ศาสตร์องศาอิสระคือมิติของโดเมนของเวกเตอร์สุ่มหรือหลักจำนวนขององค์ประกอบ 'ฟรี': วิธีหลายส่วนประกอบจะต้องมีการรู้จักมาก่อนเวกเตอร์จะถูกกำหนดอย่างเต็มที่

คำที่เป็นตัวหนาคือสิ่งที่ฉันไม่ค่อยเข้าใจ ถ้าเป็นไปได้สูตรทางคณิตศาสตร์บางอย่างจะช่วยอธิบายแนวคิด

การตีความทั้งสามนี้เห็นด้วยกันหรือไม่

นี่เป็นคำถามที่ละเอียดอ่อน คนที่มีน้ำใจไม่เข้าใจคำพูดเหล่านั้น! แม้ว่าพวกเขาจะมีการชี้นำ แต่ปรากฎว่าไม่มีพวกเขาถูกต้องหรือโดยทั่วไป ฉันไม่มีเวลา (และที่นี่ไม่มีที่ว่าง) เพื่ออธิบายอย่างเต็มรูปแบบ แต่ฉันต้องการแบ่งปันวิธีหนึ่งและข้อมูลเชิงลึกที่แนะนำ

แนวคิดขององศาอิสระ (DF) เกิดขึ้นที่ไหน บริบทที่พบในการรักษาเบื้องต้นคือ:

• การทดสอบ t-Studentและการแปรผันของมันเช่น Welch หรือ Satterthwaite โซลูชั่นสำหรับปัญหา Behrens-Fisher (ที่ประชากรสองคนมีความแตกต่างกัน)

• การแจกแจงแบบไคสแควร์ (นิยามเป็นผลรวมของกำลังสองของเกณฑ์มาตรฐานอิสระ) ซึ่งเกี่ยวข้องในการกระจายตัวตัวอย่างของความแปรปรวน

• การทดสอบ F (ของอัตราส่วนความแปรปรวนโดยประมาณ)

• การทดสอบ Chi-squaredซึ่งประกอบด้วยการใช้ใน (a) การทดสอบเพื่อความเป็นอิสระในตารางฉุกเฉินและ (b) การทดสอบเพื่อความดีพอดีกับการประมาณการแบบกระจาย

ด้วยจิตวิญญาณการทดสอบเหล่านี้ใช้ขอบเขตเสียงที่แน่นอน (การทดสอบนักเรียน t-test และ F-test สำหรับการแปรผันตามปกติ) ไปจนถึงการประมาณที่ดี (การทดสอบนักเรียน t และการทดสอบ Welch / Satterthwaite สำหรับข้อมูลที่ไม่บิดเบือน ) ขึ้นอยู่กับการประมาณเชิงเส้นกำกับ (การทดสอบ Chi-squared) แง่มุมที่น่าสนใจของสิ่งเหล่านี้คือการปรากฏตัวของ "ดีกรีอิสระ" ที่ไม่ครบถ้วน (การทดสอบของ Welch / Satterthwaite และอย่างที่เราจะเห็นการทดสอบ Chi-squared) นี่เป็นเรื่องที่น่าสนใจเป็นพิเศษเพราะมันเป็นคำใบ้แรกที่ DF ไม่ได้มีการอ้างถึง

เราสามารถกำจัดข้อเรียกร้องบางอย่างได้ทันที เพราะ "การคำนวณขั้นสุดท้ายของสถิติ" ไม่ได้กำหนดไว้อย่างชัดเจน (มันขึ้นอยู่กับว่าอัลกอริทึมใดที่ใช้สำหรับการคำนวณ) มันอาจจะไม่มากไปกว่าคำแนะนำที่คลุมเครือและไม่มีค่าสำหรับการวิจารณ์เพิ่มเติม ในทำนองเดียวกันไม่มี "จำนวนคะแนนอิสระที่เข้าสู่ประมาณการ" และ "จำนวนพารามิเตอร์ที่ใช้เป็นขั้นตอนกลาง" ไม่ได้กำหนดไว้อย่างดี

"ชิ้นส่วนที่เป็นอิสระของข้อมูลที่เข้าสู่การประเมิน [เป็นการ]"นั้นยากที่จะจัดการเพราะมีความรู้สึกที่แตกต่างกัน แต่มีความสัมพันธ์อย่างใกล้ชิดของ "อิสระ" ที่สามารถเกี่ยวข้องได้ที่นี่ หนึ่งคือความเป็นอิสระของตัวแปรสุ่ม อื่น ๆ ที่เป็นอิสระในการทำงาน ตัวอย่างหลังเราสมมติว่าเรารวบรวมการวัด morphometric ของวัตถุ - พูดเพื่อความเรียบง่ายความยาวสามด้าน , , , พื้นที่ผิวและปริมาตรของ ชุดของบล็อกไม้ ความยาวทั้งสามด้านสามารถพิจารณาได้ว่าเป็นตัวแปรสุ่มแบบอิสระ แต่ตัวแปรทั้งห้านั้นเป็น RVs ที่ต้องพึ่งพา ห้ายังทำหน้าที่Y Z S = 2 ( X Y + Y Z + Z X ) V = X Y Z ( X , Y , Z , S , V ) R 5 ω ∈ R 5 ฉω กรัมω ฉω ( X ( ψ ) , … , V ( ψ ) ) = 0 g $X$$Y$$Z$$S=2(XY+YZ+ZX)$$V=XYZ$เพราะขึ้นอยู่กับโคโดเมน ( ไม่ได้ว่า "โดเมน"!) ของตัวแปรสุ่มเวกเตอร์ร่องรอยจากนานาสามมิติใน 5 (ดังนั้นเฉพาะที่จุดใดมีสองฟังก์ชันและที่และสำหรับคะแนน "ใกล้"และอนุพันธ์ของและประเมินที่$(X,Y,Z,S,V)$$\mathbb{R}^5$$\omega\in\mathbb{R}^5$$f_\omega$$g_\omega$$f_\omega(X(\psi),\ldots,V(\psi))=0$ψ ω ฉกรัมω ( X , S , V $g_\omega(X(\psi),\ldots,V(\psi))=0$$\psi$$\omega$$f$$g$$\omega$มีความเป็นอิสระเป็นเส้นตรง) อย่างไรก็ตาม. - นี่คือนักเตะ - มาตรการความน่าจะเป็นมากในบล็อกย่อยของตัวแปรเช่นมีขึ้นเป็นตัวแปรสุ่ม แต่หน้าที่อิสระ$(X,S,V)$

ได้รับการแจ้งเตือนจากความกำกวมที่อาจเกิดขึ้นเหล่านี้มาทดสอบความพอดีของ Chi-squared ของการทดสอบเพราะ (a) มันง่าย (b) เป็นหนึ่งในสถานการณ์ทั่วไปที่ผู้คนจำเป็นต้องรู้เกี่ยวกับ DF เพื่อรับ ค่า p ถูกต้องและ (c) มันมักจะใช้ไม่ถูกต้อง ต่อไปนี้เป็นบทสรุปโดยย่อของการใช้การโต้เถียงน้อยที่สุดของการทดสอบนี้:

• คุณมีการรวบรวมค่าข้อมูลซึ่งถือเป็นตัวอย่างของประชากร$(x_1, \ldots, x_n)$

• คุณได้ประเมินพารามิเตอร์ของการกระจาย ตัวอย่างเช่นคุณประเมินค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของการแจกแจงแบบปกติโดยสมมติว่าประชากรกระจายตามปกติ แต่ไม่ทราบ (ล่วงหน้าก่อนที่จะได้รับข้อมูล) สิ่งที่หรืออาจเป็นθ 1 θ 2 = θ p θ 1 θ $\theta_1, \ldots, \theta_p$$\theta_1$$\theta_2 = \theta_p$$\theta_1$$\theta_2$

• ล่วงหน้าคุณได้สร้างชุด "ถังขยะ" สำหรับข้อมูล (มันอาจเป็นปัญหาเมื่อข้อมูลถูกกำหนดโดยถังขยะแม้ว่าจะทำสิ่งนี้บ่อยครั้ง) เมื่อใช้ถังขยะเหล่านี้ข้อมูลจะถูกลดลงเป็นชุดของการนับภายในถังขยะแต่ละถัง เมื่อคาดหวังว่ามูลค่าที่แท้จริงของอาจเป็นคุณได้จัดเตรียมไว้เพื่อ (หวังว่า) แต่ละ bin จะได้รับจำนวนใกล้เคียงกัน (ความน่าจะเป็นที่เท่าเทียมกัน binning ทำให้แน่ใจว่าการกระจายตัวไคสแควร์จริง ๆ เป็นการประมาณที่ดีกับการกระจายตัวที่แท้จริงของสถิติไคสแควร์กำลังจะอธิบาย)( θ $k$$(\theta)$

• คุณมีข้อมูลจำนวนมาก - เพียงพอที่จะมั่นใจได้ว่าถังขยะเกือบทั้งหมดควรมีจำนวน 5 หรือมากกว่า (ซึ่งเราหวังว่าจะช่วยให้การกระจายการสุ่มตัวอย่างของสถิติที่จะประมาณได้อย่างเพียงพอโดยบางกระจาย.)χ $\chi^2$$\chi^2$

การใช้การประมาณพารามิเตอร์คุณสามารถคำนวณจำนวนที่คาดไว้ในแต่ละ bin สถิติไคสแควร์คือผลรวมของอัตราส่วน

$$\frac{(\text{observed}-\text{expected})^2}{\text{expected}}.$$

เจ้าหน้าที่จำนวนมากบอกเราว่าควรจะมีการแจกแจงแบบ Chi-squared (ใกล้เคียงกันมาก) แต่มีครอบครัวของการแจกแจงแบบนี้ทั้งครอบครัว พวกเขาจะแตกต่างกันโดยพารามิเตอร์มักจะเรียกว่า "องศาอิสระ" การใช้เหตุผลมาตรฐานเกี่ยวกับวิธีพิจารณาเช่นนี้$\nu$$\nu$

ฉันมีค่านั่นคือชิ้นส่วนของข้อมูล แต่มีความสัมพันธ์( หน้าที่ ) ในหมู่พวกเขา เริ่มต้นด้วยผมรู้ล่วงหน้าว่าผลรวมของการนับที่ต้องเท่ากับnนั่นคือความสัมพันธ์เดียว ฉันประมาณสองพารามิเตอร์(หรือโดยทั่วไป) จากข้อมูล นั่นคือความสัมพันธ์เพิ่มเติมสองรายการ (หรือ ) โดยให้ความสัมพันธ์รวมกับทะนงพวกเขา (พารามิเตอร์) ทั้งหมด ( หน้าที่ ) อิสระที่ใบเท่านั้น ( หน้าที่ ) อิสระ "องศาความเป็นอิสระ" ที่คุ้มค่าที่จะใช้สำหรับ\k n p p p + 1 k - p - 1 $k$$k$$n$$p$$p$$p+1$$k-p-1$$\nu$

ปัญหาเกี่ยวกับการใช้เหตุผลนี้ (ซึ่งเป็นการเรียงลำดับของการคำนวณใบเสนอราคาในคำถามเป็นคำใบ้ที่) คือว่ามันผิดยกเว้นเมื่อมีเงื่อนไขเพิ่มเติมพิเศษบางอย่างค้างไว้ ยิ่งไปกว่านั้นเงื่อนไขเหล่านั้นไม่มีส่วนเกี่ยวข้องกับความเป็นอิสระ (การทำงานหรือสถิติ) ด้วยจำนวนของ "ส่วนประกอบ" ของข้อมูลพร้อมกับจำนวนพารามิเตอร์หรือกับสิ่งอื่นใดที่อ้างถึงในคำถามดั้งเดิม

ให้ฉันแสดงตัวอย่างให้คุณดู (เพื่อให้ชัดเจนที่สุดฉันใช้ถังขยะจำนวนเล็กน้อย แต่ไม่จำเป็น) ลองสร้างมาตรฐานอิสระ (iid) 20 รายการและกระจายตัวเหมือนกันตัวแปรปกติและประเมินค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานด้วยสูตรปกติ ( เฉลี่ย = ผลรวม / นับฯลฯ .) เพื่อทดสอบความดีของความพอดีให้สร้างสี่ถังขยะที่มีจุดตัดที่ควอไทล์ของมาตรฐานปกติ: -0.675, 0, +0.657 และใช้จำนวนถังเพื่อสร้างสถิติ Chi-squared ทำซ้ำตามความอดทนช่วย ฉันมีเวลาทำซ้ำ 10,000 ครั้ง

ภูมิปัญญามาตรฐานเกี่ยวกับ DF กล่าวว่าเรามี 4 ถังขยะและ 1 + 2 = 3 ข้อ จำกัด ซึ่งหมายถึงการกระจายของสถิติ 10,000 Chi-squared เหล่านี้ควรเป็นไปตามการกระจาย Chi-Squared ด้วย 1 DF นี่คือฮิสโตแกรม:

เส้นสีน้ำเงินเข้มกราฟ PDF ของการ - อันที่เราคิดว่าใช้ได้ - ในขณะที่กราฟเส้นสีแดงเข้มที่การของ (ซึ่งจะดี เดาว่ามีคนบอกคุณว่าไม่ถูกต้อง) ไม่เหมาะกับข้อมูลχ 2 ( 2 ) ν = $\chi^2(1)$$\chi^2(2)$$\nu=1$

คุณอาจคาดหวังว่าปัญหาจะเกิดจากชุดข้อมูลขนาดเล็ก ( = 20) หรืออาจเป็นขนาดเล็กของจำนวนถังขยะ อย่างไรก็ตามปัญหายังคงอยู่แม้จะมีชุดข้อมูลขนาดใหญ่มากและถังขยะจำนวนมาก: มันไม่ได้เป็นเพียงความล้มเหลวในการเข้าถึงการประมาณแบบเชิงเส้นกำกับ$n$

มีสิ่งผิดปกติเกิดขึ้นเพราะฉันละเมิดข้อกำหนดสองข้อของการทดสอบ Chi-squared:

1. คุณต้องใช้การประเมินความน่าจะเป็นสูงสุดของพารามิเตอร์ (ในทางปฏิบัติข้อกำหนดนี้สามารถละเมิดเล็กน้อย)

2. คุณต้องยึดพื้นฐานการประมาณในการนับไม่ใช่ข้อมูลจริง! (สิ่งนี้สำคัญมาก)

ฮิสโตแกรมสีแดงแสดงให้เห็นถึงสถิติแบบไคสแควร์สำหรับการวนซ้ำ 10,000 ครั้งตามข้อกำหนดเหล่านี้ แน่นอนว่ามันชัดเจนตามโค้ง (โดยมีข้อผิดพลาดในการสุ่มตัวอย่างที่ยอมรับได้) ตามที่เราคาดหวังไว้$\chi^2(1)$

จุดของการเปรียบเทียบนี้ - ซึ่งฉันหวังว่าคุณจะได้เห็น - คือ DF ที่ถูกต้องที่จะใช้สำหรับการคำนวณค่า p ขึ้นอยู่กับหลายๆอย่างอื่นนอกเหนือจากมิติของแมนิโฟลด์นับจำนวนความสัมพันธ์การทำงานหรือเรขาคณิตของตัวแปรปกติ . มีปฏิสัมพันธ์ที่ละเอียดอ่อนและละเอียดอ่อนระหว่างการพึ่งพาการทำงานบางอย่างที่พบในความสัมพันธ์ทางคณิตศาสตร์ระหว่างปริมาณและการแจกแจงของข้อมูลสถิติของพวกเขาและตัวประมาณที่เกิดขึ้นจากพวกเขา ดังนั้นจึงไม่สามารถอธิบายได้ว่า DF นั้นเพียงพอในด้านเรขาคณิตของการแจกแจงปกติหลายตัวแปรหรือในแง่ของความเป็นอิสระในการทำงานหรือเป็นจำนวนพารามิเตอร์หรือสิ่งอื่นใดในลักษณะนี้

จากนั้นเราจะเห็นว่า "องศาอิสระ" เป็นเพียงฮิวริสติกที่แสดงให้เห็นว่าการกระจายตัวตัวอย่างของสถิติ (t, Chi-squared หรือ F) ควรจะเป็นอย่างไร ความเชื่อที่ว่ามันเป็นเชิงนำไปสู่ข้อผิดพลาดอย่างมหันต์ (ตัวอย่างเช่นสิ่งที่ฮิตที่สุดใน Google เมื่อค้นหา "chi squared goodness of fit" เป็นหน้าเว็บจากมหาวิทยาลัย Ivy Leagueที่ได้รับความผิดพลาดเกือบทั้งหมดโดยเฉพาะการจำลองตามคำแนะนำของมันแสดงให้เห็นว่าไคสแควร์ ค่าที่แนะนำคือการมี 7 DF จริง ๆ มี 9 DF)

ด้วยความเข้าใจที่เหมาะสมยิ่งขึ้นมันก็คุ้มค่าที่จะอ่านบทความวิกิพีเดียที่เป็นปัญหาอีกครั้ง: ในรายละเอียดจะได้สิ่งที่ถูกต้องโดยชี้ให้เห็นว่าฮิวริสติกของ DF นั้นมีแนวโน้มที่จะทำงานอย่างไรและเป็นอย่างไร

---

บัญชีที่ดีของปรากฏการณ์ที่แสดงที่นี่ (DF สูงไม่คาดคิดในการทดสอบการขาดไคสแควร์) ปรากฏในเล่มที่สองของเคนดอลและสจวตรุ่นที่ 5 ฉันขอบคุณสำหรับโอกาสที่คำถามนี้นำไปสู่ข้อความที่ยอดเยี่ยมซึ่งเต็มไปด้วยการวิเคราะห์ที่มีประโยชน์เช่นนี้

---

แก้ไข (ม.ค. 2017)

นี่คือRรหัสในการสร้างรูปตาม "ภูมิปัญญามาตรฐานเกี่ยวกับ DF ... "

#
# Simulate data, one iteration per column of `x`.
#
n <- 20
n.sim <- 1e4
bins <- qnorm(seq(0, 1, 1/4))
x <- matrix(rnorm(n*n.sim), nrow=n)
#
# Compute statistics.
#
m <- colMeans(x)
s <- apply(sweep(x, 2, m), 2, sd)
counts <- apply(matrix(as.numeric(cut(x, bins)), nrow=n), 2, tabulate, nbins=4)
expectations <- mapply(function(m,s) n*diff(pnorm(bins, m, s)), m, s)
chisquared <- colSums((counts - expectations)^2 / expectations)
#
# Plot histograms of means, variances, and chi-squared stats.  The first
# two confirm all is working as expected.
#
mfrow <- par("mfrow")
par(mfrow=c(1,3))
red <- "#a04040"  # Intended to show correct distributions
blue <- "#404090" # To show the putative chi-squared distribution
hist(m, freq=FALSE)
curve(dnorm(x, sd=1/sqrt(n)), add=TRUE, col=red, lwd=2)
hist(s^2, freq=FALSE)
curve(dchisq(x*(n-1), df=n-1)*(n-1), add=TRUE, col=red, lwd=2)
hist(chisquared, freq=FALSE, breaks=seq(0, ceiling(max(chisquared)), 1/4), 
     xlim=c(0, 13), ylim=c(0, 0.55), 
     col="#c0c0ff", border="#404040")
curve(ifelse(x <= 0, Inf, dchisq(x, df=2)), add=TRUE, col=red, lwd=2)
curve(ifelse(x <= 0, Inf, dchisq(x, df=1)), add=TRUE, col=blue, lwd=2)
par(mfrow=mfrow)

หรือเพียงแค่: จำนวนองค์ประกอบในอาร์เรย์ตัวเลขที่คุณได้รับอนุญาตให้เปลี่ยนเพื่อให้ค่าของสถิติยังคงไม่เปลี่ยนแปลง

# for instance if:
x + y + z = 10

คุณสามารถเปลี่ยนเช่นxและy ที่ที่สุ่ม แต่คุณไม่สามารถเปลี่ยนZ (คุณสามารถ แต่ไม่ได้อยู่ที่การสุ่มดังนั้นคุณไม่ได้ฟรีที่จะเปลี่ยนมัน - ดูความคิดเห็นของฮาร์วีย์) 'ทำให้คุณจะเปลี่ยนค่า ของสถิติ (Σ = 10) ดังนั้นในกรณีนี้ df = 2

เป็นแนวคิดที่ไม่ได้อยู่ที่ยากทั้งหมดเพื่อให้มีความแม่นยำทางคณิตศาสตร์ได้รับเกร็ดความรู้ทั่วไปของเรขาคณิตมิติยุคลิด subspaces และประมาณการมุมฉาก$n$

ถ้าคือorthogonal เงื้อมมือจากไปยัง -dimensional subspaceและเป็นกฎเกณฑ์ -vector ดังนั้นจึงอยู่ใน ,และเป็น orthogonal และอยู่ในที่สมบูรณ์มุมฉากของLมิติของส่วนประกอบฉากนี้เป็นNPถ้ามีอิสระในการเปลี่ยนแปลงในช่องว่าง -dimensional แล้วมีอิสระที่จะเปลี่ยนแปลงในR n p L x n P x L x - P x P x x - P x ∈ L ⊥ L L ⊥ n - p x n x - P x n - p x - P x n - p$P$$\mathbb{R}^n$$p$$L$$x$$n$$Px$$L$$x - Px$$Px$$x - Px \in L^{\perp}$$L$$L^{\perp}$$n-p$$x$$n$$x - Px$$n-p$พื้นที่มิติด้วยเหตุนี้เราบอกว่ามีองศาอิสระ$x - Px$$n-p$

พิจารณาเหล่านี้มีความสำคัญต่อสถิติเพราะถ้าเป็นเวกเตอร์สุ่มมิติและเป็นรูปแบบของค่าเฉลี่ยที่เป็นค่าเฉลี่ยเวกเตอร์อยู่ในแล้วเราเรียกว่าเวกเตอร์ของเหลือ , และเราใช้ส่วนที่เหลือเพื่อประเมินความแปรปรวน เวกเตอร์ของเศษมีองศาอิสระนั่นคือมันเป็นข้อ จำกัด ในการสเปซของมิติNPn L E ( X ) L X - P X n - p n - $X$$n$$L$$E(X)$$L$$X-PX$$n-p$$n-p$

ถ้าพิกัดของมีความเป็นอิสระและกระจายตามปกติที่มีความแปรปรวนเดียวกันแล้วσ $X$$\sigma^2$

• เวกเตอร์และเป็นอิสระX - P $PX$$X - PX$
• ถ้าการกระจายของกำลังสองของเวกเตอร์ของส่วนที่เหลือคือ aกระจายที่มีสเกลพารามิเตอร์และพารามิเตอร์อื่นที่เกิดขึ้น องศาของเสรีภาพNP| | X - P X | | 2 χ 2 σ 2 n - $E(X) \in L$$||X - PX||^2$$\chi^2$$\sigma^2$$n-p$

ร่างของการพิสูจน์ข้อเท็จจริงเหล่านี้ได้รับด้านล่าง ผลลัพธ์ทั้งสองเป็นศูนย์กลางสำหรับการพัฒนาเพิ่มเติมของทฤษฎีสถิติตามการแจกแจงแบบปกติ โปรดทราบด้วยว่านี่คือสาเหตุที่ -distribution มีการตั้งค่าไว้เป็นอย่างดี นอกจากนี้ยังเป็น -distribution พร้อมสเกลพารามิเตอร์และพารามิเตอร์รูปร่างแต่ในบริบทข้างต้นมันเป็นเรื่องธรรมดาที่จะมีพาราเมาท์ในแง่ขององศาอิสระ Γ 2 σ 2 ( n - p ) /$\chi^2$$\Gamma$$2\sigma^2$$(n-p)/2$

ฉันต้องยอมรับว่าฉันไม่พบย่อหน้าใด ๆ ที่อ้างถึงจากบทความวิกิพีเดียโดยเฉพาะอย่างยิ่งการรู้แจ้ง แต่พวกเขาก็ไม่ได้ผิดหรือขัดแย้งอย่างแท้จริง พวกเขาบอกว่าไม่แน่ชัดและในความหมายทั่วไปที่ว่าเมื่อเราคำนวณการประมาณค่าพารามิเตอร์ความแปรปรวน แต่ทำตามส่วนที่เหลือเราจะคำนวณการคำนวณบนเวกเตอร์ที่มีอิสระเท่านั้นที่จะเปลี่ยนแปลงในปริภูมิมิติ .$n-p$

นอกเหนือจากทฤษฎีของแบบจำลองเชิงเส้นตรงการใช้แนวคิดเรื่ององศาอิสระอาจทำให้สับสนได้ ยกตัวอย่างเช่นมันใช้ในการสร้างตัวแปรของกระจายว่ามีการอ้างอิงถึงสิ่งใดก็ตามที่อาจมีองศาอิสระหรือไม่ เมื่อเราพิจารณาการวิเคราะห์เชิงสถิติของข้อมูลที่เป็นหมวดหมู่อาจมีความสับสนว่าควรจะนับ "ชิ้นส่วนอิสระ" ก่อนหรือหลังการเรียงตาราง ยิ่งไปกว่านั้นสำหรับข้อ จำกัด แม้สำหรับรุ่นปกติที่ไม่ใช่ข้อ จำกัด ของสเปซนั้นก็ไม่ชัดเจนว่าจะขยายแนวคิดขององศาอิสระได้อย่างไร ข้อเสนอแนะต่าง ๆ มักจะอยู่ภายใต้ชื่อของที่มีประสิทธิภาพองศาอิสระ$\chi^2$

ก่อนที่จะพิจารณาการใช้งานและความหมายอื่น ๆ ขององศาอิสระผมขอแนะนำอย่างยิ่งให้มั่นใจในบริบทของโมเดลปกติเชิงเส้น การอ้างอิงเกี่ยวกับคลาสโมเดลนี้คือA First Course in The Linear Model Theoryและมีการอ้างอิงเพิ่มเติมในส่วนนำของหนังสือกับหนังสือคลาสสิกอื่น ๆ ในโมเดลเชิงเส้น

ข้อพิสูจน์ผลลัพธ์ด้านบน:ให้ , โปรดสังเกตว่าเมทริกซ์ความแปรปรวนคือและเลือกพื้นฐาน orthonormalของและพื้นฐาน orthonormalของperp} จากนั้นเป็น orthonormal พื้นฐานของ n ให้แทน -vector ของสัมประสิทธิ์ของในพื้นฐานนี้นั่นคือ ซึ่งสามารถเขียนเป็นโดยที่คือเมทริกซ์มุมฉากกับσ 2ฉันZ 1 , ... , Z P L Z P + 1 , ... , Z n L ⊥ Z 1 , ... , Z n R n ~ X n X ~ Xฉัน = Z T ฉัน X ˜ X = Z T X Z z ฉัน˜ $\xi = E(X)$$\sigma^2 I$$z_1, \ldots, z_p$$L$$z_{p+1}, \ldots, z_n$$L^{\perp}$$z_1, \ldots, z_n$$\mathbb{R}^n$$\tilde{X}$$n$$X$

$$\tilde{X}_i = z_i^T X.$$ $\tilde{X} = Z^T X$$Z$$z_i$ในคอลัมน์ แล้วเรามีการใช้งานที่มีการแจกแจงแบบปกติที่มีค่าเฉลี่ยและเพราะเป็นมุมฉากแปรปรวนเมทริกซ์ฉัน ตามมาจากผลการแปลงเชิงเส้นทั่วไปของการแจกแจงปกติ พื้นฐานถูกเลือกเพื่อให้สัมประสิทธิ์ของเป็นสำหรับและสัมประสิทธิ์ของคือสำหรับ . เนื่องจากสัมประสิทธิ์ไม่มีการเชื่อมโยงกันและร่วมกันพวกมันจึงเป็นอิสระและนี่ก็หมายความว่า และ $\tilde{X}$Z σ 2ฉันP X ˜ Xฉันฉัน= 1 , … , p X - P X ˜ Xฉันฉัน= p + 1 , … , n P X = p ∑ฉัน= 1 ˜ Xฉันz ฉัน X ฉัน - P X = n ∑ i = p + 1 $Z^T \xi$$Z$$\sigma^2 I$$PX$$\tilde{X}_i$$i= 1, \ldots, p$$X - PX$$\tilde{X}_i$$i= p+1, \ldots, n$ $$PX = \sum_{i=1}^p \tilde{X}_i z_i$$ | | X-PX| | 2=n Σฉัน=P+1 ~ X 2ฉัน ξ∈LE( ~ Xฉัน)=Z T ฉัน ξ=0ฉัน=P+1,...,nZฉัน∈L⊥Zฉัน⊥ξ $$X - PX = \sum_{i=p+1}^n \tilde{X}_i z_i$$ มีความเป็นอิสระ ยิ่งกว่านั้น ถ้าดังนั้นสำหรับเพราะและ\ ในกรณีนี้คือผลรวมของอิสระกระจายตัวแปรสุ่มซึ่งการกระจายโดยนิยามคือกระจายด้วยพารามิเตอร์สเกลและองศาอิสระ $$||X - PX||^2 = \sum_{i=p+1}^n \tilde{X}_i^2.$$ $\xi \in L$$E(\tilde{X}_i) = z_i^T \xi = 0$$i = p +1, \ldots, n$$z_i \in L^{\perp}$$z_i \perp \xi$$||X - PX||^2$$n-p$χ 2 σ 2 n - $N(0, \sigma^2)$$\chi^2$$\sigma^2$$n-p$

มันไม่แตกต่างจากวิธีที่คำว่า "ดีกรีอิสระ" ทำงานในสาขาอื่น ตัวอย่างเช่นสมมติว่าคุณมีตัวแปรสี่ตัว ได้แก่ ความยาวความกว้างพื้นที่และขอบเขตของสี่เหลี่ยมผืนผ้า คุณรู้สี่สิ่งจริง ๆ หรือไม่ ไม่เพราะมีเสรีภาพเพียงสององศาเท่านั้น หากคุณทราบความยาวและความกว้างคุณสามารถหาพื้นที่และปริมณฑลได้ หากคุณทราบความยาวและพื้นที่คุณสามารถรับความกว้างและขอบเขตได้ หากคุณรู้ว่าพื้นที่และปริมณฑลคุณสามารถได้รับความยาวและความกว้าง (สูงสุดถึงการหมุน) หากคุณมีทั้งสี่คุณสามารถพูดได้ว่าระบบมีความสอดคล้องกัน (ตัวแปรทั้งหมดเห็นด้วยกัน) หรือไม่สอดคล้องกัน (ไม่มีรูปสี่เหลี่ยมผืนผ้าจริง ๆ สามารถตอบสนองทุกเงื่อนไข) สี่เหลี่ยมคือสี่เหลี่ยมจัตุรัสที่ลบองศาอิสระ

ในสถิติสิ่งต่าง ๆ มีความคลุมเครือมากขึ้น แต่ความคิดยังคงเหมือนเดิม หากข้อมูลทั้งหมดที่คุณใช้เป็นอินพุตสำหรับฟังก์ชั่นเป็นตัวแปรอิสระคุณก็จะมีอิสระภาพมากเท่ากับที่คุณมีอินพุต แต่ถ้าพวกเขามีการพึ่งพาอาศัยในทางใดทางหนึ่งเช่นถ้าคุณมีอินพุต n - k คุณสามารถหาส่วนที่เหลือ k ได้คุณก็จะได้อิสรภาพ n - k องศาเท่านั้น และบางครั้งคุณต้องคำนึงถึงเรื่องนี้ด้วยมิฉะนั้นคุณจะมั่นใจได้ว่าข้อมูลมีความน่าเชื่อถือหรือมีพลังในการทำนายมากกว่าที่ทำได้จริงโดยการนับจุดข้อมูลมากกว่าที่คุณมีบิตของข้อมูลที่เป็นอิสระ

(นำมาจากโพสต์ที่http://www.reddit.com/r/math/comments/9qbut/could_someone_explain_to_me_what_degrees_of/c0dxtbq?context=3 )

ยิ่งกว่านั้นคำจำกัดความทั้งสามนี้เกือบจะพยายามให้ข้อความเดียวกัน

ฉันชอบประโยคแรกจาก The Little Handbook of Practice Practice บทที่ดีกรีอิสระ

หนึ่งในคำถามที่ผู้สอนสงสัยมากที่สุดจากผู้ชมที่ไม่มีความซับซ้อนทางคณิตศาสตร์คือ "อะไรคือองศาความอิสระ"

ฉันคิดว่าคุณสามารถเข้าใจอย่างถ่องแท้เกี่ยวกับองศาอิสระจากการอ่านบทนี้

วิกิพีเดียยืนยันว่าองศาอิสระของเวกเตอร์สุ่มสามารถตีความได้ว่าขนาดของพื้นที่ย่อยเวกเตอร์ ฉันต้องการไปทีละขั้นตอนโดยทั่วไปผ่านสิ่งนี้เป็นคำตอบบางส่วนและทำอย่างละเอียดในรายการ Wikipedia

ตัวอย่างที่นำเสนอเป็นที่ของเวกเตอร์สุ่มที่สอดคล้องกับการวัดของตัวแปรอย่างต่อเนื่องสำหรับวิชาที่แตกต่างกันแสดงเป็นเวกเตอร์ที่ยื่นออกมาจากต้นกำเนิด T การฉายฉากมุมฉากบนเวกเตอร์ผลลัพธ์ในเวกเตอร์เท่ากับการฉายภาพเวกเตอร์ของการวัดหมายถึง ( ), ie , มีจุดด้วยเวกเตอร์,ประมาณการนี้ลงบนพื้นที่ย่อยที่เวกเตอร์ของ คนมี{ระดับของเสรีภาพ} เหลือเวกเตอร์ (ระยะทางจากค่าเฉลี่ย) คือการฉายอย่างน้อยสี่เหลี่ยมบน$[a\,b\,c]^T$$[1\,1\,1]^T$$\bar{x}=1/3(a+b+c)$$[\bar x \, \bar x \, \bar x]^T$$\vec{1}$$[1\,1\,1]^T$$1\,\text{degree of freedom}$$(n − 1)$มิติประกอบฉากของมิติย่อยนี้และมี ,เป็นจำนวนส่วนประกอบทั้งหมดของเวกเตอร์ (ในกรณีของเราเนื่องจากเราอยู่ในใน ตัวอย่าง) สิ่งนี้สามารถพิสูจน์ได้ง่ายๆโดยการหาผลคูณของด้วยความแตกต่างระหว่างและ :$n − 1\,\text{degrees of freedom}$$n$$3$$\mathbb{R}^3$$[\bar{x}\,\bar{x}\,\bar{x}]^T$$[a\,b\,c]^T$$[\bar{x}\,\bar{x}\,\bar{x}]^T$

$$[\bar{x}\, \bar{x}\,\bar{x}]\, \begin{bmatrix} a-\bar{x}\\b-\bar{x}\\c-\bar{x}\end{bmatrix}=$$

$$= \bigg[\tiny\frac{(a+b+c)}{3}\, \bigg(a-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(b-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$=\tiny \frac{(a+b+c)}{3}\bigg[ \bigg(\tiny a-\frac{(a+b+c)}{3}\bigg)+ \bigg(b-\frac{(a+b+c)}{3}\bigg)+ \bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$= \tiny \frac{(a+b+c)}{3}\bigg[\tiny \frac{1}{3} \bigg(\tiny 3a-(a+b+c)+ 3b-(a+b+c)+3c-(a+b+c)\bigg)\bigg]$$

$$=\tiny\frac{(a+b+c)}{3}\bigg[\tiny\frac{1}{3} (3a-3a+ 3b-3b+3c-3c)\bigg]\large= 0$$ 0

และความสัมพันธ์นี้จะขยายไปสู่จุดใด ๆ ในฉากเครื่องบิน T แนวคิดนี้มีความสำคัญในการทำความเข้าใจว่าทำไมขั้นตอนในการสืบทอด t-distribution ( ที่นี่และที่นี่ )$[\bar{x}\,\bar{x}\,\bar{x}]^T$$\frac 1 {\sigma^2} \Big((X_1-\bar X)^2 + \cdots + (X_n - \bar X)^2 \Big) \sim \chi^2_{n-1}$

เอาจุด , ซึ่งสอดคล้องกับข้อสังเกตสามข้อ ค่าเฉลี่ยคือและเวกเตอร์เป็นปกติ (มุมฉาก) เพื่อเครื่องบินD เสียบจุดพิกัดลงในสมเครื่องบิน-9075$[35\,50\,80]^T$$55$$[55\,\,55\,\,55]^T$$55x + 55y + 55z = D$$D = -9075$

ตอนนี้เราสามารถเลือกจุดอื่น ๆ ในระนาบนี้และค่าเฉลี่ยของพิกัดของมันเป็นไปได้ , เรขาคณิตที่สอดคล้องกับการฉายภาพลงบนเวกเตอร์ T ดังนั้นสำหรับทุกค่าเฉลี่ย (ในตัวอย่างของเรา ) เราสามารถเลือกจำนวนคู่ของพิกัดในไม่ จำกัด ( ); เลยตั้งแต่เครื่องบินอยู่ใน ที่สามประสานงานจะมากำหนดโดยสมการของเครื่องบิน (หรือเรขาคณิตประมาณการมุมฉากของจุดบน T$55$$[1\,\,1\,\,1]^T$$55$$\mathbb{R}^2$$2\,\text{degrees of freedom}$$\mathbb{R}^3$$[55\,\,55\,\,55]^T$

นี่คือตัวแทนของสามจุด (เป็นสีขาว) นอนอยู่บนระนาบ (cerulean blue) orthogonal ถึง (ลูกศร): ,และทั้งหมดนี้อยู่บนระนาบ (subspace ที่มี ) และด้วยค่าเฉลี่ยของส่วนประกอบของและ orthogonal เงื้อมมือให้กับ (subspace กับ ) เท่ากับ :$[55\,\,55\,\,55]^T$$[35\,\,50\,\,80]^T$$[80\,\,80\,\,5]$$[90\,\,15\,\,60]$$2\,\text{df}$$55$$[1\,\,1\,\,1]^T$$1\,\text{df}$$[55\,\,55\,\,55]^T$

ในชั้นเรียนของฉันฉันใช้สถานการณ์ที่ "เรียบง่าย" ที่อาจช่วยให้คุณสงสัยและอาจพัฒนาความรู้สึกที่มีต่ออิสรภาพในระดับที่อาจหมายถึง

มันเป็นวิธีการ "Forrest Gump" กับเรื่อง แต่มันก็คุ้มค่าที่จะลอง

พิจารณาคุณมี 10 ข้อสังเกตอิสระที่มาทางด้านขวาจากประชากรปกติที่มีค่าเฉลี่ยและความแปรปรวนเป็นที่รู้จัก$X_1, X_2, \ldots, X_{10}\sim N(\mu,\sigma^2)$$\mu$$\sigma^2$

สังเกตของคุณนำมาให้คุณข้อมูลรวมทั้งเกี่ยวกับและ 2 ท้ายที่สุดการสังเกตของคุณมีแนวโน้มที่จะแพร่กระจายไปรอบ ๆ ค่ากลางเดียวซึ่งควรใกล้เคียงกับค่าจริงและไม่รู้จักและเช่นเดียวกันหากสูงหรือต่ำมากคุณก็คาดหวังว่าจะเห็นการสังเกตการณ์ของคุณ รวบรวมค่าสูงหรือต่ำมากตามลำดับ "การแทนที่" ที่ดีอย่างหนึ่งสำหรับ (หากไม่มีความรู้เกี่ยวกับมูลค่าที่แท้จริง) คือซึ่งเป็นค่าเฉลี่ยของการสังเกตของคุณ $\mu$$\sigma^2$$\mu$$\mu$$\mu$$\bar X$

นอกจากนี้หากการสังเกตของคุณอยู่ใกล้กันมากนั่นเป็นข้อบ่งชี้ว่าคุณสามารถคาดหวังว่าจะต้องเล็กและในทำนองเดียวกันถ้ามีขนาดใหญ่มากคุณสามารถคาดหวังว่าจะเห็นคุณค่าที่แตกต่างกัน สำหรับเพื่อ{10} $\sigma^2$$\sigma^2$$X_1$$X_{10}$

หากคุณต้องเดิมพันค่าจ้างรายสัปดาห์ซึ่งควรเป็นค่าจริงของและคุณจะต้องเลือกคู่ของค่าที่คุณจะเดิมพันเงินของคุณ อย่าคิดว่าจะเป็นอะไรที่น่าทึ่งเท่ากับเสียเงินจากเช็คของคุณจนกว่าคุณจะเดาอย่างถูกต้องจนกระทั่งตำแหน่งทศนิยมที่ 200 Nope ลองนึกถึงระบบการให้ผลตอบแทนที่ยิ่งคาดเดาและยิ่งคุณได้รับรางวัลมากเท่าไหร่$\mu$$\sigma^2$$\mu$$\mu$$\sigma^2$

ในความรู้สึกบางอย่างที่ดีกว่ามีข้อมูลมากขึ้นและสุภาพมากขึ้นเดาของคุณสำหรับค่า 's อาจจะX ในความรู้สึกที่คุณประเมินว่าจะต้องเป็นค่าบางอย่างรอบX ในทำนองเดียวกันหนึ่งที่ดี "แทน" สำหรับ (ไม่จำเป็นสำหรับตอนนี้) เป็นแปรปรวนตัวอย่างของคุณซึ่งจะทำให้ประมาณการที่ดีสำหรับ\$\mu$$\bar X$$\mu$$\bar X$$\sigma^2$$S^2$$\sigma$

หากคุณเชื่อว่าสารทดแทนเหล่านั้นเป็นค่าที่แท้จริงของและคุณอาจจะผิดเพราะเพรียวบางเป็นโอกาสที่คุณโชคดีมากที่การสังเกตการณ์ของคุณประสานงานเพื่อให้คุณได้รับของขวัญเท่ากับและเท่ากับ 2 ไม่หรอกมันอาจจะไม่เกิดขึ้น$\mu$$\sigma 2$$\bar X$$\mu$$S^2$$\sigma^2$

แต่คุณอาจจะอยู่ในระดับที่แตกต่างของความผิดแตกต่างไปจากผิดเล็กน้อยไปสู่ความจริงผิดอย่างน่าสังเวชจริงๆ (อาคาลาบายลาเช็คเงินเดือนสัปดาห์หน้าคุณ!)

ตกลงขอบอกว่าคุณเอาเป็นเดาของคุณสำหรับ\พิจารณาเพียงแค่สองสถานการณ์:และSในตอนแรกการสังเกตของคุณนั่งสวยและใกล้กัน ในระยะหลังการสังเกตของคุณแตกต่างกันไป ในสถานการณ์ใดที่คุณควรคำนึงถึงความสูญเสียที่อาจเกิดขึ้น หากคุณคิดถึงสิ่งที่สองคุณคิดถูก การที่มีการประมาณเปลี่ยนความเชื่อมั่นของคุณในการเดิมพันของคุณอย่างมีเหตุผลมากสำหรับใหญ่กว่านั้นคือยิ่งคุณคาดหวังว่าจะแปรปรวนมากขึ้น$\bar X$$\mu$$S^2=2$$S^2=20,000,000$$\sigma^2$$\sigma^2$$\bar X$

แต่นอกเหนือจากข้อมูลเกี่ยวกับและการสังเกตของคุณยังดำเนินการจำนวนเงินบางส่วนของความผันผวนสุ่มบริสุทธิ์เพียงที่ไม่ได้ให้ข้อมูลเกี่ยวกับค่ามิได้เกี่ยวกับ 2 $\mu$$\sigma^2$$\mu$$\sigma^2$

คุณจะสังเกตเห็นได้อย่างไร

ดีสมมติว่าเพื่อประโยชน์ในการโต้แย้งว่ามีพระเจ้าและว่าเขามีเวลาว่างพอที่จะให้ตัวเองเอาจริงเอาจังของบอกคุณโดยเฉพาะจริง (และอื่น ๆ ที่ไม่รู้จักไกล) ค่าของทั้งสองและ\$\mu$$\sigma$

และนี่คือพล็อตเรื่องน่ารำคาญที่บิดเบี้ยวเรื่องนี้: เขาบอกคุณหลังจากที่คุณวางเดิมพัน บางทีอาจจะให้ความกระจ่างแก่คุณเพื่อเตรียมคุณหรืออาจจะทำให้คุณเยาะเย้ย คุณจะรู้ได้อย่างไร

นั่นทำให้ข้อมูลเกี่ยวกับและมีอยู่ในการสังเกตของคุณไม่มีประโยชน์เลยในตอนนี้ ตำแหน่งศูนย์กลางและความแปรปรวนของสังเกตการณ์ไม่มีความช่วยเหลือใด ๆ ที่จะเข้าใกล้ค่าที่แท้จริงของและอีกต่อไปเพราะคุณรู้แล้ว$\mu$$\sigma^2$$\bar X$$S^2$$\mu$$\sigma^2$

ข้อดีอย่างหนึ่งของการทำความคุ้นเคยกับพระเจ้าคือการที่คุณรู้ว่าคุณไม่สามารถเดาได้อย่างถูกต้องโดยใช้นั่นคือข้อผิดพลาดในการประมาณของคุณ$\mu$$\bar X$$(\bar X - \mu)$

อืมเนื่องจากจากนั้น (เชื่อฉันเถอะถ้าคุณต้องการ), (ตกลงเชื่อฉันในเรื่องนั้นด้วย) และในที่สุด (เดาอะไรไว้วางใจผมในการที่หนึ่งเช่นกัน) ซึ่งดำเนินการอย่างไม่มีข้อมูลเกี่ยวกับหรือ 2$X_i\sim N(\mu,\sigma^2)$$\bar X\sim N(\mu,\sigma^2/10)$$(\bar X - \mu)\sim N(0,\sigma^2/10)$

$$\frac{\bar X - \mu}{\sigma/\sqrt{10}} \sim N(0,1)$$ $\mu$$\sigma^2$

คุณรู้อะไรไหม? ถ้าคุณเอาใด ๆ ของการสังเกตของแต่ละบุคคลเป็นเดาสำหรับข้อผิดพลาดการประมาณค่าของคุณจะกระจายเป็น2) ทีนี้ระหว่างการประมาณกับและใด ๆการเลือกจะเป็นธุรกิจที่ดีกว่าเพราะดังนั้นมีแนวโน้มที่จะหลงทางจากน้อยกว่าเดี่ยวๆ$\mu$$(X_i-\mu)$$N(0,\sigma^2)$$\mu$$\bar X$$X_i$$\bar X$$Var(\bar X) = \sigma^2/10 < \sigma^2 = Var(X_i)$$\bar X$$\mu$$X_i$

อย่างไรก็ตามก็ไม่ให้ข้อมูลเกี่ยวกับหรืออย่างแน่นอน$(X_i-\mu)/\sigma\sim N(0,1)$$\mu$$\sigma^2$

เรื่องนี้จะจบลงไหม? คุณอาจจะคิด คุณอาจกำลังคิดว่า "มีความผันผวนแบบสุ่มอีกหรือไม่ที่ไม่ให้ข้อมูลเกี่ยวกับและ ?"$\mu$$\sigma^2$

[ฉันชอบที่จะคิดว่าคุณกำลังคิดถึงสิ่งหลัง]

ใช่แล้ว!

กำลังสองของข้อผิดพลาดการประมาณค่าของคุณสำหรับกับหารด้วย , มีการแจกแจงแบบ Chi-squared ซึ่งเป็นการกระจายของจตุของมาตรฐานปกติซึ่งฉันแน่ใจว่าคุณสังเกตเห็นว่ามีอย่างแน่นอน ไม่มีข้อมูลเกี่ยวกับหรือแต่ให้ข้อมูลเกี่ยวกับความแปรปรวนที่คุณควรคาดหวัง$\mu$$X_i$$\sigma$

$$\frac{(X_i-\mu)^2}{\sigma^2} = \left(\frac{X_i-\mu}{\sigma}\right)^2 \sim \chi^2$$ $Z^2$$Z\sim N(0,1)$$\mu$$\sigma^2$

นั่นคือการกระจายที่รู้จักกันดีที่เกิดขึ้นตามธรรมชาติจากสถานการณ์การพนันของคุณสำหรับทุก ๆ การสังเกตของคุณและจากค่าเฉลี่ยของคุณ: และจากการรวบรวมการเปลี่ยนแปลงสิบข้อสังเกตของคุณ: ตอนนี้ผู้ชายคนสุดท้ายไม่มีการกระจายตัวแบบไคสแควร์เพราะเขาเป็นผลรวมของการแจกแจงแบบไคสแควร์สิบตัวพวกเขาทั้งหมดเป็นอิสระจากกัน (เพราะเช่นนั้นคือ

$$\frac{(\bar X-\mu)^2}{\sigma^2/10} = \left(\frac{\bar X-\mu}{\sigma/\sqrt{10}}\right)^2 = \left(N(0,1)\right)^2 \sim\chi^2$$ $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\mu}{\sigma/\sqrt{10}}\right)^2 =\sum_{i=1}^{10} \left(N(0,1)\right)^2 =\sum_{i=1}^{10} \chi^2.$$ $X_1, \ldots, X_{10}$) หนึ่งในการแจกแจงแบบไคสแควร์เดี่ยวแต่ละอันนั้นมีส่วนร่วมอย่างใดอย่างหนึ่งต่อจำนวนความแปรปรวนแบบสุ่มที่คุณควรคาดหวังว่าจะได้รับ

มูลค่าของการบริจาคแต่ละครั้งไม่เท่ากับในเชิงคณิตศาสตร์เท่ากับอีกเก้าคน แต่ทั้งหมดนี้มีพฤติกรรมที่คาดหวังไว้เหมือนกันในการแจกแจง ในแง่ที่พวกเขามีความสมมาตรอย่างใด

หนึ่งใน Chi-square นั้นมีส่วนร่วมอย่างใดอย่างหนึ่งต่อจำนวนความแปรปรวนแบบสุ่มที่คุณควรคาดหวังจากผลรวมนั้น

หากคุณมีการสังเกต 100 ครั้งผลรวมข้างต้นจะคาดว่าจะใหญ่ขึ้นเพียงเพราะมีแหล่งที่มาของข้อผูกมัดมากขึ้น

แต่ละคน "แหล่งที่มาของผลงาน" ที่มีพฤติกรรมเดียวกันสามารถเรียกได้ว่าระดับของเสรีภาพ

ทีนี้กลับไปหนึ่งหรือสองขั้นตอนอ่านย่อหน้าก่อนหน้าอีกครั้งหากจำเป็นเพื่อรองรับการมาถึงของคุณในทันที

อ๋อระดับของเสรีภาพแต่ละคนสามารถจะคิดว่าเป็นหนึ่งหน่วยของความแปรปรวนที่คาดว่าจะเกิดขึ้น obligatorily และที่จะนำอะไรที่จะปรับปรุงการคาดเดาของหรือ 2$\mu$$\sigma^2$

สิ่งที่เกิดขึ้นคือคุณเริ่มนับว่าพฤติกรรมของแหล่งที่มาของความแปรปรวนที่เทียบเท่ากัน 10 แหล่งนั้น หากคุณมีการสังเกต 100 ครั้งคุณจะมีแหล่งที่มาอิสระที่มีพฤติกรรมเหมือนกัน 100 แหล่งที่มีความผันผวนแบบสุ่มอย่างเข้มงวดกับผลรวมนั้น

ผลรวมของ 10 จิสี่เหลี่ยมที่ได้รับการเรียกว่าการแจกแจงไคสแควร์กับ10องศาอิสระจากนี้และเขียน{10} เราสามารถอธิบายสิ่งที่คาดหวังจากมันเริ่มต้นจากฟังก์ชั่นความหนาแน่นของความน่าจะเป็นของตนที่จะได้รับทางคณิตศาสตร์จากความหนาแน่นจากว่าการกระจาย Chi-Squared เดียว (จากนี้เรียกว่าการกระจายไคสแควร์กับหนึ่งระดับของเสรีภาพและการเขียน ) ซึ่งสามารถได้มาทางคณิตศาสตร์จากความหนาแน่นของการแจกแจงแบบปกติ$\chi^2_{10}$$\chi^2_1$

"งั้นเหรอ?" --- คุณอาจจะคิดว่า --- "นั่นเป็นเรื่องดีถ้าพระเจ้าใช้เวลาในการบอกคุณค่าของและทุกสิ่งที่เขาสามารถบอกฉันได้!"$\mu$$\sigma^2$

หากพระเจ้าผู้ทรงอำนาจไม่ว่างเกินไปที่จะบอกคุณค่าของและคุณจะยังคงมี 10 แหล่งที่มานั่นคือ 10 องศาอิสระ$\mu$$\sigma^2$

สิ่งต่าง ๆ เริ่มแปลก ๆ (ฮ่าฮ่าฮ่าฮ่าเพียงแค่ตอนนี้!) เมื่อคุณกบฏต่อพระเจ้าและลองด้วยตัวเองโดยไม่คาดหวังว่าจะให้การอุปถัมภ์คุณ

คุณมีและประมาณค่าสำหรับและ 2 คุณสามารถค้นหาวิธีการเดิมพันที่ปลอดภัยยิ่งขึ้น$\bar X$$S^2$$\mu$$\sigma^2$

คุณสามารถลองคำนวณผลรวมข้างต้นด้วยและในตำแหน่งของและ : แต่นั่นคือ ไม่เหมือนกับผลรวมดั้งเดิม$\bar X$$S^2$$\mu$$\sigma^2$

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\bar X}{S/\sqrt{10}}\right)^2,$$

"ทำไมจะไม่ล่ะ?" คำในสี่เหลี่ยมจัตุรัสของผลรวมทั้งสองนั้นแตกต่างกันมาก ยกตัวอย่างเช่นไม่น่าเป็นไปได้ แต่การสังเกตของคุณทั้งหมดจะมีขนาดใหญ่กว่าซึ่งในกรณีนี้ซึ่งมีความหมายว่าแต่ตามลำดับเพราะ0 $\mu$$(X_i-\mu) > 0$$\sum_{i=1}^{10}(X_i-\mu) > 0$$\sum_{i=1}^{10}(X_i-\bar X) = 0$$\sum_{i=1}^{10}X_i-10 \bar X =10 \bar X - 10 \bar X = 0$

แย่กว่านั้นคุณสามารถพิสูจน์ได้อย่างง่ายดาย (ฮาฮาฮาฮา; ขวา!) ที่มีความไม่เท่าเทียมอย่างเข้มงวดเมื่อการสังเกตอย่างน้อยสองครั้งแตกต่างกัน (ซึ่งไม่ใช่เรื่องผิดปกติ)$\sum_{i=1}^{10}(X_i-\bar X)^2 \le \sum_{i=1}^{10}(X_i-\mu)^2$

"แต่เดี๋ยวก่อน! มีอีกมาก!" ไม่มีการแจกแจงแบบปกติมาตรฐาน ไม่มี การกระจายแบบไคสแควร์ที่มีอิสระในระดับหนึ่ง ไม่มีการกระจายแบบไคสแควร์ด้วย อิสรภาพ 10 องศา ไม่มีการแจกแจงแบบปกติมาตรฐาน

$$\frac{X_i-\bar X}{S/\sqrt{10}}$$ $$\frac{(X_i-\bar X)^2}{S^2/10}$$ $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10}$$ $$\frac{\bar X-\mu}{S/\sqrt{10}}$$

"มันทั้งหมดเพื่ออะไร?"

ไม่มีทาง. ตอนนี้ความมหัศจรรย์มาแล้ว! โปรดทราบว่า หรือเทียบเท่า

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[X_i-\mu+\mu-\bar X]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[(X_i-\mu)-(\bar X-\mu)]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-2(X_i-\mu)(\bar X-\mu)+(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\sum_{i=1}^{10} \frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-10\frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\frac{(\bar X-\mu)^2}{\sigma^2/10}$$ $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} +\frac{(\bar X-\mu)^2}{\sigma^2/10}.$$ ตอนนี้เรากลับไปที่ใบหน้าที่รู้จักกัน

เทอมแรกมีการแจกแจงแบบ Chi-squared ที่มีอิสระ 10 องศาและเทอมสุดท้ายจะมีการแจกแจงแบบ Chi-squared ที่มีระดับความอิสระหนึ่งระดับ (!)

เราแยก Chi-square ด้วย 10 แหล่งที่มาของความแปรปรวนอย่างเท่าเทียมกันในสองส่วนทั้งบวก: ส่วนที่หนึ่งคือ Chi-square ที่มีแหล่งที่มาของความแปรปรวนและอีกหนึ่งที่เราสามารถพิสูจน์ได้ (ก้าวกระโดดของความเชื่อ? ) ที่จะเป็น Chi-square ด้วย 9 (= 10-1) แหล่งที่มาของความแปรปรวนอย่างเท่าเทียมกันอย่างอิสระโดยที่ทั้งสองส่วนเป็นอิสระจากกัน

นี่เป็นข่าวดีอยู่แล้วตั้งแต่ตอนนี้เรามีการเผยแพร่

อนิจจามันใช้ซึ่งเราไม่สามารถเข้าถึงได้ (โปรดจำไว้ว่าพระเจ้ากำลังสร้างความสนุกสนานให้กับตัวเองในการเฝ้าดูการต่อสู้ของเรา)$\sigma^2$

ดี ดังนั้น ดังนั้น ซึ่งเป็นการแจกแจงที่ไม่ใช่มาตรฐานปกติ แต่ความหนาแน่นสามารถมาจาก ความหนาแน่นของมาตรฐานทั่วไปและ Chi-squared กับองศาอิสระ

$$S^2=\frac{1}{10-1}\sum_{i=1}^{10} (X_i-\bar X)^2,$$ $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\frac{\sum_{i=1}^{10} (X_i-\bar X)^2}{\sigma^2} =\frac{(10-1)S^2}{\sigma^2} \sim\chi^2_{(10-1)}$$ $$\frac{\bar X-\mu}{S/\sqrt{10}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\frac{S}{\sigma}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{S^2}{\sigma^2}}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{\frac{(10-1)S^2}{\sigma^2}}{(10-1)}}} =\frac{N(0,1)}{\sqrt{\frac{\chi^2_{(10-1)}}{(10-1)}}},$$ $(10-1)$

ผู้ชายที่ฉลาดหลักแหลมคนหนึ่งทำคณิตศาสตร์ [^ 1] ในช่วงต้นศตวรรษที่ 20 และด้วยเหตุนี้เขาจึงทำให้หัวหน้าของเขาเป็นผู้นำระดับโลกในอุตสาหกรรมเบียร์สเตาต์ ฉันกำลังพูดคุยเกี่ยวกับวิลเลียมซีลี Gosset (aka นักศึกษา; ใช่ว่านักศึกษาจากกระจาย) และเซนต์เจมส์ประตูโรงเบียร์ (aka โรงเบียร์กินเน ) ที่ฉันศรัทธา$t$

[^ 1]: @whuber บอกในความคิดเห็นด้านล่างว่า Gosset ไม่ได้ทำคณิตศาสตร์ แต่คาดเดาแทน! ฉันไม่รู้จริง ๆ ว่าเพลงใดที่น่าแปลกใจมากกว่าในตอนนั้น

นั่นคือเพื่อนที่รักของฉันคือที่มาของการแจกแจงมีองศาอิสระอัตราส่วนของมาตรฐานปกติและรากกำลังสองของไค - สแควร์อิสระหารด้วยองศาอิสระซึ่งคาดเดาได้จากกระแสน้ำที่ไม่อาจคาดการณ์ได้อธิบายถึงพฤติกรรมที่คาดหวังของข้อผิดพลาดในการประมาณที่คุณได้รับเมื่อใช้ค่าเฉลี่ยตัวอย่างเพื่อประเมินและการใช้เพื่อประเมินความแปรปรวนของX$t$$(10-1)$$\bar X$$\mu$$S^2$$\bar X$

ไปแล้ว ด้วยรายละเอียดทางเทคนิคจำนวนมากที่น่าสะพรึงกลัวกวาดไปด้านหลังพรม แต่ไม่ได้ขึ้นอยู่กับการแทรกแซงของพระเจ้าเพียงอย่างเดียวที่จะวางเดิมพันทั้งหมด

คำอธิบายง่ายขององศาอิสระคือว่าพวกเขาเป็นตัวแทน จำนวนชิ้นที่เป็นอิสระของข้อมูลที่มีอยู่ในข้อมูลสำหรับการประเมินพารามิเตอร์ (เช่นปริมาณที่ไม่รู้จัก) ที่น่าสนใจ

เป็นตัวอย่างในรูปแบบการถดถอยเชิงเส้นอย่างง่ายของรูปแบบ:

$$Y_i=\beta_0 + \beta_1\cdot X_i + \epsilon_i,\quad i=1,\ldots, n$$

ที่ 's แทนเงื่อนไขข้อผิดพลาดอิสระกระจายตามปกติที่มีค่าเฉลี่ย 0 และส่วนเบี่ยงเบนมาตรฐานเราจะใช้ 1 ระดับของเสรีภาพในการประมาณตัด 1 และระดับของเสรีภาพในการประมาณลาด\เนื่องจากเราเริ่มต้นด้วยการสังเกตและใช้เวลาอิสระถึง 2 องศา (เช่นข้อมูลสองชิ้นอิสระ) เราจึงเหลือองศาอิสระ (เช่นชิ้นอิสระ) สำหรับการประเมินข้อผิดพลาด ส่วนเบี่ยงเบนมาตรฐาน\$\epsilon_i$$\sigma$$\beta_0$$\beta_1$$n$$n-2$$n-2$$\sigma$

คุณสามารถเห็นระดับความอิสระตามจำนวนการสังเกตลบด้วยจำนวนความสัมพันธ์ที่จำเป็นระหว่างการสังเกตเหล่านี้ โดยกันตัวอย่างถ้าคุณมีตัวอย่างของการสังเกตการกระจายปกติอิสระX_1,ตัวแปรสุ่มโดยที่x_i การศึกษาระดับปริญญาของเสรีภาพที่นี่เป็นเพราะพวกเขาเป็นหนึ่งในความสัมพันธ์ที่จำเป็นระหว่างการสังเกตวิทยานิพนธ์x_i)$n$$X_1,\dots,X_n$$\sum_{i=1}^n (X_i-\overline{X}_n)^2\sim \mathcal{X}^2_{n-1}$$\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$$n-1$$(\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i)$

สำหรับข้อมูลเพิ่มเติมดูที่นี่

สำหรับฉันคำอธิบายแรกที่ฉันเข้าใจคือ:

หากคุณรู้คุณค่าทางสถิติเช่นค่าเฉลี่ยหรือความแปรปรวนจำนวนของข้อมูลที่คุณต้องรู้ก่อนที่คุณจะรู้ค่าของตัวแปรทุกตัว

นี่เป็นเช่นเดียวกับ aL3xa กล่าว แต่โดยไม่ต้องให้จุดข้อมูลใด ๆ มีบทบาทพิเศษและใกล้เคียงกับกรณีที่สามที่ได้รับคำตอบ ด้วยวิธีนี้ตัวอย่างเดียวกันจะเป็น:

หากคุณทราบค่าเฉลี่ยของข้อมูลคุณจำเป็นต้องทราบค่าสำหรับจุดข้อมูลทั้งหมดยกเว้นจุดเดียวเพื่อทราบค่าของจุดข้อมูลทั้งหมด

คิดแบบนี้ ความแปรปรวนเป็นสารเติมแต่งเมื่อเป็นอิสระ ตัวอย่างเช่นสมมติว่าเราโยนปาเป้าไปที่กระดานและเราวัดความเบี่ยงเบนมาตรฐานของการกระจัดของและจากจุดศูนย์กลางที่แน่นอนของกระดาน จากนั้นV_แต่ถ้าเราหาสแควร์รูทของสูตรเราจะได้สูตรระยะทางสำหรับพิกัดมุมฉาก . ตอนนี้สิ่งที่เราต้องแสดงก็คือค่าเบี่ยงเบนมาตรฐานเป็นตัวชี้วัดของการกระจัดออกจากศูนย์กลางของกระดานปาเป้า ตั้งแต่เรามีวิธีพูดคุยพร้อม df โปรดทราบว่าเมื่อ$x$$y$$V_{x,y}=V_x+V_y$$V_x=SD_x^2$$V_{x,y}$$SD_{x,y}=\sqrt{SD_x^2+SD_y^2}$$SD_x=\sqrt{\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}}$$n=1$จากนั้นและอัตราส่วน{0} กล่าวอีกนัยหนึ่งไม่มีความเบี่ยงเบนใด ๆ ที่จะเกิดขึ้นระหว่าง -dart และ -dart ครั้งแรกที่เรามีการเบี่ยงเบนสำหรับและมีเพียงหนึ่งในนั้นที่ซ้ำกัน ที่ซ้ำกันส่วนเบี่ยงเบนคือระยะทางที่ยกกำลังสองระหว่างหรือและเพราะเป็นจุดกึ่งกลางระหว่างหรือค่าเฉลี่ยของและx_2โดยทั่วไปสำหรับระยะทางเราจะลบ 1 เนื่องจากขึ้นอยู่กับทั้งหมด$x_1-\bar{x}=0$ xn=2x1x2 ˉ x =x1+x$\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}\rightarrow \dfrac{0}{0}$$x$$n=2$$x_1$$x_2$ ˉ x x1x2n ˉ x nn-$\bar{x}=\dfrac{x_1+x_2}{2}$$\bar{x}$$x_1$$x_2$$n$$\bar{x}$$n$ของระยะทางเหล่านั้น ตอนนี้แสดงถึงระดับความเป็นอิสระเพราะมันทำให้ปกติของผลลัพธ์ที่ไม่ซ้ำกันเพื่อทำให้ระยะทางที่คาดหวัง เมื่อแบ่งออกเป็นผลรวมของระยะทางสี่เหลี่ยมจัตุรัสเหล่านั้น$n-1$