ความหมายของ 'จำนวนพารามิเตอร์' ใน AIC

21

เมื่อคำนวณ AIC

$AIC = 2k - 2 ln L$

k หมายถึง 'จำนวนพารามิเตอร์' แต่สิ่งที่นับเป็นพารามิเตอร์ ตัวอย่างเช่นในโมเดล

$y = ax + b$

a และ b ถูกนับเป็นพารามิเตอร์เสมอหรือไม่ ถ้าฉันไม่สนใจเกี่ยวกับคุณค่าของการสกัดกั้นฉันจะเพิกเฉยหรือไม่ก็นับได้หรือไม่

เกิดอะไรขึ้นถ้า

$y = a f(c,x) + b$

โดยที่ $f$ คือฟังก์ชันของ c และ x ตอนนี้ฉันจะนับ 3 พารามิเตอร์หรือไม่

aic

— บ๊อบแทรก
แหล่งที่มา

9

นี่เป็นคำถามที่ดีเพราะมีความละเอียด:

คือจำนวนของพารามิเตอร์ที่สามารถระบุได้ที่จะประมาณ ยกตัวอย่างเช่นแม้ว่าในรูปแบบการถดถอย

ห้าพารามิเตอร์จะเขียน แต่

4

(รุ่นนี้เทียบเท่ากับ

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

ด้วย

และ

ซึ่งต้องการพารามิเตอร์เพียงสี่ตัวเท่านั้น)

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

อย่างเคร่งครัดคุณจะนับพารามิเตอร์อิสระที่สามารถระบุตัวได้ทั้งหมด - ค่าเฉลี่ยพารามิเตอร์พารามิเตอร์รูปร่างและสเกลพารามิเตอร์ใด ๆ ก็ตาม (และเป็นสิ่งสำคัญสำหรับ AIC

) แต่สำหรับ AIC นั้นจะไม่มีผลใด ๆ หากคุณไม่ใช้พารามิเตอร์ทั่วไป ตัวอย่างเช่นในการถดถอยคุณควรนับพารามิเตอร์ผลต่าง ดังนั้นโดยการนับของฉันพารามิเตอร์ทั้งหมดของคุณนับในคำถามของคุณเป็นหนึ่งสั้น - แต่ถ้ามีอย่างแน่นอนในทุกรูปแบบก็ไม่เจ็บที่จะลดลงสำหรับ AIC R นับพารามิเตอร์ความแปรปรวนอย่างชัดเจนเมื่อคำนวณ AIC ในแบบจำลองการถดถอย

_{C}

$_C$

— Glen_b -Reinstate Monica

@whuber ทำไมความคิดเห็นที่ยอดเยี่ยมนี้ไม่ได้โพสต์เป็นคำตอบ? :)

— Alexis

ขอบคุณ @Alexis ฉันโพสต์ความคิดนี้เป็นความคิดเห็นเพราะความคิดนั้นได้รับการครอบคลุมอย่างเพียงพอในคำตอบของ P Schnell: ฉันต้องการเพียงเพื่อเน้นย้ำอีกเล็กน้อย

— whuber

17

ดังที่ mugen กล่าวไว้แสดงถึงจำนวนของพารามิเตอร์ที่ประมาณไว้ กล่าวอีกนัยหนึ่งคือจำนวนปริมาณเพิ่มเติมที่คุณต้องทราบเพื่อระบุรุ่นทั้งหมด ในโมเดลการถดถอยเชิงเส้นอย่างง่าย คุณสามารถประมาณ , หรือทั้งคู่ ไม่ว่าคุณจะประมาณปริมาณเท่าใดคุณต้องแก้ไข ไม่มี "ละเว้น" พารามิเตอร์ในแง่ที่คุณไม่รู้จักและไม่สนใจมัน โมเดลที่พบบ่อยที่สุดที่ไม่ได้ประเมินทั้งและคือโมเดลที่ไม่มีการดักจับซึ่งเราจะแก้ไข $k$

y = a x + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$ เป็นรุ่นที่ไม่มีการสกัดกั้นที่เราจะแก้ไขปัญหานี้จะมี 1 พารามิเตอร์ คุณสามารถได้อย่างง่ายดายเพียงแก้ไข

หรือ

หากคุณมีเหตุผลที่จะเชื่อว่ามันสะท้อนความเป็นจริง (จุดที่ดี:

a = 2

$a=2$

b = 1

$b=1$

σ

$\sigma$ ยังเป็นพารามิเตอร์ในการถดถอยเชิงเส้นอย่างง่าย แต่เนื่องจากมีในทุกรุ่นคุณจึงสามารถวางได้โดยไม่กระทบกับการเปรียบเทียบ AIC)

หากโมเดลของคุณคือ จำนวนพารามิเตอร์ขึ้นอยู่กับว่าคุณจะแก้ไขค่าใด ๆ เหล่านี้และในรูปแบบของฉตัวอย่างเช่นถ้าเราต้องการประมาณและรู้ว่าดังนั้นเมื่อเราเขียนโมเดลเรามี พร้อมพารามิเตอร์ที่ไม่รู้จักสามตัว อย่างไรก็ตามถ้า

y = a f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

y = a x^{c} + b

$y=ax^c+b$

f (c, x) = c x

$f(c,x)=cx$ จากนั้นเรามีโมเดล

ซึ่งมีเพียงสองพารามิเตอร์เท่านั้น:

และ

y = a c x + b

$y=acx+b$

a c

$ac$

b

$b$ ข

มันเป็นสิ่งสำคัญที่เป็นครอบครัวของฟังก์ชั่นการจัดทำดัชนีโดยคหากคุณรู้ว่านั้นต่อเนื่องและขึ้นอยู่กับและคุณก็จะโชคไม่ดีเพราะมีฟังก์ชั่นต่อเนื่องมากมายนับไม่ถ้วน $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— P Schnell
แหล่งที่มา

2

(+1) อาจจะมีมูลค่าการกล่าวขวัญว่าตลอด "การประมาณการ" หมายถึง "การประมาณการโดยโอกาสสูงสุด"

— Scortchi - Reinstate Monica

มันสำคัญจริงๆเหรอ? ในความเป็นจริงของฉัน

เป็นแบบจำลองขนาดใหญ่ไม่สามารถแยกวิเคราะห์และใช้เวลาในการคำนวณ ฉันลองกับ

แตกต่างกันประมาณ 20 ค่าเพราะนั่นคือทั้งหมดที่เรามีเวลาและฉันก็ติดกับค่า

ที่ให้

ที่ดีที่สุดในตอนท้ายของวัน ดังนั้นในลักษณะของการพูดฉันได้ประเมิน

อย่างดีที่สุดเท่าที่จะทำได้แม้ว่าจะไม่ใช่อย่างที่คุณต้องการในการถดถอย แน่นอนว่ามันยังนับเป็นพารามิเตอร์สำหรับ AIC

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

— แทรกบ๊อบ

2

@ScreenBob: ใช่ - เมื่อคุณเปรียบเทียบแบบจำลองทั้งสองแบบความแตกต่างในความเป็นไปได้สูงสุดในการบันทึกคือตัวประมาณค่าความลำเอียงของความแตกต่างในการสูญเสียข้อมูล Kullback-Leibler ที่คาดไว้และระยะเวลาการลงโทษใน AIC โดยประมาณ

— Scortchi - Reinstate Monica

1

@ScreenBob: ฉันควรจะพูดถึงว่ามีการดัดแปลงของ AIC สำหรับการประมาณสมการทั่วไปและสิ่งที่คล้ายกัน - พวกเขาใช้โอกาสเสมือนจริงสูงสุดและระยะการลงโทษที่ซับซ้อนมากขึ้น

— Scortchi - Reinstate Monica

4

สำหรับโมเดลเชิงสถิติใด ๆ ค่า AIC คือ $\mathit{AIC} = 2k - 2\ln(L)$ โดยที่ k คือจำนวนพารามิเตอร์ในตัวแบบและ L คือค่าสูงสุดของฟังก์ชันความน่าจะเป็นสำหรับตัวแบบ

(ดูที่นี่ )

อย่างที่คุณเห็น $k$ แสดงถึงจำนวนของพารามิเตอร์ที่ประมาณไว้ในแต่ละรุ่น หากแบบจำลองของคุณมีจุดตัด (นั่นคือถ้าคุณคำนวณจุดประมาณความแปรปรวนและช่วงความเชื่อมั่นสำหรับจุดตัด) มันจะนับเป็นพารามิเตอร์ ในทางกลับกันถ้าคุณกำลังคำนวณโมเดลโดยไม่มีการสกัดกั้นมันจะไม่นับ

โปรดจำไว้ว่า AIC ไม่เพียง แต่จะสรุปความดีของความพอดี แต่ยังพิจารณาถึงความซับซ้อนของแบบจำลอง นั่นเป็นเหตุผล $k$ มีอยู่เพื่อลงโทษโมเดลด้วยพารามิเตอร์เพิ่มเติม

ฉันรู้สึกไม่มีความรู้เพียงพอที่จะตอบคำถามที่สองของคุณฉันจะปล่อยให้สมาชิกคนอื่นของชุมชน

— Mugen
แหล่งที่มา

1

นั่นหมายความว่าถ้าฉัน Box-Cox แปลงทั้ง x และ y แล้ว

λ

$\lambda$ จากการแปลงแต่ละครั้งจะนับเป็นพารามิเตอร์ด้วยหรือไม่

— แทรกบ๊อบ

1

ใช่แน่นอน

— PA6OTA

1

อันดับแรกสำหรับผู้ที่อาจไม่คุ้นเคยกับ AIC: Akaike Information Criterion (AIC) เป็นตัวชี้วัดที่ออกแบบมาง่าย ๆ เพื่อเปรียบเทียบ "ความดี" ของแบบจำลอง

จากข้อมูลของ AIC เมื่อพยายามเลือกระหว่างสองโมเดลที่แตกต่างกันที่ใช้กับอินพุตและตัวแปรตอบกลับเดียวกันเดียวกันนั่นคือโมเดลที่ออกแบบมาเพื่อแก้ปัญหาเดียวกันโมเดลที่มี AIC ต่ำกว่าจะถือว่า "ดีกว่า"

ในสูตร AIC $k$ หมายถึงจำนวนของตัวแปร (คุณสมบัติการป้อนข้อมูลหรือคอลัมน์) ในรูปแบบ โมเดลที่ซับซ้อนมากขึ้นคือ (ตัวแปรที่จำเป็นสำหรับการประมาณค่าหรือการทำนาย) ยิ่ง AIC ยิ่งสูง สิ่งนี้ทำให้มั่นใจได้ว่าในสองรุ่นที่มีพลังการทำนายหรือความแม่นยำเท่ากันโมเดลที่เรียบง่ายจะเป็นผู้ชนะ นี่คือรูปแบบหนึ่งของ Occam's razor

ดังนั้นคำตอบง่ายๆสำหรับคำถามสุดท้ายคือ: ถ้าcใน $f(c, x)$ เป็นค่าคงที่ที่ไม่เปลี่ยนแปลงกับการสังเกตจากนั้นไม่ควรรวมอยู่ใน $k$ .

— arielf
แหล่งที่มา