ความเป็นมาของการแปลงสภาพให้เป็นมาตรฐานสำหรับ GLM

$\newcommand{\E}{\mathbb{E}}$วิธีการคือ normalizing เปลี่ยนสำหรับครอบครัวชี้แจง มา? $A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)}$

โดยเฉพาะอย่างยิ่ง : ฉันพยายามติดตามภาพร่างการขยายตัวของเทย์เลอร์ในหน้า 3 เลื่อน 1 ที่นี่แต่มีคำถามหลายข้อ ด้วย$X$จากตระกูลชี้แจงการแปลง$h(X)$และ$\kappa _i$แสดงถึง$i^{th}$ cumulant สไลด์ยืนยันว่า:

$$\kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N} + O(N^{-3}),$$ และยังคงหา$h(X)$อย่างเดียวซึ่งค่าดังกล่าวข้างต้นประเมินเป็น 0

1. คำถามแรกของฉันเกี่ยวกับเลขคณิต: การขยายตัวของเทย์เลอร์ของฉันมีค่าสัมประสิทธิ์ที่แตกต่างกันและฉันไม่สามารถพิสูจน์ได้ว่าพวกเขามีเงื่อนไขลดลง

   $$\begin{align} \text{Since }h(x) &\approx h(\mu) + h'(\mu)(x - \mu) + \frac{h''(x)}{2}(x - \mu)^2\text{, we have:} \\ h(\bar{X}) - h(u) &\approx h'(u))(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 \\ \E\left(h(\bar{X}) - h(u)\right)^3 &\approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \\ &\quad \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. \end{align}$$

   ฉันสามารถทำสิ่งที่คล้ายกันโดยแทนที่ช่วงเวลากลางด้วยสิ่งที่เทียบเท่าของพวกเขา แต่มันก็ยังไม่เพิ่มขึ้น

2. คำถามที่สอง: ทำไมการวิเคราะห์เริ่มต้นด้วย$\bar{X}$แทน$X$ปริมาณที่เราสนใจจริง ๆ

สไลด์ที่คุณลิงก์ไปนั้นค่อนข้างสับสนออกจากขั้นตอนและพิมพ์ผิดเล็กน้อย แต่ท้ายที่สุดแล้วมันก็ถูกต้อง มันจะช่วยตอบคำถาม 2 ก่อนจากนั้น 1 และในที่สุดก็จะได้การเปลี่ยนแปลงสมมาตรd$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

คำถามที่ 2. เรากำลังวิเคราะห์ขณะที่มันมีค่าเฉลี่ยของกลุ่มตัวอย่างที่มีขนาดของตัวแปรสุ่ม IIDx_n นี่เป็นปริมาณที่สำคัญเพราะการสุ่มตัวอย่างการกระจายตัวแบบเดียวกันและการหาค่าเฉลี่ยเกิดขึ้นตลอดเวลาในวิทยาศาสตร์ เราต้องการทราบว่าใกล้เคียงกับค่าเฉลี่ยจริงอย่างไร เซ็นทรัล จำกัด ทฤษฎีบทบอกว่ามันจะมาบรรจบกันที่จะเป็นแต่เราอยากจะรู้ว่าความแปรปรวนและความเบ้ของ{X}ˉ X NX1, . . ,XN ˉ X μμN→การ∞ ˉ $\bar{X}$$N$$X_1, ..., X_N$$\bar{X}$$\mu$$\mu$$N \to \infty$$\bar{X}$

คำถามที่ 1. การประมาณซีรี่ส์ของ Taylor ของคุณไม่ถูกต้อง แต่เราต้องระมัดระวังเกี่ยวกับการติดตามกับและ ofเพื่อให้ได้ข้อสรุปเช่นเดียวกับสไลด์ เราจะเริ่มต้นด้วยคำจำกัดความของและช่วงเวลากลางของและได้รับสูตรสำหรับ :ˉ X XฉันN ˉ X Xฉันκ3(h( ˉ X )$\bar{X}$$X_i$$N$$\bar{X}$$X_i$$\kappa_3(h(\bar{X}))$

$\bar{X} = \frac{1}{N}\sum_{i=1}^N X_i$

$\mathbb{E}[X_i] = \mu$

$V(X_i) = \mathbb{E}[(X_i - \mu)^2] = \sigma^2$

$\kappa_3(X_i) = \mathbb{E}[(X_i - \mu)^3]$

ตอนนี้ช่วงเวลาสำคัญของ :$\bar{X}$

$\mathbb{E}[\bar{X}] = \frac{1}{N}\sum_{i=1}^N \mathbb{E}[X_i] = \frac{1}{N}(N\mu) = \mu$

$\begin{align} V(\bar{X}) &=\mathbb{E}[(\bar{X} - \mu)^2]\\ &=\mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^2]\\ &=\mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^2]\\ &=\frac{1}{N^2}\Big(N\mathbb{E}[(X_i - \mu)^2] + N(N-1)\mathbb{E}[X_i - \mu]\mathbb{E}[X_j - \mu]\Big)\\ &= \frac{1}{N}\sigma^2 \end{align}$

ขั้นตอนสุดท้ายต่อเนื่องจากและ 2 สิ่งนี้อาจไม่ได้มาจากที่ง่ายที่สุดแต่มันเป็นกระบวนการเดียวกันที่เราต้องทำเพื่อหาและที่เราแยกย่อยผลรวมของผลรวมและนับจำนวนเทอมด้วยพลังของตัวแปรที่แตกต่างกัน ในกรณีดังกล่าวข้างต้นมีแง่ที่เป็นของแบบฟอร์มและแง่ของรูปแบบMU)$\mathbb{E}[X_i - \mu] = 0$$\mathbb{E}[(X_i - \mu)^2] = \sigma^2$$V(\bar{X})$$\kappa_3(\bar{X})$$\kappa_3(h(\bar{X}))$$N$$(X_i - \mu)^2$$N(N-1)$$(X_i - \mu)(X_j - \mu)$

$\begin{align} \kappa_3(\bar{X}) &= \mathbb{E}[(\bar{X}-\mu)^3)]\\ &= \mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^3]\\ &= \mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^3]\\ &= \frac{1}{N^3}\Big(N\mathbb{E}[(X_i - \mu)^3] + 3N(N-1)\mathbb{E}[(X_i - \mu)\mathbb{E}[(X_j - \mu)^2]+N(N-1)(N-2)\mathbb{E}[(X_i - \mu)]\mathbb{E}[(X_j - \mu)]\mathbb{E}[(X_k - \mu)]\\ &= \frac{1}{N^2}\mathbb{E}[(X_i - \mu)^3]\\ &= \frac{\kappa_3(X_i)}{N^2} \end{align}$

ต่อไปเราจะขยายในซีรี่ส์ Taylor ตามที่คุณมี:$h(\bar{X})$

$h(\bar{X}) = h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + \frac{1}{3}h'''(\mu)(\bar{X}-\mu)^3 + ...$

$\begin{align} \mathbb{E}[h(\bar{X})] &= h(\mu) + h'(\mu)\mathbb{E}[\bar{X} - \mu] + \frac{1}{2}h''(\mu)\mathbb{E}[(\bar{X}-\mu)^2] + \frac{1}{3}h'''(\mu)\mathbb{E}[(\bar{X}-\mu)^3] + ...\\ &= h(\mu) + \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} + \frac{1}{3}h'''(\mu)\frac{\kappa_3(X_i)}{N^2} + ...\\ \end{align}$

ด้วยความพยายามบางอย่างมากกว่าที่คุณสามารถพิสูจน์ได้ว่าส่วนที่เหลือของข้อตกลงที่มี3}) ในที่สุดเนื่องจาก , (ซึ่งไม่เหมือนกับ ) เราทำการคำนวณที่คล้ายกันอีกครั้ง:$O(N^{-3})$$\kappa_3(h(\bar{X})) = \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]$$\mathbb{E}[(h(\bar{X})-h(\mu))^3]$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]\\ &=\mathbb{E}\Big[\Big(h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + O((\bar{X}-\mu)^3) - h(\mu) - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} - O(N^{-2})\Big)^3\Big] \end{align}$

เราสนใจเฉพาะเงื่อนไขที่ทำให้เกิดคำสั่งและมีงานพิเศษที่คุณสามารถแสดงให้เห็นว่าคุณไม่ต้องการคำว่า " "หรือ" "ก่อนที่จะถ่ายอำนาจที่สามขณะที่พวกเขาเท่านั้นที่จะส่งผลในแง่ของการสั่งซื้อ3}) ดังนั้นทำให้ง่ายขึ้นเราได้รับ$O(N^{-2})$$O((\bar{X}-\mu)^3)$$- O(N^{-2})$$O(N^{-3})$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}\Big[\Big(h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N})\Big)^3\Big]\\ &=\mathbb{E}\Big[h'(\mu)^3(\bar{X} - \mu)^3 + \frac{1}{8}h''(\mu)^3(\bar{X}-\mu)^6 - \frac{1}{8}h''(\mu)^3\frac{\sigma^6}{N^3} + \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X}-\mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)(\bar{X}-\mu)^5 - \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X} - \mu)^2\frac{\sigma^2}{N} + O(N^{-3})\Big] \end{align}$

ฉันทิ้งคำศัพท์บางคำที่เห็นได้ชัดว่าในผลิตภัณฑ์นี้ คุณจะต้องโน้มน้าวตัวเองว่าเงื่อนไขและมีเช่นกัน อย่างไรก็ตาม$O(N^{-3})$$\mathbb{E}[(\bar{X}-\mu)^5]$$\mathbb{E}[(\bar{X}-\mu)^6]$$O(N^{-3})$

$\begin{align} \mathbb{E}[(\bar{X}-\mu)^4] &= \mathbb{E}[\frac{1}{N^4}\Big(\sum_{i=1}^N(\bar{X}-\mu)\Big)^4]\\ &=\frac{1}{N^4}\Big(N\mathbb{E}[(X_i-\mu)^4] + 3N(N-1)\mathbb{E}[(X_i-\mu)^2]\mathbb{E}[(X_j-\mu)^2] + 0\Big)\\ &=\frac{3}{N^2}\sigma^4 + O(N^{-3}) \end{align}$

จากนั้นกระจายความคาดหวังในสมการของเราสำหรับเรามี$\kappa_3(h(\bar{X}))$

$\begin{align}\kappa_3(h(\bar{X})) &= h'(\mu)^3\mathbb{E}[(\bar{X} - \mu)^3] + \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X}-\mu)^4] - \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X} - \mu)^2]\frac{\sigma^2}{N} + O(N^{-3})\\ &= h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + \frac{9}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} - \frac{3}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3})\\ &=h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3}) \end{align}$

นี้สรุปมาของ{X})) ตอนนี้ที่สุดท้ายที่เราจะได้รับมา symmetrizing แปลงd$\kappa_3(h(\bar{X}))$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

สำหรับการแปลงนี้เป็นสิ่งสำคัญที่มาจากการแจกแจงแบบครอบครัวแบบเอกซ์โพเนนเชียลและโดยเฉพาะอย่างยิ่งครอบครัวแบบเอ็กซ์โปเนนเชียลตามธรรมชาติ (หรือถูกแปลงเป็นการกระจายแบบนี้), ในรูปแบบ$X_i$$f_{X_i}(x;\theta) = h(x)\exp(\theta x - b(\theta))$

ในกรณีนี้ cumulants ของการกระจายที่จะได้รับจากtheta) ดังนั้น ,และtheta) เราสามารถเขียนพารามิเตอร์เป็นหน้าที่ของเพียงการผกผันของเขียนMU) แล้วก็$\kappa_k = b^{(k)}(\theta)$$\mu = b'(\theta)$$\sigma^2 = V(\theta) = b''(\theta)$$\kappa_3 = b'''(\theta)$$\theta$$\mu$$b'$$\theta(\mu) = (b')^{-1}(\mu)$

$\theta'(\mu) = \frac{1}{b''((b')^{-1}(\mu))} = \frac{1}{b''(\theta))} = \frac{1}{\sigma^2}$

ต่อไปเราสามารถเขียนความแปรปรวนเป็นฟังก์ชันของและเรียกใช้ฟังก์ชันนี้ :$\mu$$\bar{V}$

$\bar{V}(\mu) = V(\theta(\mu)) = b''(\theta(\mu))$

แล้วก็

$\frac{d}{d\mu}\bar{V}(\mu) = V'(\theta(\mu))\theta'(\mu) = b'''(\theta)\frac{1}{\sigma^2} = \frac{\kappa_3}{\sigma^2}$

ดังนั้นเป็นหน้าที่ของ ,MU)$\mu$$\kappa_3(\mu) = \bar{V}'(\mu)\bar{V}(\mu)$

ตอนนี้สำหรับการแปลงสมมาตรเราต้องการลดความเบ้ของโดยทำให้เพื่อให้คือ3}) ดังนั้นเราต้องการ$h(\bar{X})$$h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} = 0$$h(\bar{X})$$O(N^{-3})$

$h'(\mu)^3\kappa_3(X_i) + 3h'(\mu)^2h''(\mu)\sigma^4 = 0$

การแทนที่นิพจน์ของเราสำหรับและเป็นฟังก์ชันของเรามี:$\sigma^2$$\kappa_3$$\mu$

$h'(\mu)^3\bar{V}'(\mu)\bar{V}(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu)^2 = 0$

ดังนั้นนำไปสู่0$h'(\mu)^3\bar{V}'(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu) = 0$$\frac{d}{d\mu}(h'(\mu)^3\bar{V}(\mu)) = 0$

ทางออกหนึ่งสำหรับสมการเชิงอนุพันธ์นี้คือ:

$h'(\mu)^3\bar{V}(\mu) = 1$ ,

$h'(\mu) = \frac{1}{[\bar{V}(\mu)]^{1/3}}$

ดังนั้นสำหรับค่าคงที่ใด ๆ . สิ่งนี้ทำให้เรามีการเปลี่ยนแปลงสมมาตรโดยที่คือความแปรปรวนเป็น ฟังก์ชันของค่าเฉลี่ยในครอบครัวเลขชี้กำลังแบบธรรมชาติ$h(\mu) = \int_c^\mu \frac{1}{[\bar{V}(\theta)]^{1/3}} d\theta$$c$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$$V$

$\blacksquare$ 1. เหตุใดฉันจึงไม่สามารถรับผลลัพธ์เดียวกันโดยประมาณในช่วงเวลาที่ไม่ใช่ศูนย์กลางแล้วคำนวณช่วงเวลากลางโดยใช้ช่วงเวลาที่ไม่เป็นศูนย์กลางประมาณ?$\mathbb{E}\bar{X}^k$$\mathbb{E}(\bar{X}-\mathbb{E}\bar{X})^k$

เนื่องจากคุณเปลี่ยนการสืบทอดมาโดยพลการและปล่อยเทอมตกค้างซึ่งมีความสำคัญ หากคุณไม่คุ้นเคยกับสัญลักษณ์ O ขนาดใหญ่และผลลัพธ์ที่เกี่ยวข้องการอ้างอิงที่ดีคือ [Casella & Lehmann]

$$h(\bar{X}) - h(u) \approx h'(u)(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 +O[(\bar{X} - \mu)^3]$$

$$\mathbb{E}[h(\bar{X}) - h(u)] \approx h'(u)\mathbb{E}(\bar{X} - \mu) + \frac{h''(x)}{2}\mathbb{E}(\bar{X} - \mu)^2+(?)$$

แต่แม้ว่าคุณจะไม่ทิ้งสิ่งตกค้างด้วยการพิสูจน์ว่าคุณกำลังทำ (ซึ่งไม่ถูกกฎหมาย ... ) ขั้นตอนต่อไปนี้: กำลังบอกว่า$N\rightarrow \infty$

$$\E\left(h(\bar{X}) - h(u)\right)^3 \approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. (1)$$ $$\int [h(x)-h(x_0)]^3dx=\int [h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3dx=(1)$$

หากนี่ยังไม่ชัดเจนเราจะเห็นพีชคณิตของการขยายอินทิกรัลและไปตาม

$[h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3(2)$

ให้ , ,$A=h'(x_0)(x-x_0)$$B=\frac{1}{2}h''(x_0)(x-x_0)^2$$C=O((x-x_0)^3)$ $(2)=[A+B+C]^3$ $\color{red}{\neq}[A^3+3A^2 B+3A B^2+B^3]=[A+B]^3=(1)$

ความผิดพลาดของคุณคือการละทิ้งสิ่งตกค้างก่อนการขยายซึ่งเป็นความผิดพลาด "คลาสสิค" ในสัญกรณ์ O ขนาดใหญ่และต่อมากลายเป็นคำวิจารณ์ของการใช้สัญกรณ์ O ขนาดใหญ่

$\blacksquare$ 2. ทำไมการวิเคราะห์เริ่มต้นด้วยแทนปริมาณที่เราสนใจจริง ๆ$\bar{X}$$X$

เนื่องจากเราต้องการวิเคราะห์โดยใช้สถิติที่เพียงพอของแบบจำลองเลขชี้กำลังที่เราแนะนำ ถ้าคุณมีตัวอย่างขนาด 1 แล้วไม่มีความแตกต่างไม่ว่าคุณจะวิเคราะห์ด้วยหรือX_1$\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i$$X_1$

นี่เป็นบทเรียนที่ดีในสัญกรณ์ O ที่ยิ่งใหญ่แม้ว่ามันจะไม่เกี่ยวข้องกับ GLM ...

ข้อมูลอ้างอิง [Casella & Lehmann] Lehmann, Erich Leo และ George Casella ทฤษฎีการประมาณแต้ม Springer Science & Business Media, 2006