2
ตัวกำหนดข้อมูลเมทริกซ์ฟิชเชอร์สำหรับแบบจำลองที่มีพารามิเตอร์มากเกินไป
พิจารณาตัวแปรสุ่ม Bernoulliพร้อมพารามิเตอร์ (ความน่าจะเป็นของความสำเร็จ) ฟังก์ชันโอกาสและข้อมูลฟิชเชอร์ ( เมทริกซ์คูณ ) คือ:X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times 1 L1(θ;X)I1(θ)=p(X|θ)=θX(1−θ)1−X=detI1(θ)=1θ(1−θ)L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align} ตอนนี้พิจารณาเป็น "มากกว่าแปร" รุ่นที่มีสองพารามิเตอร์: ความน่าจะเป็นของความสำเร็จθ1θ1\theta_1และความน่าจะเป็นของความล้มเหลว\θ0θ0\theta_0(โปรดทราบว่าθ1+θ0=1θ1+θ0=1\theta_1+\theta_0=1และข้อ จำกัด นี้บอกเป็นนัยว่าหนึ่งในพารามิเตอร์นั้นซ้ำซ้อน) ในกรณีนี้ฟังก์ชันโอกาสและเมทริกซ์ข้อมูลฟิชเชอร์ (FIM) คือ: L2(θ1,θ0;X)I2(θ1,θ0)detI2(θ)=p(X|θ1,θ0)=θX1θ1−X0=(1θ1001θ0)=1θ1θ0=1θ1(1−θ1)L2(θ1,θ0;X)=p(X|θ1,θ0)=θ1Xθ01−XI2(θ1,θ0)=(1θ1001θ0)detI2(θ)=1θ1θ0=1θ1(1−θ1) \begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ …