ข้อมูลฟิชเชอร์เป็นข้อมูลประเภทใด?

29

สมมติว่าเรามีตัวแปรสุ่มtheta) ถ้าเป็นพารามิเตอร์จริงฟังก์ชันความน่าจะเป็นควรขยายให้ใหญ่สุดและอนุพันธ์เท่ากับศูนย์ นี่คือหลักการพื้นฐานที่อยู่เบื้องหลังตัวประมาณค่าความน่าจะเป็นสูงสุด $X \sim f(x|\theta)$ $\theta_0$

ตามที่ฉันเข้าใจแล้วข้อมูลฟิชเชอร์ถูกกำหนดให้เป็น

ผม (θ) = E [{(\frac{\partial}{\partial θ} ฉ (X | θ))}^{2}]

$I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ]$

ดังนั้นหากเป็นพารามิเตอร์ที่จริง0 แต่ถ้ามันไม่ใช่พารามิเตอร์จริงเราจะมีข้อมูลฟิชเชอร์จำนวนมากขึ้น $\theta_0$ $I(\theta) = 0$ $\theta_0$

คำถามของฉัน

ข้อมูล Fisher ทำการวัด "ข้อผิดพลาด" ของ MLE ที่กำหนดหรือไม่ กล่าวอีกนัยหนึ่งการมีอยู่ของข้อมูลฟิชเชอร์ในเชิงบวกไม่ได้หมายความว่า MLE ของฉันไม่เหมาะอย่างยิ่งหรือ
คำจำกัดความของ "ข้อมูล" นี้แตกต่างจากที่ Shannon ใช้อย่างไร ทำไมเราถึงเรียกมันว่าข้อมูล?

— Stan Shunpike
แหล่งที่มา

ทำไมคุณเขียนมัน ? ความคาดหวังที่มีมากกว่าค่าของกระจายราวกับว่าพวกเขามาจากการกระจายของคุณกับพารามิเตอร์\

E_{θ}

$E_\theta$

X

$X$

θ

$\theta$

— Neil G

3

นอกจากนี้ไม่ได้เป็นศูนย์ที่พารามิเตอร์จริง

I (θ)

$I(\theta)$

— Neil G

E (S) เป็นศูนย์ (เช่น: ความคาดหวังของฟังก์ชันคะแนน) แต่ตามที่ Neil G เขียนไว้ - ข้อมูลการตกปลา (V (S)) ไม่ใช่ศูนย์ (ปกติ)

— Tal Galili

15

พยายามเติมเต็มคำตอบอื่น ๆ ... ข้อมูลประเภทใดคือข้อมูลฟิชเชอร์ เริ่มต้นด้วยฟังก์ชั่น loglikelihood เป็นฟังก์ชั่นของสำหรับพื้นที่พารามิเตอร์ สมมติว่ามีเงื่อนไขปกติที่เราไม่ได้กล่าวถึงที่นี่เรามี

ℓ (θ) = เข้าสู่ระบบ ฉ (x; θ)

$\ell (\theta) = \log f(x;\theta)$

θ

$\theta$

θ \in Θ

$\theta \in \Theta$

(เราจะเขียนสัญญาซื้อขายล่วงหน้าที่เกี่ยวกับพารามิเตอร์เป็นจุดเป็นที่นี่) ความแปรปรวนเป็นข้อมูลที่ฟิชเชอร์

สูตรล่าสุดแสดงให้เห็นว่ามันเป็น (ลบ) ความโค้งของฟังก์ชั่น loglikelihood หนึ่งมักจะพบตัวประมาณโอกาสสูงสุด (mle) ของ

E \frac{\partial}{\partial θ} ℓ (θ) = E_{θ} \dot{ℓ} (θ) = 0

$\DeclareMathOperator{\E}{\mathbb{E}} \E \frac{\partial}{\partial \theta} \ell (\theta) = \E_\theta \dot{\ell}(\theta) = 0$

ผม (θ) = E_{θ} (\dot{ℓ} (θ))^{2} = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = \E_\theta ( \dot{\ell}(\theta) )^2= -\E_\theta \ddot{\ell}(\theta)$

โดยการแก้สมการความน่าจะเป็น

เมื่อข้อมูลฟิชเชอร์เป็นความแปรปรวนของคะแนน

ที่มีขนาดใหญ่แล้ววิธีการแก้สมการที่จะมีความสำคัญมากกับข้อมูลที่ให้ความหวังสำหรับสูง ความแม่นยำของ mle นั่นคือการยืนยันอย่างน้อย asymptotically ความแปรปรวนของ asymptotic mle เป็นสิ่งที่ตรงกันข้ามกับข้อมูลฟิชเชอร์

θ

$\theta$

\dot{ℓ} (θ) = 0

$\dot{\ell}(\theta)=0$

\dot{ℓ} (θ)

$\dot{\ell}(\theta)$

เราจะตีความสิ่งนี้ได้อย่างไร เป็นข้อมูลความน่าจะเป็นเกี่ยวกับพารามิเตอร์จากตัวอย่าง นี้สามารถจริงๆจะตีความเพียง แต่ในความรู้สึกของญาติเช่นเมื่อเราใช้มันเพื่อเปรียบเทียบ plausibilities สองค่าพารามิเตอร์ที่เป็นไปได้ที่แตกต่างผ่านการทดสอบอัตราส่วนโอกาส )อัตราการเปลี่ยนแปลงของ loglikelihood คือฟังก์ชั่นคะแนนบอกเราวิธีการที่รวดเร็วการเปลี่ยนแปลงโอกาสและความแปรปรวนของ $\ell(\theta)$ $\theta$ $\ell(\theta_0) - \ell(\theta_1)$ $\dot{\ell}(\theta)$ $I(\theta)$ วิธีการที่แตกต่างกันมากนี้จากตัวอย่างตัวอย่างที่คุ้มค่า paramiter ให้พูด 0สมการ (ซึ่งจริงๆน่าแปลกใจ!) บอกเรามี relationsship (ความเสมอภาค) ระหว่างความแปรปรวนในข้อมูลที่ (น่าจะ) สำหรับค่าพารามิเตอร์ที่กำหนดและ ความโค้งของฟังก์ชันความน่าจะเป็นสำหรับค่าพารามิเตอร์นั้น นี่คือความสัมพันธ์ที่น่าแปลกใจระหว่างแปรปรวน (แปรปรวน) ของ ths สถิติ $\theta_0$

ผม (θ) = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = - \E_\theta \ddot{\ell}(\theta)$

θ_{0}

$\theta_0$

\dot{ℓ} (θ) ∣_{θ = θ_{0}}

$\dot{\ell}(\theta) \mid_{\theta=\theta_0}$ และการเปลี่ยนแปลงที่คาดหวังในความชอบเมื่อเราเปลี่ยนแปลงพารามิเตอร์

ในบางช่วงประมาณ

(สำหรับข้อมูลเดียวกัน) นี่คือทั้งแปลกประหลาดและทรงพลัง!

θ

$\theta$

θ_{0}

$\theta_0$

ฟังก์ชั่นความน่าจะเป็นคืออะไร? เรามักจะคิดว่าของแบบจำลองทางสถิติเป็นครอบครัวของดิน่าจะเป็นข้อมูลที่ , ดัชนีโดยพารามิเตอร์องค์ประกอบบางอย่างในพารามิเตอร์พื้นที่Θเราคิดว่าของรุ่นนี้เป็นจริงถ้ามีอยู่ค่าบางดังกล่าวว่าข้อมูลที่จริงมีความน่าจะเป็นการกระจาย $\{ f(x;\theta), \theta \in \Theta \}$ $x$ $\theta$ $\Theta$ $\theta_0 \in \Theta$ $x$ $f(x;\theta_0)$ . ดังนั้นเราจึงได้แบบจำลองทางสถิติโดยการใส่การกระจายความน่าจะเป็นที่แท้จริงของการแจกแจงในตระกูลการแจกแจงความน่าจะเป็น แต่เป็นที่ชัดเจนว่าการฝังดังกล่าวสามารถทำได้หลายวิธีและการฝังดังกล่าวจะเป็นรูปแบบ "ของจริง" และพวกเขาจะให้โอกาสในการทำงานที่แตกต่างกัน และหากปราศจากการฝังลึกเช่นนี้ก็จะไม่มีหน้าที่เป็นไปได้ ดูเหมือนว่าเราต้องการความช่วยเหลือจริง ๆ มีหลักการบางอย่างสำหรับวิธีการเลือกการฝังอย่างชาญฉลาด! $f(x;\theta_0)$

ดังนั้นสิ่งนี้หมายความว่าอย่างไร หมายความว่าตัวเลือกของฟังก์ชั่นความน่าจะเป็นบอกเราว่าเราคาดหวังว่าข้อมูลจะเปลี่ยนแปลงอย่างไรถ้าความจริงเปลี่ยนไปเล็กน้อย แต่ข้อมูลนี้ไม่สามารถตรวจสอบได้จริงเนื่องจากข้อมูลให้เฉพาะข้อมูลเกี่ยวกับฟังก์ชั่นตัวแบบที่แท้จริงซึ่งสร้างข้อมูลจริงและไม่เกี่ยวกับองค์ประกอบอื่น ๆ ในรูปแบบที่เลือก วิธีนี้เราจะเห็นว่าทางเลือกของฟังก์ชั่นความน่าจะเป็นคล้ายกับทางเลือกก่อนหน้านี้ในการวิเคราะห์แบบเบย์มันจะอัดข้อมูลที่ไม่ใช่ข้อมูลลงในการวิเคราะห์ ให้เราดูสิ่งนี้ในตัวอย่างง่าย ๆ (ค่อนข้างจะประดิษฐ์) และดูผลของการฝัง $f(x;\theta_0)$ $f(x;\theta_0)$ ในรูปแบบที่แตกต่างกัน

ให้เราสมมติว่าจะ IID เป็น )นั่นคือการกระจายที่สร้างข้อมูลจริง ตอนนี้ให้เราฝังในรูปแบบในสองวิธีที่แตกต่างกัน, รุ่น A และรุ่นบี $X_1, \dotsc, X_n$ $N(\mu=10, \sigma^2=1)$ คุณสามารถตรวจสอบที่เกิดขึ้นพร้อมนี้ได้ 10

A : X_{1}, ..., X_{n} IID ยังไม่มีข้อความ (μ, σ^{2} = 1), μ \in R B : X_{1}, ..., X_{n} IID ยังไม่มีข้อความ (μ, μ / 10), μ > 0

$A \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \sigma^2=1),\mu \in \mathbb{R} \\ B \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \mu/10), \mu>0$

μ = 10

$\mu=10$

ฟังก์ชั่น loglikelihood กลายเป็น

ℓ_{A} (μ) = - \frac{n}{2} เข้าสู่ระบบ (2 π) - \frac{1}{2} \underset{ผม}{Σ} (x_{ผม} - μ)^{2} ℓ_{B} (μ) = - \frac{n}{2} เข้าสู่ระบบ (2 π) - \frac{n}{2} เข้าสู่ระบบ (μ / 10) - \frac{10}{2} \underset{ผม}{Σ} \frac{(x_{ผม} - μ)^{2}}{μ}

$\ell_A(\mu) = -\frac{n}{2} \log (2\pi) -\frac12\sum_i (x_i-\mu)^2 \\ \ell_B(\mu) = -\frac{n}{2} \log (2\pi) - \frac{n}{2}\log(\mu/10) - \frac{10}{2}\sum_i \frac{(x_i-\mu)^2}{\mu}$

ฟังก์ชั่นคะแนน: (loglikelihood อนุพันธ์): และโค้ง

{\dot{ℓ}}_{A} (μ) = n (\bar{x} - μ) {\dot{ℓ}}_{B} (μ) = - \frac{n}{2 μ} - \frac{10}{2} \underset{ผม}{Σ} (\frac{x_{ผม}}{μ})^{2} - 15 n

$\dot{\ell}_A(\mu) = n (\bar{x}-\mu) \\ \dot{\ell}_B(\mu) = -\frac{n}{2\mu}- \frac{10}{2}\sum_i (\frac{x_i}{\mu})^2 - 15 n$

ดังนั้นข้อมูลฟิชเชอร์จะขึ้นอยู่กับการฝังตัว ตอนนี้เราคำนวณข้อมูลฟิชเชอร์ที่ค่าจริง

,

{\ddot{ℓ}}_{A} (μ) = - n {\ddot{ℓ}}_{B} (μ) = \frac{n}{2 μ^{2}} + \frac{10}{2} \underset{ผม}{Σ} \frac{2 x_{ผม}^{2}}{μ^{3}}

$\ddot{\ell}_A(\mu) = -n \\ \ddot{\ell}_B(\mu) = \frac{n}{2\mu^2} + \frac{10}{2}\sum_i \frac{2 x_i^2}{\mu^3}$

μ = 10

$\mu=10$

ดังนั้นข้อมูล Fisher เกี่ยวกับพารามิเตอร์จึงค่อนข้างใหญ่กว่าในรุ่น B

{ผม}_{A} (μ = 10) = n, {ผม}_{B} (μ = 10) = n \cdot (\frac{1}{200} + \frac{2020}{2000}) > n

$I_A(\mu=10) = n, \\ I_B(\mu=10) = n \cdot (\frac1{200}+\frac{2020}{2000}) > n$

$\mu$

ตัวอย่างนี้แสดงให้เห็นว่าเราจำเป็นต้องมีทฤษฎีบางอย่างที่ช่วยเราในการสร้างตระกูลแบบจำลอง

— kjetil b halvorsen
แหล่งที่มา

1

\E_{θ} \dot{ℓ} (θ) = 0

$\E_\theta \dot{\ell}(\theta) =0$

θ

$\theta$

θ_{0}

$\theta_0$

1

ใช่สิ่งที่คุณพูดว่าเป็นจริง @idadanny มันเป็นศูนย์เมื่อประเมินที่ค่าพารามิเตอร์ที่แท้จริง

— kjetil b halvorsen

θ

$\theta$

θ_{0}

$\theta_0$

\hat{θ}

$\hat{\theta}$

θ_{0}

$\theta_0$

θ_{m l e}

$\theta_{mle}$

θ_{0}

$\theta_0$

θ_{1}

$\theta_1$

31

$\ell$ $\ell$ $\ell$

$\ell$ $\theta$ $\theta$

พิจารณาว่าคุณมีโมเดลขนาดใหญ่ที่มีพารามิเตอร์นับล้าน และคุณมี thumb drive เล็ก ๆ สำหรับเก็บโมเดลของคุณ คุณควรจัดลำดับความสำคัญของจำนวนพารามิเตอร์แต่ละตัวที่จะจัดเก็บอย่างไร คำตอบที่ถูกต้องคือการจัดสรรบิตตามข้อมูลฟิชเชอร์ (Rissanen เขียนเกี่ยวกับเรื่องนี้) หากข้อมูล Fisher ของพารามิเตอร์เป็นศูนย์พารามิเตอร์นั้นจะไม่สำคัญ

เราเรียกมันว่า "ข้อมูล" เพราะข้อมูลฟิชเชอร์วัดว่าพารามิเตอร์นี้บอกเราเกี่ยวกับข้อมูลมากแค่ไหน

วิธีคิดที่เป็นภาษาพูดคือ: สมมติว่าพารามิเตอร์กำลังขับรถและข้อมูลอยู่ในเบาะหลังเพื่อแก้ไขไดรเวอร์ ความน่ารำคาญของข้อมูลคือข้อมูลของชาวประมง หากข้อมูลทำให้ผู้ขับขี่ขับข้อมูลฟิชเชอร์จะเป็นศูนย์ ถ้าข้อมูลทำการแก้ไขอยู่ตลอดเวลามันก็ใหญ่ ในแง่นี้ข้อมูลฟิชเชอร์คือจำนวนข้อมูลที่ไปจากข้อมูลไปยังพารามิเตอร์

พิจารณาสิ่งที่เกิดขึ้นหากคุณทำให้พวงมาลัยละเอียดอ่อนมากขึ้น นี่เทียบเท่ากับ reparametrization ในกรณีนี้ข้อมูลไม่ต้องการดังเกินไปเพราะกลัวว่าจะมีรถมากเกินไป reparametrization ชนิดนี้ลดข้อมูลชาวประมง

— นีลจี
แหล่งที่มา

20

ทำตามคำตอบที่ดีของ @ NeilG (+1) และตอบคำถามเฉพาะของคุณ:

ฉันจะบอกว่ามันนับ "ความแม่นยำ" มากกว่า "ข้อผิดพลาด" ของตัวเอง

$I$ $I_{j,j}$ $tr(I)$ จะต้องเป็นบวก ซึ่งหมายความว่าคุณสามารถมีเครื่องมือประมาณค่า "ไม่เหมาะ" ตามการยืนยันของคุณ ดังนั้นไม่ข้อมูลฟิชเชอร์เชิงบวกไม่เกี่ยวข้องกับ MLE ในอุดมคติของคุณ

คำจำกัดความแตกต่างกันในวิธีที่เราตีความความคิดของข้อมูลในทั้งสองกรณี ต้องบอกว่าทั้งสองวัดมีความสัมพันธ์กันอย่างใกล้ชิด

$–p·log_2(p)$ $p$ คือความน่าจะเป็นของตัวแปรที่ใช้กับค่า ทั้งสองเป็นการวัดว่าตัวแปร "ให้ข้อมูล" นั้นเป็นอย่างไร ในกรณีแรกแม้ว่าคุณจะตัดสินข้อมูลนี้ในแง่ของความแม่นยำในขณะที่ในกรณีที่สองในแง่ของความผิดปกติ; ด้านที่แตกต่างกันเหรียญเดียวกัน! : D

$I$

— usεr11852พูดว่า Reinstate Monic
แหล่งที่มา