MLE ต้องการข้อมูล iid หรือไม่ หรือเพียงแค่พารามิเตอร์อิสระ

การประมาณค่าพารามิเตอร์โดยใช้การประมาณความน่าจะเป็นสูงสุด (MLE) เกี่ยวข้องกับการประเมินฟังก์ชั่นความน่าจะเป็นซึ่งแผนที่ความน่าจะเป็นของตัวอย่าง (X) ที่เกิดขึ้นกับค่า (x) บนพื้นที่พารามิเตอร์ (θ) ที่กำหนดตระกูลการแจกแจง (P (X = x | θ) ) มากกว่าค่าที่เป็นไปได้ของθ (หมายเหตุ: ฉันถูกใช่ไหม?) ตัวอย่างทั้งหมดที่ฉันได้เห็นเกี่ยวข้องกับการคำนวณ P (X = x | θ) โดยการหาผลคูณของ F (X) โดยที่ F เป็นการแจกแจงแบบท้องถิ่น ค่าสำหรับθและ X คือตัวอย่าง (เวกเตอร์)

เนื่องจากเราเพิ่งคูณข้อมูลมันติดตามว่าข้อมูลนั้นเป็นอิสระหรือไม่ เช่นเราไม่สามารถใช้ MLE ให้พอดีกับข้อมูลอนุกรมเวลาได้หรือไม่ หรือพารามิเตอร์ต้องเป็นอิสระ?

ฟังก์ชันความน่าจะเป็นหมายถึงความน่าจะเป็นของเหตุการณ์$E$ (ชุดข้อมูล${\bf x}$ ) เป็นฟังก์ชันของพารามิเตอร์โมเดล$\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

ดังนั้นจึงไม่มีข้อสันนิษฐานเกี่ยวกับความเป็นอิสระของข้อสังเกต ในแนวทางแบบคลาสสิกไม่มีคำจำกัดความความเป็นอิสระของพารามิเตอร์เนื่องจากไม่ใช่ตัวแปรสุ่ม แนวคิดที่เกี่ยวข้องบางอย่างอาจระบุได้พารามิเตอร์ความตั้งฉากกันและความเป็นอิสระของเครื่องมือประมาณค่าความน่าจะเป็นสูงสุด (ซึ่งเป็นตัวแปรสุ่ม)

ตัวอย่างบางส่วน

(1) กรณีที่ไม่ต่อเนื่อง ${\bf x}=(x_1,...,x_n)$คือตัวอย่างของ (อิสระ) ข้อสังเกตที่ไม่ต่อเนื่องกับ${\mathbb P}(\text{observing } x_j ; \theta)>0$แล้ว

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

โดยเฉพาะอย่างยิ่งถ้า$x_j\sim \text{Binomial}(N,\theta)$โดยที่$N$รู้จักเรามี

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

(2) ประมาณอย่างต่อเนื่อง ให้เป็นตัวอย่างจากอย่างต่อเนื่องตัวแปรสุ่มXมีการกระจายFและความหนาแน่นของฉมีข้อผิดพลาดในการวัดεนี้คือคุณสังเกตชุด( x J - ε , x J + ε ) แล้วก็${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

เมื่อมีขนาดเล็กสิ่งนี้สามารถประมาณได้ (โดยใช้ทฤษฎีค่าเฉลี่ย) โดย$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

เช่นกับกรณีปกติให้ดูที่นี้

(3) โมเดลที่ขึ้นกับและมาร์คอฟ สมมติว่าเป็นชุดของการสังเกตอาจจะขึ้นอยู่และปล่อยให้เอฟจะมีความหนาแน่นร่วมกันของxแล้ว${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

หากว่าคุณสมบัติของมาร์คอฟเป็นที่น่าพึงพอใจ

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

ลองดูที่นี่สิ

(+1) คำถามที่ดีมาก

สิ่งเล็ก ๆ น้อย ๆ MLE ย่อมาจากการประมาณความน่าจะเป็นสูงสุด (ไม่ใช่หลาย ๆ ค่า) ซึ่งหมายความว่าคุณเพิ่งเพิ่มโอกาสสูงสุด นี่ไม่ได้ระบุว่าจะต้องมีการสร้างโอกาสโดยการสุ่มตัวอย่าง IID

หากการพึ่งพาของการสุ่มตัวอย่างสามารถเขียนในแบบจำลองทางสถิติคุณเพียงแค่เขียนความเป็นไปได้ตามนั้นและเพิ่มมันตามปกติ

กรณีหนึ่งที่มีมูลค่าการกล่าวขวัญเมื่อคุณไม่ถือว่าการพึ่งพานั้นคือการสุ่มตัวอย่าง Gaussian หลายตัวแปร (ในตัวอย่างการวิเคราะห์อนุกรมเวลา) การพึ่งพาระหว่างตัวแปรเกาส์เซียนสองตัวสามารถถูกจำลองโดยเทอมความแปรปรวนร่วมซึ่งคุณรวมอยู่ในความเป็นไปได้

To give a simplistic example, assume that you draw a sample of size $2$ from correlated Gaussian variables with same mean and variance. You would write the likelihood as

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

where $z$ is

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

This is not the product of the individual likelihoods. Still, you would maximize this with parameters $(\mu, \sigma, \rho)$ to get their MLE.

Of course, Gaussian ARMA models possess a likelihood, as their covariance function can be derived explicitly. This is basically an extension of gui11ame's answer to more than 2 observations. Minimal googling produces papers like this one where the likelihood is given in the general form.

Another, to an extent, more intriguing, class of examples is given by multilevel random effect models. If you have data of the form

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ where indices $j$ are nested in $i$ (think of students $j$ in classrooms $i$, say, for a classic application of multilevel models), then, assuming $\epsilon_{ij} \perp u_i$, the likelihood is $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ and is a sum over the likelihood contributions defined at the level of clusters, not individual observations. (Of course, in the Gaussian case, you can push the integrals around to produce an analytic ANOVA-like solution. However, if you have say a logit model for your response $y_{ij}$, then there is no way out of numerical integration.)