ตัวประมาณความน่าจะเป็นสูงสุดของการแจกแจงร่วมที่ให้ไว้มีเพียงจำนวนเล็กน้อย

ให้จะกระจายร่วมกันของสองตัวแปรเด็ดขาดX , Yกับx , y ที่∈ { 1 , ... , K } พูดว่าตัวอย่างnถูกดึงมาจากการกระจายตัวนี้ แต่เราจะได้รับจำนวนเล็กน้อยเท่านั้นสำหรับj = 1 , … , K :$p_{x,y}$$X,Y$$x,y\in\{1,\ldots,K\}$$n$$j=1,\ldots,K$

$$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$$

ประมาณการความน่าจะเป็นสูงสุดคืออะไรได้รับS J , T J ? เป็นที่รู้จักกันไหม? คำนวณความเป็นไปได้? มีแนวทางอื่นที่สมเหตุสมผลสำหรับปัญหานี้นอกเหนือจาก ML หรือไม่?$p_{x,y}$$S_j,T_j$

ปัญหาประเภทนี้ได้รับการศึกษาในบทความ "การเพิ่มข้อมูลในตารางฉุกเฉินแบบหลายทางด้วยจำนวนผลรวมคงที่คงที่"โดย Dobra et al (2006) ให้แทนค่าพารามิเตอร์ของโมเดลให้nแทนตารางจำนวนเต็มที่ไม่ได้รับการนับสำหรับคู่( x , y ) แต่ละคู่และให้C ( S , T )เป็นชุดของตารางจำนวนเต็มที่มีจำนวนนับเท่ากับ( S , T ) . จากนั้นความน่าจะเป็นในการสังเกตจำนวนนับ( S , T )คือ: p $\theta$$\mathbf{n}$$(x,y)$$C(S,T)$$(S,T)$$(S,T)$ โดยที่ p ( n | θ )คือการแจกแจงการสุ่มตัวอย่างหลายตัวอย่าง สิ่งนี้กำหนดฟังก์ชันความน่าจะเป็นสำหรับ ML แต่การประเมินโดยตรงนั้นไม่สามารถทำได้ยกเว้นปัญหาเล็ก ๆ วิธีที่พวกเขาแนะนำคือ MCMC โดยที่คุณจะต้องอัพเดต nและ

$$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$$ $p(\mathbf{n} | \theta)$$\mathbf{n}$$\theta$โดยการสุ่มตัวอย่างจากการกระจายข้อเสนอและยอมรับการเปลี่ยนแปลงตามอัตราส่วนการยอมรับของมหานคร - เฮสติ้งส์ ซึ่งอาจนำไปปรับใช้ในการค้นหาสูงสุดประมาณกว่าใช้ Monte Carlo EM $\theta$

วิธีการที่แตกต่างกันจะใช้วิธีการแปรผันที่ใกล้เคียงกับผลรวมมากกว่าnข้อ จำกัด เล็กน้อยสามารถเข้ารหัสเป็นกราฟและปัจจัยการอนุมานมากกว่าθจะถูกนำมาใช้ในการกระจายความคาดหวัง$\mathbf{n}$$\theta$

เพื่อดูว่าทำไมปัญหานี้เป็นเรื่องยากและไม่ยอมรับวิธีการแก้ปัญหาที่น่ารำคาญพิจารณากรณีที่ ) การใช้Sเป็นผลรวมของแถวและTเป็นผลรวมของคอลัมน์จะมีตารางที่เป็นไปได้สองตาราง: [ 0 1 2 0$S=(1,2), T=(2,1)$$S$$T$ ดังนั้นฟังก์ชั่นความน่าจะเป็น พี(S,T | θ)=3หน้า12หน้า2 21 +6หน้า11หน้า21หน้า22 MLE สำหรับปัญหานี้คือ P x , Y = [ 0 1 / 3 2 / 3 0

$$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$$ $$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$$ $$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$$ ซึ่งสอดคล้องกับสมมติว่าตารางด้านซ้าย ในทางตรงกันข้ามการประมาณการที่คุณจะได้รับโดยสมมติว่าเป็นอิสระ ซึ่ง มีค่าความน่าจะเป็นที่น้อยลง $$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$$

ตามที่ได้รับการชี้โดย @Glen_b นี่เป็นการระบุที่ไม่เพียงพอ ฉันไม่คิดว่าคุณสามารถใช้โอกาสสูงสุดได้จนกว่าคุณจะสามารถระบุโอกาสได้อย่างเต็มที่

หากคุณยินดีที่จะรับเอกราชปัญหานี้ค่อนข้างง่าย (โดยบังเอิญฉันคิดว่าวิธีแก้ปัญหานั้นจะเป็นวิธีแก้ปัญหาเอนโทรปีสูงสุดที่ได้รับการแนะนำ) ถ้าคุณไม่เต็มใจหรือสามารถที่จะกำหนดโครงสร้างเพิ่มเติมในปัญหาของคุณและคุณยังคงต้องการชนิดของการประมาณค่าของเซลล์บางอย่างอาจจะเป็นคุณสามารถใช้Fréchet-Hoeffding ขอบเขตเชื่อม ฉันไม่คิดว่าคุณจะไปได้ไกลกว่านี้หากไม่มีสมมติฐานเพิ่มเติม

$p_{x,y}$$p_x = \sum_y p_{x,y}$$p_y = \sum_x p_{x,y}$

สิ่งที่ไม่ถูกต้องมีดังนี้:

$p_{x, y}$$X, Y$$S_1 = S_2 = T_1 = T_2 = 10$

$$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$$

$p_x$$p_y$

---

$p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$$0 < a \le d$$p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

---

$X, Y$

$H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$$\sum_x p_{x,y} = p_y$$\sum_{y} p_{x,y} = p_x$$\vec g(p) = 0$$g_x(p) = \sum_y p_{x,y} - p_x$$g_y(p) = \sum_x p_{x,y} - p_y$

$$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$$

$g_k$

$$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$$

$\sum_x p_{x,y} = p_y$$\sum_{y} p_{x,y} = p_x$$e^{1/2 - \lambda_x} = p_x$$e^{1/2 - \lambda_y} = p_y$

$$p_{x,y} = p_xp_y.$$