ช่วยในการเพิ่มความคาดหวังจากกระดาษ: วิธีการรวมการกระจายก่อนหน้า?

9

คำถามนี้มีพื้นฐานอยู่บนกระดาษหัวข้อ: การสร้างภาพใหม่ในการถ่ายภาพด้วยแสงแบบกระจายโดยใช้แบบจำลองการกระจายการแผ่รังสีแบบคู่ - การกระจาย

ลิ้งค์ดาวน์โหลด

ผู้เขียนใช้อัลกอริทึม EM ด้วย $l_1$ sparsity normalization ของ vectorไม่รู้จักเพื่อประมาณค่าพิกเซลของรูปภาพ รูปแบบที่ได้รับจาก $\mu$

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ การประมาณการจะได้รับใน Eq (8) เป็น

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

ในกรณีของฉันฉันได้ถือว่าเป็นตัวกรองความยาวและคือคูณเวกเตอร์ที่แสดงตัวกรอง ดังนั้น, $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

โมเดลสามารถเขียนใหม่เป็น

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

คำถาม: การกำหนดปัญหา: (n by 1) คืออินพุตที่ไม่ได้สังเกตเห็นและเป็นค่าเฉลี่ยศูนย์ที่มีความแปรปรวนที่ไม่รู้จักเสียงรบกวนเพิ่มเติม โซลูชัน MLE จะขึ้นอยู่กับความคาดหวังสูงสุด (EM) ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

ในกระดาษ Eq (19) เป็นฟังก์ชั่น - บันทึกความเป็นไปได้ที่สมบูรณ์ แต่สำหรับกรณีของฉันฉันไม่เข้าใจว่าฉันจะรวมการกระจายของในนิพจน์โอกาสในการบันทึกที่สมบูรณ์ได้อย่างไร $A$ $A, \mu$

ความน่าจะเป็นในการบันทึกที่สมบูรณ์โดยใช้ EM ของรวมถึงการแจกแจงก่อนหน้าคืออะไร $y$

— SKM
แหล่งที่มา

คุณต้องการความเป็นไปได้ในการใช้งานจริงหรือไม่หรือคุณต้องการความต้องการของผู้บันทึกด้านหลัง? เฉพาะหลังจะรวม Laplacian ก่อน อดีตสามารถหาได้โดยการบันทึกความเป็นไปได้ซึ่งดูเหมือนว่าคุณได้เขียนออกไปแล้ว

มีสองนิพจน์ที่ฉันต้องการ - (1) อันที่จะใช้ในการค้นหาฟิชเชอร์ Information Matrix และ (2) อื่น ๆ จะเป็น pdf ของชุดข้อมูลที่สมบูรณ์ที่มีตัวแปรที่ซ่อนอยู่

Z

$Z$ และการสังเกตซึ่งเป็นความหนาแน่นของความน่าจะเป็นร่วมของข้อมูลที่สังเกตได้เป็นฟังก์ชั่นของพารามิเตอร์

θ

$\theta$ . รูปแบบไฟล์ PDF ที่ฉันเขียนนั้นสามารถใช้กับแบบจำลอง MA สำหรับการประมาณค่าแบบปิดได้

θ

$\theta$ . แต่มันจะแตกต่างกันอย่างไรสำหรับข้อ จำกัด sparsity = Laplacian ก่อนเพื่อให้ฟิชเชอร์ Information Information จากอนุพันธ์บางส่วนของ log-likelihood สามารถพบได้

— SKM

@ ซีอาน: ฉันไม่เข้าใจวิธีการเสียบ 3 pdf ซึ่งรวมถึงก่อนหน้านี้ในการกำหนดโอกาสในการบันทึก ฉันสามารถหาค่าสูงสุดที่จะหาอนุพันธ์ย่อยได้และเท่ากับศูนย์ คุณช่วยตอบคำตอบด้วยการเขียนความน่าจะเป็นได้อย่างชัดเจน นี่จะช่วยได้จริงๆ

— SKM

3

หากเราพิจารณาเป้าหมายเป็น

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$ การเป็นตัวแทนของ EM คือ โดยพลการเนื่องจากการสลายตัว หรือ ซึ่งใช้งานได้ตามตัวอักษรของ (เนื่องจากไม่มีอยู่ใน lhs ) และดังนั้นจึงใช้งานได้กับความคาดหวังใน : สำหรับการแจกแจงแบบมีเงื่อนไขใด ๆ ของให้เป็นต้น

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$ theta⁰) ดังนั้นถ้าเราเพิ่มสูงสุดใน ด้วยโซลูชันเรามี ในขณะที่ โดยอาร์กิวเมนต์มาตรฐานของ EM ดังนั้น และใช้เป็นขั้นตอน E เป้าหมาย

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$ นำไปสู่การเพิ่มขึ้นของด้านหลังในแต่ละขั้นตอน M ซึ่งหมายความว่าอัลกอริทึม EM ที่ถูกปรับเปลี่ยนมาบรรจบกับ MAP ท้องถิ่น

— ซีอาน
แหล่งที่มา

ขอบคุณสำหรับการตอบกลับของคุณ. ไม่แทนรูปแบบไฟล์ PDF ของ ? คุณพอจะถามได้ไหมว่าทำไมความคาดหวัง 2 อย่างกับถูกลบออกในสมการที่กล่าวถึงในบรรทัดที่สอง

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— SKM

ฉันได้เพิ่มคำอธิบายบางอย่าง แต่คุณควรตรวจสอบในหนังสือเรียนถึงการได้มาของอัลกอริทึม EM เนื่องจากนี่เป็นวัสดุมาตรฐาน

— ซีอาน

1

ฉันไม่คิดว่าจะแสดงการเพิ่มขึ้นแบบ Log-posterior (หรือความน่าจะเป็นในการบันทึกสำหรับ MLE) ที่เพียงพอสำหรับการแสดงคอนเวอร์เจนซ์ไปยังจุดที่คงที่ของประมาณการ MAP (หรือ MLE) ตัวอย่างเช่นการเพิ่มขึ้นอาจมีขนาดเล็กโดยพลการ ในบทความที่มีชื่อเสียงโดยWu 1983เงื่อนไขที่เพียงพอสำหรับการบรรจบกันที่จุดนิ่งของ EM คือความแตกต่างกันในทั้งข้อโต้แย้งของฟังก์ชันขอบเขตล่าง

— Jim.Z
แหล่งที่มา