การตรวจหาการเปลี่ยนแปลงคู่เคียงแบบเบย์ออนไลน์

ฉันกำลังอ่านรายงานการตรวจหาการเปลี่ยนแปลงไบเซียนออนไลน์โดย Adams และ MacKay ( ลิงก์ )

ผู้แต่งเริ่มต้นด้วยการเขียนการแจกแจงการทำนายแบบชายขอบ: โดยที่

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} | r_{t}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) (1)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$

$x_t$ คือการสังเกตในเวลา ; $t$
$\textbf{x}_{1:t}$ หมายถึงชุดการสังเกตจนกระทั่งเวลา ; $t$
$r_t \in \mathbb{N}$ คือ runlength ปัจจุบัน (เวลานับตั้งแต่การเปลี่ยนแปลงครั้งล่าสุดสามารถเป็น 0); และ
$\textbf{x}_t^{(r)}$ เป็นชุดของการสังเกตที่เกี่ยวข้องกับการทำงานr_t $r_t$

อีคิว 1 ถูกต้องเป็นทางการ (ดูคำตอบด้านล่างโดย @JuhoKokkala) แต่ความเข้าใจของฉันคือถ้าคุณต้องการทำนายเกี่ยวกับคุณจะต้องขยายดังต่อไปนี้: $x_{t+1}$

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}, r_{t + 1}} P (x_{t + 1} | r_{t + 1}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) P (r_{t + 1} | r_{t}) (1 b)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$

เหตุผลของฉันคืออาจมีการเปลี่ยนเวลา (ในอนาคต) เวลาแต่หลังครอบคลุมจนถึงเท่านั้น $t+1$ $P(r_t | \textbf{x}_{1:t})$ $t$

ประเด็นก็คือผู้แต่งในกระดาษทำให้เราเป็นสมการ 1 ตามที่เป็นอยู่ (ดู Eqs. 3 และ 11 ในกระดาษ) และไม่ใช่ 1b ดังนั้นพวกเขาดูเหมือนจะไม่สนใจความเป็นไปได้ของ changepoint ที่ในเวลาเมื่อทำนายจากข้อมูลที่มีอยู่ในเวลาทีในตอนต้นของส่วนที่ 2 พวกเขาพูดen passant $t+1$ $x_{t+1}$ $t$

เราคิดว่าเราสามารถคำนวณการกระจายการทำนาย [สำหรับ ] เงื่อนไขในการให้วิ่งยาวr_t $x_{t+1}$ $r_t$

ซึ่งอาจเป็นที่เคล็ดลับอยู่ แต่โดยทั่วไปการกระจายการทำนายนี้น่าจะดูเหมือน Eq 1b; ซึ่งไม่ใช่สิ่งที่พวกเขาทำ (อสม. 11)

ดังนั้นฉันไม่แน่ใจว่าฉันเข้าใจว่าเกิดอะไรขึ้น บางทีอาจมีบางสิ่งที่ตลก ๆ เกิดขึ้นพร้อมกับเครื่องหมาย

การอ้างอิง

Adams, RP, & MacKay, DJ (2007) การตรวจหาการเปลี่ยนแปลงสัญญาณแบบเบย์แบบออนไลน์ พิมพ์ล่วงหน้า arXiv arXiv: 0710.3742

— lacerbi
แหล่งที่มา

คำอธิบายที่มีศักยภาพเป็นที่หมายถึงระยะเวลาในการทำงานที่ส่วนท้ายของเวลาขั้นตอนซึ่งเป็นหลังจาก changepoint ในเวลาทีด้วยสิ่งนี้สมการ 1 ทำให้รู้สึก ในความเป็นจริงหนึ่งในการเริ่มต้นของขั้นตอนวิธีคือโดยการตั้งค่าซึ่งสันนิษฐานว่ามี changepoint ขวาก่อนที่จะเริ่มที่ 1 อย่างไรก็ตามรูปที่ 1 เป็นสิ่งที่ผิด (หรืออย่างน้อยทำให้เข้าใจผิด) ในกรณีที่มีการเปลี่ยนระหว่างและและระหว่างและดังแสดงในรูปที่ 1a ดังนั้นและ

r_{t}

$r_t$

t

$t$

t

$t$

P (r_{0} = 0) = 1

$P(r_0 =0) = 1$

t = 1

$t=1$

t = 4

$t =4$

t = 5

$t=5$

t = 10

$t=10$

t = 11

$t=11$

r_{4}

$r_4$

r_{10}

$r_{10}$ ควรเป็น 0 ตามสัญกรณ์นี้ไม่ใช่และ

r_{5}

$r_5$

r_{11}

$r_{11}$ ตามรูปที่ 1b

— lacerbi

มีบางอย่างแปลก ๆ เกิดขึ้นใน Eq 3 เป็นตัวประกอบกลางในการสรุปในบรรทัดสุดท้ายคือ

P (x_{t} ∣ r_{t - 1}, x_{t}^{(r)})

$P(x_t \mid r_{t-1}, x^{(r)}_t)$ ในขณะที่ฉันคิด

x_{t}^{(r)}

$x^{(r)}_t$ มี

x_{t}

$x_t$ . ฉันสงสัยว่า

t

$t$ และ

t - 1

$t-1$ ได้เปลี่ยนสถานที่เป็น

P (x_{t} ∣ r_{t}, x_{t - 1}^{(r)})

$P(x_t \mid r_t, x^{(r)}_{t-1})$ จะทำให้รู้สึก ในสมการ 11 ดูเหมือนว่าทางด้านขวาจะขึ้นอยู่กับ

x_{t}^{(r)}

$x_t^{(r)}$ ซึ่งไม่ปรากฏที่ด้านซ้ายเลยดังนั้นมีบางอย่างผิดปกติหรือฉันไม่เข้าใจสัญกรณ์เลย

— Juho Kokkala

@JuhoKokkala: ฉันดีใจที่ผมไม่ได้เป็นเพียงคนเดียวที่มีความรู้สึกว่า ...

— lacerbi

@lacerbi ผมมีคำถามเกี่ยวกับบทความนี้อีกและคิดว่าคุณอาจจะสามารถที่จะตอบมันตั้งแต่คุณดูเหมือนคุ้นเคยกับการทำงาน: stats.stackexchange.com/questions/419988

— gwg

ทั้ง (1) และ (1b) ถูกต้อง OP มีสิทธิ์ที่ (ในรุ่นนี้) อาจมีการเปลี่ยนที่ $t+1$ และ $x_{t+1}$ ขึ้นอยู่กับว่ามีการเปลี่ยนแปลงหรือไม่ สิ่งนี้ไม่ได้หมายความถึงปัญหาใด ๆ กับ (1) ว่าเป็นค่าที่เป็นไปได้ของ $r_{t+1}$ ถูก "ปิด" อย่างสมบูรณ์โดย $P(x_{t+1} \mid r_t, x_{1:t})$ . $P(x_{t+1} | r_t, x_{1:t})$ หมายถึงการกระจายเงื่อนไขของ $x_{t+1}$ เงื่อนไข $(r_t, x_{1:t})$ . การแจกแจงแบบมีเงื่อนไขนี้มีค่าเฉลี่ยมากกว่า "ทุกอย่าง" รวมถึง $r_{t+1}$ บนเงื่อนไข $(r_t, x_{1:t})$ . เหมือนที่เขียนได้พูดได้ $P(x_{t+1000} | x_t)$ ซึ่งจะคำนึงถึงการกำหนดค่าที่เป็นไปได้ทั้งหมดของการเปลี่ยนค่ารวมทั้งค่าของ $x_i$ เกิดขึ้นระหว่าง $t$ และ $t+1000$ .

ในส่วนที่เหลือฉันแรกได้รับ (1) และจากนั้น (1b) ตาม (1)

แหล่งที่มาของ (1)

สำหรับตัวแปรสุ่มใด ๆ $A,B,C$ , เรามี

P (A ∣ B) = \sum_{c} P (A ∣ B, C = c) P (C = c ∣ B),

$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$ ตราบเท่าที

C

$C$ ไม่ต่อเนื่อง (ไม่เช่นนั้นผลรวมจะต้องถูกแทนที่ด้วยอินทิกรัล) ใช้สิ่งนี้กับ

x_{t + 1}, x_{1 : t}, r_{t}

$x_{t+1},x_{1:t},r_t$ :

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{1 : t}) P (r_{t} ∣ x_{1 : t}),

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$ ซึ่งถือไม่ว่าสิ่งที่อ้างอิงระหว่าง

r_{t}

$r_t$ ,

x_{1 : t}

$x_{1:t}$ ,

x_{t + 1}

$x_{t+1}$ คือนั่นคือยังไม่มีการใช้สมมติฐานที่เป็นรูปแบบ ในรูปแบบปัจจุบัน

x_{t + 1}

$x_{t+1}$ รับ

r_{t}, x_{t}^{(r)}

$r_t,x^{(r)}_t$ ถูกสันนิษฐานว่า * เป็นเงื่อนไขที่เป็นอิสระจากค่าของ

x

$x$ จากการวิ่งมาก่อน

x_{t}^{(r)}

$x^{(r)}_t$ . สิ่งนี้แสดงถึง

P (x_{t + 1} ∣ r_{t}, x_{1 : t}) = P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)})

$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$ . เราได้สิ่งนี้มาแทนสมการก่อนหน้า

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) P (r_{t} ∣ x_{1 : t}), (1)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$ ซึ่งคือ (1) ใน OP

แหล่งที่มาของ (1b)

ให้เราพิจารณาการสลายตัวของ $P(x_{t+1} \mid r_t, x^{(r)}_t)$ มากกว่าค่าที่เป็นไปได้ของ $r_{t+1}$ :

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, r_{t}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}, x_{t}^{(r)}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$

เนื่องจากมันถูกสันนิษฐานว่า * ว่าการเปลี่ยนแปลงเกิดขึ้นที่ $t+1$ (ระหว่าง $x_t$ และ $x_{t+1}$ ) ไม่ได้ขึ้นอยู่กับประวัติของ $x$ , เรามี $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$ . Furthermore, since $r_{t+1}$ determines whether $x_{t+1}$ belongs into the same run as $x_t$ , we have $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$ . Substituting these two simplifications into the factorization above, we get

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$ Substituting this into (1), we get

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} (\sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t})) P (r_{t} ∣ x_{1 : t}), (1 b)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$ which is OP's (1b).

* Remark on the model's conditional independence assumptions

Based on quickly browsing the paper, I would personally like the conditional independence properties to be more explicitly stated somewhere, but I suppose that the intention is that $r$ is Markovian and the $x$ :s associated to different runs are independent (given the runs).

— Juho Kokkala
แหล่งที่มา

(+1) Thanks. Yep, of course, I understand that Eq. 1 is formally correct if one assumes implicit marginalization over

r_{t + 1}

$r_{t+1}$ . The problem is that later on the authors make predictions (Eq. 11 in the paper, and implicitly in Eq. 3) and they are seemingly not marginalizing over

r_{t + 1}

$r_{t+1}$ when they take them.

— lacerbi

Oh. It seems then that I misunderstood the question - should I delete this? You may want to clarify the question, currently it sounds like (1) is somehow incorrect (instead of perhaps not useful)

— Juho Kokkala

Please keep this answer, which is valuable. My mistake that I was't clear enough in my original post. I tried to clarify my question thanks to your comments, and in a way that still makes this answer meaningful.

— lacerbi