วิธีทำแบบจำลองลำเอียงที่มีอคติแตกต่างกันไปตามเวลา

สินค้าทุกรุ่นของเหรียญลำเอียงมักจะมีพารามิเตอร์หนึ่งtheta) วิธีหนึ่งในการประมาณจากชุดของการจับฉลากคือการใช้เบต้าก่อนหน้านี้และคำนวณการกระจายด้านหลังด้วยความน่าจะเป็นทวินาม$\theta = P(\text{Head} | \theta)$$\theta$

ในการตั้งค่าของฉันเพราะของกระบวนการทางกายภาพบางอย่างแปลกคุณสมบัติเหรียญของฉันจะเปลี่ยนแปลงอย่างช้าๆและกลายเป็นหน้าที่ของเวลาทีข้อมูลของฉันคือชุดของคำสั่งให้ดึงเช่น\} ฉันสามารถพิจารณาว่าฉันมีเพียงหนึ่งวาดสำหรับแต่ละในตารางเวลาไม่ต่อเนื่องและปกติ$\theta$$t$$\{H,T,H,H,H,T,...\}$$t$

คุณจะทำแบบนี้อย่างไร ฉันกำลังคิดบางอย่างเช่นตัวกรองคาลมานที่ปรับให้เข้ากับความจริงที่ว่าตัวแปรที่ซ่อนอยู่คือและรักษาโอกาสทวินาม ฉันจะใช้อะไรกับโมเดลเพื่อให้อนุมานได้$\theta$$P(\theta(t+1)|\theta(t))$

แก้ไขคำตอบต่อไปนี้ (ขอบคุณ!) : ฉันต้องการสร้างแบบจำลองเป็น Markov Chain ของคำสั่งที่ 1 เหมือนที่ทำในตัวกรอง HMM หรือ Kalman ข้อสันนิษฐานเดียวที่ฉันทำได้คือราบรื่น ฉันสามารถเขียนด้วยเสียงแบบเกาส์ขนาดเล็ก (ความคิดตัวกรองคาลมาน) แต่สิ่งนี้จะทำลายข้อกำหนดที่จะต้องยังคงอยู่ใน[0,1]จากแนวคิดต่อไปนี้จาก @J Dav ฉันสามารถใช้ฟังก์ชัน probit เพื่อแมปบรรทัดจริงกับแต่ฉันมีสัญชาตญาณว่าสิ่งนี้จะให้โซลูชันที่ไม่ใช่การวิเคราะห์ การแจกแจงแบบเบต้าพร้อมค่าเฉลี่ย$\theta(t)$$\theta(t)$$P(\theta(t+1)|\theta(t)) = \theta(t) + \epsilon$$\epsilon$$\theta$$[0,1]$$[0,1]$$\theta(t)$ และความแปรปรวนที่กว้างขึ้นสามารถทำกลอุบายได้

ฉันถามคำถามนี้เพราะฉันรู้สึกว่าปัญหานี้ง่ายมากจนต้องมีการศึกษามาก่อน

ฉันสงสัยว่าคุณสามารถสร้างแบบจำลองด้วยโซลูชันการวิเคราะห์ได้ แต่การอนุมานยังสามารถทำให้เข้าใจง่ายโดยใช้เครื่องมือที่เหมาะสมเนื่องจากโครงสร้างการพึ่งพาของแบบจำลองของคุณนั้นเรียบง่าย ในฐานะนักวิจัยการเรียนรู้ของเครื่องจักรฉันต้องการใช้แบบจำลองต่อไปนี้เนื่องจากการอนุมานสามารถทำได้ค่อนข้างมีประสิทธิภาพโดยใช้เทคนิคของ Expagation Propagation:

ให้เป็นผลลัพธ์ของการทดลอง -th ให้เรากำหนดพารามิเตอร์แปรผันตามเวลา$X(t)$$t$

$\eta(t+1) \sim \mathcal{N}(\eta(t), \tau^2)$สำหรับ0$t \geq 0$

หากต้องการเชื่อมโยงกับแนะนำตัวแปรแฝง$\eta(t)$$X(t)$

$Y(t) \sim \mathcal{N}(\eta(t), \beta^2)$ ,

และรุ่นจะเป็น$X(t)$

$X(t) = 1$ถ้าและอย่างอื่น คุณสามารถเพิกเฉยต่อและแยกพวกเขาออกไปพูดแค่ , (กับ cdf ของ มาตรฐานปกติ) แต่การแนะนำตัวแปรแฝงทำให้การอนุมานง่าย นอกจากนี้ยังทราบว่าในตัวแปรที่เดิมของคุณ\$Y(t) \geq 0$$X(t) = 0$$Y(t)$$\mathbb{P}[X(t)=1] = \Phi(\eta(t)/\beta)$$\Phi$$\theta(t) = \eta(t)/\beta$

หากคุณสนใจที่จะใช้อัลกอริทึมการอนุมานลองดูที่เอกสารนี้ พวกเขาใช้แบบจำลองที่คล้ายกันมากดังนั้นคุณสามารถปรับเปลี่ยนอัลกอริทึมได้อย่างง่ายดาย เพื่อให้เข้าใจ EP หน้าต่อไปนี้อาจพบว่ามีประโยชน์ หากคุณมีความสนใจในการใฝ่หาวิธีนี้แจ้งให้เราทราบ ฉันสามารถให้คำแนะนำโดยละเอียดเพิ่มเติมเกี่ยวกับวิธีใช้อัลกอริทึมการอนุมาน

ในการอธิบายความคิดเห็นของฉันแบบจำลองเช่น p (t) = p exp (-t) เป็นรูปแบบที่ง่ายและอนุญาตให้มีการประมาณค่า p (t) โดยการประมาณ pโดยใช้การประมาณความน่าจะเป็นสูงสุด แต่ความน่าจะเป็นนั้นสลายไปจริง ๆ รุ่นนี้จะผิดอย่างชัดเจนถ้าคุณสังเกตช่วงเวลาที่มีความถี่ของความสำเร็จสูงกว่าที่คุณสังเกตเห็นในเวลาก่อนหน้าและในภายหลัง พฤติกรรมการแกว่งสามารถจำลองเป็น p (t) = p | sint | ทั้งสองรุ่นมีความสามารถในการจัดการได้ง่ายและสามารถแก้ไขได้โดยความเป็นไปได้สูงสุด แต่ก็มีวิธีแก้ปัญหาที่แตกต่างกันมาก$_0$$_0$$_0$

ความน่าจะเป็นของคุณเปลี่ยนไปด้วยแต่อย่างที่ Michael พูดคุณไม่รู้ เป็นเส้นตรงหรือไม่? ดูเหมือนว่าปัญหาการเลือกรุ่นที่ความน่าจะเป็นของคุณ :$t$$p$

$p=\Phi(g(t,\theta))$อาจขึ้นอยู่กับฟังก์ชันไม่ใช่เส้นตรง เป็นเพียงฟังก์ชันขอบเขตที่รับประกันความน่าจะเป็นระหว่าง 0 และ 1$g(t,\theta)$$\Phi$

วิธีการสำรวจอย่างง่ายคือการลองใช้โพรบหลาย ๆ แบบสำหรับไม่ตรงกับและทำการเลือกแบบจำลองตามเกณฑ์ข้อมูลมาตรฐาน$\Phi$$g()$$g()$

หากต้องการตอบคำถามที่ถูกตอบกลับอีกครั้ง :

ดังที่คุณกล่าวว่าการใช้ probit จะหมายถึงการแก้ปัญหาเชิงตัวเลขเท่านั้น แต่คุณอาจใช้ฟังก์ชันโลจิสติกแทน:

ฟังก์ชั่นการขนส่ง:$P[\theta(t+1)] = \frac{1}{1+\exp{(\theta(t)+\epsilon)}}$

ทำให้เป็นเชิงเส้นโดย:$\log{\frac{P}{1-P}} = \theta(t)+\epsilon$

ฉันไม่แน่ใจว่าวิธีนี้สามารถทำงานภายใต้วิธีการกรองของคาลมานได้อย่างไร แต่ก็ยังเชื่อว่าข้อกำหนดแบบไม่เชิงเส้นเช่นหรือคนอื่น ๆ ทำงาน อย่างที่คุณเห็นฟังก์ชั่นนี้คือ "smoth" ในแง่ที่ว่ามันต่อเนื่องและแตกต่างกัน แต่น่าเสียดายที่การเพิ่มจะสร้างกระโดดของความน่าจะเกิดซึ่งเป็นสิ่งที่คุณไม่ต้องการดังนั้นคำแนะนำของฉันจะเป็นที่จะออก\ϵ $\theta(t+1)=a t^3 +bt^2+ct + d$$\epsilon$$\epsilon$

Logit probablity:$P[Coin_{t+1}=H | t] = \frac{1}{1+\exp{(\theta(t))}}$

คุณมีอยู่แล้ว randomnes ในเหตุการณ์ Bernoulli (Markov Chain) และคุณจะเพิ่มแหล่งที่มาของมันเนื่องจาก\ดังนั้นปัญหาของคุณอาจได้รับการแก้ไขเป็น Probit หรือ Logit ประมาณโดยโอกาสสูงสุดกับเป็นตัวแปรอธิบาย ฉันคิดว่าคุณเห็นด้วยว่าการประหยัดพลังงานนั้นสำคัญมาก เว้นแต่ว่าวัตถุประสงค์หลักของคุณคือการใช้วิธีการที่กำหนด (ตัวกรอง HMM และ Kalman) และไม่ให้วิธีการแก้ปัญหาที่ถูกต้องที่สุดกับปัญหาของคุณ$\epsilon$$t$