ขั้นตอนในการหาการกระจายหลังเมื่อมันอาจจะง่ายพอที่จะมีรูปแบบการวิเคราะห์?


12

นี่ก็ถามวิทยาศาสตร์การคำนวณ

ฉันกำลังพยายามคำนวณค่าสัมประสิทธิ์แบบเบย์ของการหาค่าสัมประสิทธิ์แบบเบส์โดยมี 11 ตัวอย่างข้อมูล: โดยที่คือ Gaussian ที่มีค่าเฉลี่ย 0 และความแปรปรวน การแจกแจงก่อนหน้าบนเวกเตอร์คือ Gaussian ที่มีค่าเฉลี่ยและเมทริกซ์ความแปรปรวนร่วมแนวทแยง รายการแนวทแยงเท่ากับ{2}

Yi=μ+α⋅Yi−1+ϵi
ϵiσe2(μ,α)t(0,0)σp2

จากสูตรการตอบโต้อัตโนมัติหมายความว่าการแจกแจงของจุดข้อมูล ( ) เป็นเรื่องปกติที่มีค่าเฉลี่ยและความแปรปรวน2} ดังนั้นความหนาแน่นสำหรับทุกจุดข้อมูลร่วมกัน (สมมติว่าเป็นอิสระซึ่งเป็นสิ่งที่ดีสำหรับโปรแกรมที่ฉันเขียน) จะเป็น:Yiμ+α⋅Yi−1σe2(Y)

p(Y|(μ,α)t)=∏i=21112πσe2exp⁡−(Yi−μ−α⋅Yi−1)22σe2.

ตามทฤษฎีบทของเบย์เราสามารถนำผลคูณของความหนาแน่นข้างต้นมาใช้กับความหนาแน่นก่อนหน้านี้จากนั้นเราก็แค่ต้องการค่าคงที่ปกติ ลางสังหรณ์ของฉันอยู่ที่นี้ควรจะทำงานออกมาเป็นเสียนกระจายเพื่อให้เราสามารถกังวลเกี่ยวกับค่าคงที่ normalizing ในตอนท้ายมากกว่าอย่างชัดเจนกับการคำนวณปริพันธ์กว่าและ\μα

นี่คือส่วนที่ฉันมีปัญหากับ ฉันจะคำนวณการคูณของความหนาแน่นก่อนหน้า (ซึ่งคือหลายตัวแปร) และผลิตภัณฑ์นี้ของความหนาแน่นของข้อมูลที่ไม่เปลี่ยนแปลงได้อย่างไร คนหลังต้องมีความหนาแน่นและหมดจดแต่ฉันไม่เห็นว่าคุณจะได้ประโยชน์จากผลิตภัณฑ์ดังกล่าวอย่างไรμα

พอยน์เตอร์ใด ๆ ที่เป็นประโยชน์จริง ๆ แม้ว่าคุณจะชี้ให้ฉันในทิศทางที่ถูกต้องและจากนั้นฉันต้องไปทำพีชคณิตยุ่ง ๆ (ซึ่งเป็นสิ่งที่ฉันได้ลองมาแล้วหลายครั้ง)

เป็นจุดเริ่มต้นนี่คือรูปแบบของตัวเศษจากกฎของเบย์:

1(2πσe2)5⋅2πσp2exp⁡[12σe2∑i=211(Yi−μ−α⋅Yi−1)2−μ22σp2−α22σp2].

ปัญหาก็คือวิธีการที่จะเห็นว่าลดลงไปที่ความหนาแน่นของเกาส์{t}(μ,α)t

ที่เพิ่ม

ในที่สุดนี้เดือดลงไปที่ปัญหาทั่วไปต่อไปนี้ หากคุณได้รับนิพจน์กำลังสองเช่นคุณจะใส่มันอย่างไรในรูปแบบสมการกำลังสองสำหรับเมทริกซ์ 2x2 บางตัว ? ก็พอที่เรียบง่ายในกรณีง่าย แต่สิ่งที่ดำเนินการที่คุณใช้เพื่อให้ได้ประมาณการค่าเฉลี่ยและ ?( μ - μ , α - α ) Q ( μ - μ , α - α ) เสื้อ Q μ α

Aμ2+Bμα+Cα2+Jμ+Kα+L
(μ−μ^,α−α^)Q(μ−μ^,α−α^)tQμ^α^

หมายเหตุฉันลองตัวเลือกที่ตรงไปตรงมาของการขยายสูตรเมทริกซ์แล้วลองหาค่าสัมประสิทธิ์ข้างต้น ปัญหาในกรณีของฉันคือค่าคงที่เป็นศูนย์และจากนั้นฉันได้รับสมการสามค่าในสองนิรนามดังนั้นมันจึงถูก จำกัด เพียงการจับคู่สัมประสิทธิ์ (แม้ว่าฉันจะถือว่าเมทริกซ์สมการกำลังสองสมมาตร)L


คำตอบของฉันสำหรับ [คำถามนี้] ( stats.stackexchange.com/questions/22852/… ) อาจเป็นประโยชน์ โปรดทราบว่าคุณต้องมีการตรวจสอบครั้งแรกก่อนการทำซ้ำจะหยุดอยู่ที่นั่น
— ความน่าจะเป็นทาง

ฉันไม่เห็นว่าทำไมฉันต้องการมันในกรณีนี้ ฉันควรจะรักษาช่วงเวลาเหมือนพวกเขาเป็นอิสระตามเงื่อนไขให้สังเกต แจ้งให้ทราบว่าผลิตภัณฑ์ของความหนาแน่นของการร่วมทุนเป็นเพียงจากIฉันไม่คิดว่าฉันควรจะได้รับการปรับปรุงสูตรตามลำดับที่นี่เพียงสูตรเดียวสำหรับหลังY) p ( ( μ , α ) ti=2..11p((μ,α)t|Y)
— ely

"การหลายตัวแปร" ในก่อนไม่ได้อยู่ในความขัดแย้งกับ "univariate" ในความหนาแน่นของข้อมูลเพราะพวกเขามีความหนาแน่นใน 's y ip(α,μ)yi
— ซีอาน

คำตอบ:


7

เบาะแสที่อยู่ในคำตอบของฉันต่อคำตอบก่อนหน้าคือดูว่าฉันรวมพารามิเตอร์อย่างไร - เพราะคุณจะทำอินทิกรัลแบบเดียวกันทั้งหมดตรงนี้ คำถามของคุณถือว่าพารามิเตอร์ความแปรปรวนเป็นที่รู้จักดังนั้นพวกเขาจึงเป็นค่าคงที่ คุณต้องดูที่พึ่งพาตัวเศษ หากต้องการดูสิ่งนี้โปรดทราบว่าเราสามารถเขียน:α,μ

= 1

p(μ,α|Y)=p(μ,α)p(Y|μ,α)∫∫p(μ,α)p(Y|μ,α)dμdα
=1(2πσe2)5⋅2πσp2exp⁡[−12σe2∑i=211(Yi−μ−α⋅Yi−1)2−μ22σp2−α22σp2]∫∫1(2πσe2)5⋅2πσp2exp⁡[−12σe2∑i=211(Yi−μ−α⋅Yi−1)2−μ22σp2−α22σp2]dμdα

โปรดสังเกตว่าเราสามารถดึงปัจจัยแรกออก ของอินทิกรัลสองตัวบนตัวส่วนและมันจะยกเลิกด้วยตัวเศษ เรายังสามารถดึงผลรวมของกำลังสองและมันจะยกเลิก อินทิกรัลที่เราเหลืออยู่คือตอนนี้ (หลังจากขยายเทอมกำลังสอง):1(2πσe2)5⋅2πσp2exp⁡[−12σe2∑i=211Yi2]

=exp⁡[−10μ2+α2∑i=110Yi2−2μ∑i=211Yi−2α∑i=211YiYi−1+2μα∑i=110Yi2σe2−μ22σp2−α22σp2]∫∫exp⁡[−10μ2+α2∑i=110Yi2−2μ∑i=211Yi−2α∑i=211YiYi−1+2μα∑i=110Yi2σe2−μ22σp2−α22σp2]dμdα

ตอนนี้เราสามารถใช้ผลลัพธ์ทั่วไปจาก pdf ปกติได้แล้ว

∫exp⁡(−az2+bz−c)dz=πaexp⁡(b24a−c)
นี้ต่อไปจนเสร็จสิ้นตารางบนและสังเกตว่าไม่ขึ้นอยู่กับZโปรดสังเกตว่าภายในอินทิกรัลมีรูปแบบนี้ด้วยและและ{2}} หลังจากทำอินทิกรัลนี้คุณจะพบว่าอินทิกรัลที่เหลืออยู่−az2+bzczμa=102σe2+12σp2b=∑i=211Yi−α∑i=110Yiσe2c=α2∑i=110Yi2−2α∑i=211YiYi−12σe2+α22σp2αนอกจากนี้ยังมีของแบบฟอร์มนี้เพื่อให้คุณสามารถใช้สูตรนี้อีกครั้งด้วยการที่แตกต่างกัน C จากนั้นคุณควรจะสามารถเขียนหลังของคุณในรูปแบบโดยที่คือคูณเมทริกซ์a,b,c12π|V|12exp⁡[−12(μ−μ^,α−α^)V−1(μ−μ^,α−α^)T]V2×2

แจ้งให้เราทราบหากคุณต้องการเบาะแสเพิ่มเติม

ปรับปรุง

(หมายเหตุ: สูตรที่ถูกต้องควรเป็นแทน )10μ2μ2

ถ้าเราดูรูปแบบสมการกำลังสองที่คุณเขียนในการอัปเดตเราสังเกตว่ามีค่าสัมประสิทธิ์ค่า (ไม่เกี่ยวข้องกับส่วนหลังเนื่องจากเราสามารถเพิ่มค่าคงที่ซึ่งจะยกเลิกในส่วน) เรายังมีราชวงศ์{22} ดังนั้นนี่คือปัญหา "ถูกวางไว้อย่างดี" ตราบใดที่สมการมีความเป็นอิสระเชิงเส้น ถ้าเราขยายกำลังสองเราได้รับ:5L5μ^,α^,Q11,Q12=Q21,Q22(μ−μ^,α−α^)Q(μ−μ^,α−α^)t

Q11(μ−μ^)2+Q22(α−α^)2+2Q12(μ−μ^)(α−α^)
=Q11μ2+2Q21μα+Q22α2−(2Q11μ^+2Q12α^)μ−(2Q22α^+2Q12μ^)α+
+Q11μ^2+Q22α^2+2Q12μ^α^

เปรียบเทียบค่าสัมประสิทธิ์อันดับที่สองเราจะได้ซึ่งบอกเราว่าเมทริกซ์ความแปรปรวนร่วมแบบผกผันมีลักษณะอย่างไร นอกจากนี้เรามีสองสมเล็กน้อยซับซ้อนมากขึ้นสำหรับหลังจากแทนQสิ่งเหล่านี้สามารถเขียนในรูปแบบเมทริกซ์เป็น:A=Q11,B=2Q12,C=Q22α^,μ^Q

−(2ABB2C)(μ^α^)=(JK)

ดังนั้นการประมาณการจะได้รับจาก:

(μ^α^)=−(2ABB2C)−1(JK)=14AC−B2(BK−2JCBJ−2KA)

แสดงให้เห็นว่าเราไม่ได้มีการประมาณการที่ไม่ซ้ำกันเว้นแต่ 2 ตอนนี้เรามี: 4AC≠B2

A=102σe2+12σp2B=∑i=110Yiσe2C=∑i=110Yi22σe2+12σp2J=−∑i=211Yiσe2K=−∑i=211YiYi−1σe2

โปรดทราบว่าถ้าเรากำหนดสำหรับและรับขีด จำกัดดังนั้นประมาณการสำหรับจะได้รับโดยกำลังสองน้อยที่สุดตามปกติ ประมาณการและโดยที่และ11} ดังนั้นประมาณการหลังมีค่าเฉลี่ยถ่วงน้ำหนักระหว่างประมาณการ OLS และประมาณการก่อน(0,0)Xi=Yi−1i=2,…,11σp2→∞μ,αα^=∑i=211(Yi−Y¯)(Xi−X¯)∑i=211(Xi−X¯)2μ^=Y¯−α^X¯Y¯=110∑i=211YiX¯=110∑i=211Xi=110∑i=110Yi(0,0)


สิ่งนี้ไม่เป็นประโยชน์อย่างยิ่งเพราะฉันพูดถึงโดยเฉพาะว่าไม่ใช่ตัวหารที่สำคัญที่นี่ ตัวส่วนเป็นเพียงค่าคงที่ normalizing ซึ่งจะเห็นได้ชัดเมื่อคุณลดตัวเศษให้เป็นรูปแบบเกาส์เซียน ดังนั้นเทคนิคในการประเมินอินทิกรัลในตัวส่วนนั้นยอดเยี่ยมทางคณิตศาสตร์จริงๆ แต่ก็ไม่จำเป็นสำหรับแอปพลิเคชันของฉัน ปัญหาเดียวที่ฉันต้องการการแก้ไขคือจัดการตัวเศษ
— ely

คำตอบนี้ให้ทั้งเศษและส่วน ตัวเศษจัดแสดงพหุนามดีกรีอันดับสองที่เหมาะสมในที่นำไปสู่รูปแบบสมการกำลังสองปกติตามที่เน้นโดยความน่าจะเป็น (α,μ)
— ซีอาน

@ems - โดยการคำนวณค่าคงที่ normalizing คุณจะสร้างรูปแบบสมการกำลังสองที่ต้องการ ก็จะมีเงื่อนไขที่จำเป็นในการ compllete ตาราง
— probabilityislogic

ฉันไม่เข้าใจว่าสิ่งนี้ให้รูปกำลังสองได้อย่างไร ฉันได้หาอินทิกรัลสองตัวในตัวส่วนโดยใช้ข้อมูลเฉพาะของ Gaussian ที่คุณโพสต์ ในท้ายที่สุดฉันเพิ่งได้รับค่าคงที่ยุ่งเหยิง ดูเหมือนจะไม่มีวิธีใดที่ชัดเจนในการรับค่าคงที่และเปลี่ยนเป็นบางครั้งเป็นตัวกำหนดกำลัง 1/2 และไม่ต้องพูดถึงฉันไม่เห็นว่าสิ่งนี้อธิบายวิธีการคำนวณใหม่ ' mean vector ' .. นี่คือสิ่งที่ฉันขอความช่วยเหลือจากคำถามเดิม (μ^,α^)t
— ely

ขอบคุณมากสำหรับการเพิ่มรายละเอียด ฉันกำลังทำผิดพลาดโง่ ๆ เมื่อพยายามทำพีชคณิตเพื่อหารูปกำลังสอง ความคิดเห็นของคุณเกี่ยวกับความสัมพันธ์กับตัวประมาณค่า OLS นั้นน่าสนใจและชื่นชมอย่างมากเช่นกัน ฉันคิดว่านี่จะเพิ่มความเร็วโค้ดของฉันเพราะฉันจะสามารถดึงตัวอย่างจากรูปแบบการวิเคราะห์ที่มีวิธีการในตัวที่เหมาะสมที่สุด แผนเดิมของฉันคือใช้ Metropolis-Hastings เพื่อสุ่มตัวอย่างจากสิ่งนี้ แต่มันช้ามาก ขอบคุณ!
— ely
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.