ขั้นตอนในการหาการกระจายหลังเมื่อมันอาจจะง่ายพอที่จะมีรูปแบบการวิเคราะห์?


12

นี่ก็ถามวิทยาศาสตร์การคำนวณ

ฉันกำลังพยายามคำนวณค่าสัมประสิทธิ์แบบเบย์ของการหาค่าสัมประสิทธิ์แบบเบส์โดยมี 11 ตัวอย่างข้อมูล: โดยที่คือ Gaussian ที่มีค่าเฉลี่ย 0 และความแปรปรวน การแจกแจงก่อนหน้าบนเวกเตอร์คือ Gaussian ที่มีค่าเฉลี่ยและเมทริกซ์ความแปรปรวนร่วมแนวทแยง รายการแนวทแยงเท่ากับ{2}

Yi=μ+αYi1+ϵi
ϵiσe2(μ,α)t(0,0)σp2

จากสูตรการตอบโต้อัตโนมัติหมายความว่าการแจกแจงของจุดข้อมูล ( ) เป็นเรื่องปกติที่มีค่าเฉลี่ยและความแปรปรวน2} ดังนั้นความหนาแน่นสำหรับทุกจุดข้อมูลร่วมกัน (สมมติว่าเป็นอิสระซึ่งเป็นสิ่งที่ดีสำหรับโปรแกรมที่ฉันเขียน) จะเป็น:Yiμ+αYi1σe2(Y)

p(Y|(μ,α)t)=i=21112πσe2exp(YiμαYi1)22σe2.

ตามทฤษฎีบทของเบย์เราสามารถนำผลคูณของความหนาแน่นข้างต้นมาใช้กับความหนาแน่นก่อนหน้านี้จากนั้นเราก็แค่ต้องการค่าคงที่ปกติ ลางสังหรณ์ของฉันอยู่ที่นี้ควรจะทำงานออกมาเป็นเสียนกระจายเพื่อให้เราสามารถกังวลเกี่ยวกับค่าคงที่ normalizing ในตอนท้ายมากกว่าอย่างชัดเจนกับการคำนวณปริพันธ์กว่าและ\μα

นี่คือส่วนที่ฉันมีปัญหากับ ฉันจะคำนวณการคูณของความหนาแน่นก่อนหน้า (ซึ่งคือหลายตัวแปร) และผลิตภัณฑ์นี้ของความหนาแน่นของข้อมูลที่ไม่เปลี่ยนแปลงได้อย่างไร คนหลังต้องมีความหนาแน่นและหมดจดแต่ฉันไม่เห็นว่าคุณจะได้ประโยชน์จากผลิตภัณฑ์ดังกล่าวอย่างไรμα

พอยน์เตอร์ใด ๆ ที่เป็นประโยชน์จริง ๆ แม้ว่าคุณจะชี้ให้ฉันในทิศทางที่ถูกต้องและจากนั้นฉันต้องไปทำพีชคณิตยุ่ง ๆ (ซึ่งเป็นสิ่งที่ฉันได้ลองมาแล้วหลายครั้ง)

เป็นจุดเริ่มต้นนี่คือรูปแบบของตัวเศษจากกฎของเบย์:

1(2πσe2)52πσp2exp[12σe2i=211(YiμαYi1)2μ22σp2α22σp2].

ปัญหาก็คือวิธีการที่จะเห็นว่าลดลงไปที่ความหนาแน่นของเกาส์{t}(μ,α)t

ที่เพิ่ม

ในที่สุดนี้เดือดลงไปที่ปัญหาทั่วไปต่อไปนี้ หากคุณได้รับนิพจน์กำลังสองเช่นคุณจะใส่มันอย่างไรในรูปแบบสมการกำลังสองสำหรับเมทริกซ์ 2x2 บางตัว ? ก็พอที่เรียบง่ายในกรณีง่าย แต่สิ่งที่ดำเนินการที่คุณใช้เพื่อให้ได้ประมาณการค่าเฉลี่ยและ ?( μ - μ , α - α ) Q ( μ - μ , α - α ) เสื้อ Q μ α

Aμ2+Bμα+Cα2+Jμ+Kα+L
(μμ^,αα^)Q(μμ^,αα^)tQμ^α^

หมายเหตุฉันลองตัวเลือกที่ตรงไปตรงมาของการขยายสูตรเมทริกซ์แล้วลองหาค่าสัมประสิทธิ์ข้างต้น ปัญหาในกรณีของฉันคือค่าคงที่เป็นศูนย์และจากนั้นฉันได้รับสมการสามค่าในสองนิรนามดังนั้นมันจึงถูก จำกัด เพียงการจับคู่สัมประสิทธิ์ (แม้ว่าฉันจะถือว่าเมทริกซ์สมการกำลังสองสมมาตร)L


คำตอบของฉันสำหรับ [คำถามนี้] ( stats.stackexchange.com/questions/22852/… ) อาจเป็นประโยชน์ โปรดทราบว่าคุณต้องมีการตรวจสอบครั้งแรกก่อนการทำซ้ำจะหยุดอยู่ที่นั่น
ความน่าจะเป็นทาง

ฉันไม่เห็นว่าทำไมฉันต้องการมันในกรณีนี้ ฉันควรจะรักษาช่วงเวลาเหมือนพวกเขาเป็นอิสระตามเงื่อนไขให้สังเกต แจ้งให้ทราบว่าผลิตภัณฑ์ของความหนาแน่นของการร่วมทุนเป็นเพียงจากIฉันไม่คิดว่าฉันควรจะได้รับการปรับปรุงสูตรตามลำดับที่นี่เพียงสูตรเดียวสำหรับหลังY) p ( ( μ , α ) ti=2..11p((μ,α)t|Y)
ely

"การหลายตัวแปร" ในก่อนไม่ได้อยู่ในความขัดแย้งกับ "univariate" ในความหนาแน่นของข้อมูลเพราะพวกเขามีความหนาแน่นใน 's y ip(α,μ)yi
ซีอาน

คำตอบ:


7

เบาะแสที่อยู่ในคำตอบของฉันต่อคำตอบก่อนหน้าคือดูว่าฉันรวมพารามิเตอร์อย่างไร - เพราะคุณจะทำอินทิกรัลแบบเดียวกันทั้งหมดตรงนี้ คำถามของคุณถือว่าพารามิเตอร์ความแปรปรวนเป็นที่รู้จักดังนั้นพวกเขาจึงเป็นค่าคงที่ คุณต้องดูที่พึ่งพาตัวเศษ หากต้องการดูสิ่งนี้โปรดทราบว่าเราสามารถเขียน:α,μ

= 1

p(μ,α|Y)=p(μ,α)p(Y|μ,α)p(μ,α)p(Y|μ,α)dμdα
=1(2πσe2)52πσp2exp[12σe2i=211(YiμαYi1)2μ22σp2α22σp2]1(2πσe2)52πσp2exp[12σe2i=211(YiμαYi1)2μ22σp2α22σp2]dμdα

โปรดสังเกตว่าเราสามารถดึงปัจจัยแรกออก ของอินทิกรัลสองตัวบนตัวส่วนและมันจะยกเลิกด้วยตัวเศษ เรายังสามารถดึงผลรวมของกำลังสองและมันจะยกเลิก อินทิกรัลที่เราเหลืออยู่คือตอนนี้ (หลังจากขยายเทอมกำลังสอง):1(2πσe2)52πσp2exp[12σe2i=211Yi2]

=exp[10μ2+α2i=110Yi22μi=211Yi2αi=211YiYi1+2μαi=110Yi2σe2μ22σp2α22σp2]exp[10μ2+α2i=110Yi22μi=211Yi2αi=211YiYi1+2μαi=110Yi2σe2μ22σp2α22σp2]dμdα

ตอนนี้เราสามารถใช้ผลลัพธ์ทั่วไปจาก pdf ปกติได้แล้ว

exp(az2+bzc)dz=πaexp(b24ac)
นี้ต่อไปจนเสร็จสิ้นตารางบนและสังเกตว่าไม่ขึ้นอยู่กับZโปรดสังเกตว่าภายในอินทิกรัลมีรูปแบบนี้ด้วยและและ{2}} หลังจากทำอินทิกรัลนี้คุณจะพบว่าอินทิกรัลที่เหลืออยู่az2+bzczμa=102σe2+12σp2b=i=211Yiαi=110Yiσe2c=α2i=110Yi22αi=211YiYi12σe2+α22σp2αนอกจากนี้ยังมีของแบบฟอร์มนี้เพื่อให้คุณสามารถใช้สูตรนี้อีกครั้งด้วยการที่แตกต่างกัน C จากนั้นคุณควรจะสามารถเขียนหลังของคุณในรูปแบบโดยที่คือคูณเมทริกซ์a,b,c12π|V|12exp[12(μμ^,αα^)V1(μμ^,αα^)T]V2×2

แจ้งให้เราทราบหากคุณต้องการเบาะแสเพิ่มเติม

ปรับปรุง

(หมายเหตุ: สูตรที่ถูกต้องควรเป็นแทน )10μ2μ2

ถ้าเราดูรูปแบบสมการกำลังสองที่คุณเขียนในการอัปเดตเราสังเกตว่ามีค่าสัมประสิทธิ์ค่า (ไม่เกี่ยวข้องกับส่วนหลังเนื่องจากเราสามารถเพิ่มค่าคงที่ซึ่งจะยกเลิกในส่วน) เรายังมีราชวงศ์{22} ดังนั้นนี่คือปัญหา "ถูกวางไว้อย่างดี" ตราบใดที่สมการมีความเป็นอิสระเชิงเส้น ถ้าเราขยายกำลังสองเราได้รับ:5L5μ^,α^,Q11,Q12=Q21,Q22(μμ^,αα^)Q(μμ^,αα^)t

Q11(μμ^)2+Q22(αα^)2+2Q12(μμ^)(αα^)
=Q11μ2+2Q21μα+Q22α2(2Q11μ^+2Q12α^)μ(2Q22α^+2Q12μ^)α+
+Q11μ^2+Q22α^2+2Q12μ^α^

เปรียบเทียบค่าสัมประสิทธิ์อันดับที่สองเราจะได้ซึ่งบอกเราว่าเมทริกซ์ความแปรปรวนร่วมแบบผกผันมีลักษณะอย่างไร นอกจากนี้เรามีสองสมเล็กน้อยซับซ้อนมากขึ้นสำหรับหลังจากแทนQสิ่งเหล่านี้สามารถเขียนในรูปแบบเมทริกซ์เป็น:A=Q11,B=2Q12,C=Q22α^,μ^Q

(2ABB2C)(μ^α^)=(JK)

ดังนั้นการประมาณการจะได้รับจาก:

(μ^α^)=(2ABB2C)1(JK)=14ACB2(BK2JCBJ2KA)

แสดงให้เห็นว่าเราไม่ได้มีการประมาณการที่ไม่ซ้ำกันเว้นแต่ 2 ตอนนี้เรามี: 4ACB2

A=102σe2+12σp2B=i=110Yiσe2C=i=110Yi22σe2+12σp2J=i=211Yiσe2K=i=211YiYi1σe2

โปรดทราบว่าถ้าเรากำหนดสำหรับและรับขีด จำกัดดังนั้นประมาณการสำหรับจะได้รับโดยกำลังสองน้อยที่สุดตามปกติ ประมาณการและโดยที่และ11} ดังนั้นประมาณการหลังมีค่าเฉลี่ยถ่วงน้ำหนักระหว่างประมาณการ OLS และประมาณการก่อน(0,0)Xi=Yi1i=2,,11σp2μ,αα^=i=211(YiY¯)(XiX¯)i=211(XiX¯)2μ^=Y¯α^X¯Y¯=110i=211YiX¯=110i=211Xi=110i=110Yi(0,0)


สิ่งนี้ไม่เป็นประโยชน์อย่างยิ่งเพราะฉันพูดถึงโดยเฉพาะว่าไม่ใช่ตัวหารที่สำคัญที่นี่ ตัวส่วนเป็นเพียงค่าคงที่ normalizing ซึ่งจะเห็นได้ชัดเมื่อคุณลดตัวเศษให้เป็นรูปแบบเกาส์เซียน ดังนั้นเทคนิคในการประเมินอินทิกรัลในตัวส่วนนั้นยอดเยี่ยมทางคณิตศาสตร์จริงๆ แต่ก็ไม่จำเป็นสำหรับแอปพลิเคชันของฉัน ปัญหาเดียวที่ฉันต้องการการแก้ไขคือจัดการตัวเศษ
ely

คำตอบนี้ให้ทั้งเศษและส่วน ตัวเศษจัดแสดงพหุนามดีกรีอันดับสองที่เหมาะสมในที่นำไปสู่รูปแบบสมการกำลังสองปกติตามที่เน้นโดยความน่าจะเป็น (α,μ)
ซีอาน

@ems - โดยการคำนวณค่าคงที่ normalizing คุณจะสร้างรูปแบบสมการกำลังสองที่ต้องการ ก็จะมีเงื่อนไขที่จำเป็นในการ compllete ตาราง
probabilityislogic

ฉันไม่เข้าใจว่าสิ่งนี้ให้รูปกำลังสองได้อย่างไร ฉันได้หาอินทิกรัลสองตัวในตัวส่วนโดยใช้ข้อมูลเฉพาะของ Gaussian ที่คุณโพสต์ ในท้ายที่สุดฉันเพิ่งได้รับค่าคงที่ยุ่งเหยิง ดูเหมือนจะไม่มีวิธีใดที่ชัดเจนในการรับค่าคงที่และเปลี่ยนเป็นบางครั้งเป็นตัวกำหนดกำลัง 1/2 และไม่ต้องพูดถึงฉันไม่เห็นว่าสิ่งนี้อธิบายวิธีการคำนวณใหม่ ' mean vector ' .. นี่คือสิ่งที่ฉันขอความช่วยเหลือจากคำถามเดิม (μ^,α^)t
ely

ขอบคุณมากสำหรับการเพิ่มรายละเอียด ฉันกำลังทำผิดพลาดโง่ ๆ เมื่อพยายามทำพีชคณิตเพื่อหารูปกำลังสอง ความคิดเห็นของคุณเกี่ยวกับความสัมพันธ์กับตัวประมาณค่า OLS นั้นน่าสนใจและชื่นชมอย่างมากเช่นกัน ฉันคิดว่านี่จะเพิ่มความเร็วโค้ดของฉันเพราะฉันจะสามารถดึงตัวอย่างจากรูปแบบการวิเคราะห์ที่มีวิธีการในตัวที่เหมาะสมที่สุด แผนเดิมของฉันคือใช้ Metropolis-Hastings เพื่อสุ่มตัวอย่างจากสิ่งนี้ แต่มันช้ามาก ขอบคุณ!
ely
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.