คำจำกัดความของนักบวชคอนจูเกตกึ่งคอนจูเกตและมีเงื่อนไขคืออะไร?

คำจำกัดความของนักบวชกึ่งคอนจูเกตและนักคอนจูเกตแบบมีเงื่อนไขคืออะไร ฉันพบพวกมันในการวิเคราะห์ข้อมูลแบบเบย์ของเจลแมนแต่ไม่พบคำจำกัดความของพวกเขา

ใช้คำนิยามในคชกรรมวิเคราะห์ข้อมูล (3rd ed)ถ้าเป็นชั้นของการสุ่มตัวอย่างดิและเป็นชั้นของการแจกแจงก่อนสำหรับแล้ว classเป็นคอนจูเกตสำหรับถ้า$\mathcal{F}$$p(y|\theta)$$\mathcal{P}$$\theta$$\mathcal{P}$$\mathcal{F}$

$$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$$

ถ้าเป็นคลาสของการแจกแจงตัวอย่างและเป็นคลาสของการแจกแจงก่อนหน้าสำหรับเงื่อนไขบนจากนั้นคลาสเป็นเงื่อนไขร่วมสำหรับถ้า$\mathcal{F}$$p(y|\theta,\phi)$$\mathcal{P}$$\theta$$\phi$$\mathcal{P}$$\mathcal{F}$

$$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$$

เงื่อนไขคอนจูเกตคอนจูเกตมีความสะดวกในการสร้างตัวอย่างกิ๊บส์เนื่องจากเงื่อนไขแบบเต็มจะเป็นตระกูลที่รู้จัก

ฉันค้นหาการวิเคราะห์ข้อมูลแบบเบย์รุ่นที่ 3 ทางอิเล็กทรอนิกส์และไม่พบการอ้างอิงถึงกึ่งคอนจูเกตก่อน ฉันเดาว่ามันมีความหมายเหมือนกันกับการผันคำกริยาที่มีเงื่อนไข แต่ถ้าคุณให้การอ้างอิงถึงการใช้ในหนังสือเล่มนี้ฉันควรจะสามารถให้คำจำกัดความได้

ฉันต้องการใช้หลายตัวแปรเป็นตัวอย่าง

จำได้ว่าเป็นโอกาสที่จะได้รับจาก

$$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$$

เพื่อที่จะหาโอกาสก่อนหน้านี้เราอาจเลือก

$$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$$

ฉันรับรองว่าคุณจะไม่ต้องกังวลกับในตอนนี้ มันเป็นเพียงพารามิเตอร์ของการแจกแจงก่อนหน้า$\mu_0,\Lambda_0,\nu_0,S_0$

อย่างไรก็ตามสิ่งสำคัญคือว่าสิ่งนี้ไม่ได้เชื่อมต่อกับความน่าจะเป็น เพื่อดูว่าทำไมฉันต้องการอ้างถึงข้อมูลอ้างอิงที่ฉันพบทางออนไลน์

โปรดทราบว่าและปรากฏขึ้นพร้อมกันในลักษณะที่ไม่มีการแยกตัวประกอบในโอกาส ดังนั้นพวกเขาจะถูกรวมเข้าด้วยกันในหลัง$\mu$$\Sigma$

การอ้างอิงคือ "การเรียนรู้ของเครื่อง: มุมมองที่น่าจะเป็น" โดย Kevin P. Murphy นี่คือการเชื่อมโยง คุณอาจพบข้อความอ้างอิงในส่วน 4.6 (การอนุมานพารามิเตอร์ของ MVN) ที่ด้านบนของหน้า 135

เพื่อพูดต่อ

ข้างต้นก่อนหน้านี้บางครั้งเรียกว่ากึ่งคอนจูเกตหรือคอนจูเกตตามเงื่อนไขเนื่องจากทั้ง conditionals,และเป็นคอนจูเกตแบบแยกกัน ในการสร้างคอนจูเกตแบบเต็มก่อนหน้านี้เราจำเป็นต้องใช้ก่อนที่และจะขึ้นอยู่กับแต่ละอื่น ๆ เราจะใช้การกระจายแบบฟอร์มร่วมกันP ( Σ | μ ) μ $p(\mu|\Sigma)$$p(\Sigma|\mu)$$\mu$$\Sigma$

$$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$$

แนวคิดนี่คือการกระจายก่อนหน้านี้ครั้งแรก

$$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$$

สมมติว่าและแยกกันได้ (หรือเป็นอิสระในแง่หนึ่ง) อย่างไรก็ตามเราสังเกตว่าในฟังก์ชั่นความน่าจะเป็นและไม่สามารถแยกตัวประกอบออกจากกันได้ซึ่งหมายความว่าพวกมันจะไม่สามารถแยกออกจากด้านหลังได้ (Recall, ) สิ่งนี้แสดงให้เห็นว่าด้านหลังของ "un-separable" และ "separable" ก่อนหน้านี้ไม่ได้ผันกัน ในทางกลับกันโดยเขียนใหม่Σ μ Σ ( หลัง) ~ ( ก่อน) ( โอกาส$\mu$$\Sigma$$\mu$$\Sigma$$(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

$$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$$

เช่นว่าและขึ้นอยู่กับแต่ละอื่น ๆ (ผ่าน ) คุณจะได้รับคอนจูเกตก่อนซึ่งมีชื่อเป็นกึ่งผัน-ก่อน หวังว่านี้จะตอบคำถามของคุณΣ พี( μ | Σ $\mu$$\Sigma$$p(\mu|\Sigma)$

ป.ล. : ข้อมูลอ้างอิงที่เป็นประโยชน์อีกอย่างที่ฉันใช้คือ "หลักสูตรแรกในวิธีการทางสถิติแบบเบย์" โดย Peter D. Hoff นี่คือลิงค์ไปยังหนังสือ คุณอาจพบเนื้อหาที่เกี่ยวข้องในส่วนที่ 7 เริ่มต้นจากหน้า 105 และเขามีคำอธิบายที่ดีมาก (และสัญชาตญาณ) เกี่ยวกับการแจกแจงปกติแบบแปรผันเดี่ยวในส่วนที่ 5 เริ่มต้นจากหน้า 67 ซึ่งจะได้รับการเสริมอีกครั้งในส่วนที่ 7 MVN

ถ้าเป็นคลาสของการแจกแจงตัวอย่างและเป็นคลาสของการแจกแจงก่อนหน้าสำหรับดังนั้นคลาสคือsemiconjugateสำหรับถ้า สำหรับทั้งหมดและที่และไม่ได้อยู่ในระดับPp ( y | θ , ϕ ) P θ P F p ( θ | y , ϕ ) ∈ P p ( ⋅ | θ , ϕ ) ∈ F p ( θ , ϕ ) = p ( θ ) × p ( ϕ ) p ( θ ) ∈ P p ( ϕ ) $F$$p(y|θ,ϕ)$$P$$θ$$P$$F$$p(θ|y,ϕ)∈P$$p(⋅|θ,ϕ)∈F$$p(θ,ϕ)=p(θ)\times p(ϕ)$$p(θ)∈P$$p(ϕ)$$P$