อะไรจะเป็นตัวอย่างของแบบจำลองที่เรียบง่ายและมีโอกาสเป็นไปไม่ได้?

ตัวอย่างการคำนวณแบบเบย์เป็นเทคนิคเจ๋งจริงๆสำหรับกระชับพื้นรูปแบบใดสุ่มไว้สำหรับรุ่นที่น่าจะเป็นว่ายาก (พูด, คุณสามารถลิ้มลองจากแบบจำลองถ้าคุณแก้ไขพารามิเตอร์ แต่คุณไม่สามารถตัวเลขอัลกอริทึมหรือการวิเคราะห์คำนวณความเป็นไปได้) เมื่อแนะนำการคำนวณแบบเบย์โดยประมาณ (ABC) ให้กับผู้ชมเป็นเรื่องดีที่จะใช้แบบจำลองตัวอย่างที่เรียบง่าย แต่ก็ยังน่าสนใจอยู่บ้างและมีความเป็นไปได้ยาก

อะไรจะเป็นตัวอย่างที่ดีของแบบจำลองง่ายๆที่ยังมีโอกาสที่ดื้อดึง?

— Rasmus Bååth
แหล่งที่มา

ตัวอย่างถุงเท้าของคุณนั้นเรียบง่ายและดื้อดึงที่สุด ...

— ซีอาน

Ps: ลิงค์ตัวอย่างถุงเท้า ...

— ซีอาน

ฉันหวังว่าถุงเท้าจะดื้อดึง แต่คุณพิสูจน์ว่ามันไม่ถูกต้องใช่ไหม :)

— Rasmus Bååth

นี่เป็นคำถามที่ดี! มีตัวอย่างของเล่นต่าง ๆ ในวรรณคดี แต่พวกเขารู้สึกประดิษฐ์มาให้ฉัน มันจะดีถ้ามีโมเดลที่เรียบง่ายซึ่งได้รับแรงบันดาลใจจากแอปพลิเคชันจริงที่มีความเป็นไปได้ยาก ฉันจำได้ว่าเคยเห็น David Cox นำเสนอบางอย่างตามบรรทัดเหล่านี้ แต่ฉันไม่ได้เห็นมันเผยแพร่ ...

— Dennis Prangle

คำตอบ:

การแจกแจงสองแบบที่ใช้บ่อยในวรรณคดี ได้แก่ :

The g-and-k distribution. This is defined by its quantile function (inverse cdf) but has an intractable density. Rayner and MacGillivray (2002) is a good overview of these, and one of many ABC papers which use it as a toy example is Drovandi and Pettitt (2011).
Alpha stable distributions. These are defined by their characteristic function but have an intractable density except for a couple of special cases. This has applications in finance and is often used in sequential ABC papers, for example Yildirim et al (2013).

— Dennis Prangle
แหล่งที่มา

The g-and-k distribution is a very good example where the quantile function is simple to express while the likelihood function is not available at all:

Q (u; A, B, g, k) = A + B [1 + c \frac{1 - \exp {- g Φ (u)}}{1 + \exp {- g Φ (u)}}] {1 + Φ (u)^{2}}^{k} Φ (u)

$Q(u;A,B,g,k)=A + B\left[1+c\dfrac{1-\exp\{-g\Phi(u)\}}{1+\exp\{-g\Phi(u)\}}\right]\{1+\Phi(u)^2\}^k\Phi(u)$ The

α

$\alpha$ -stable distributions are less simple to explain to newbies.

— Xi'an

Could someone add examples of situations one would model with these distributions?

— conjectures

One example I came through a few weeks ago and quite like for its simplicity is the following one: given an original normal dataset

x_{1}, \dots, x_{n} \overset{iid}{\sim} N (θ, σ^{2}),

$x_1,\ldots,x_n\stackrel{\text{iid}}{\sim}\text{N}(\theta,\sigma^2)\,,$ the reported data is (alas!) made of the two-dimensional summary

S (x_{1}, \dots, x_{n}) = (med (x_{1}, \dots, x_{n}), mad (x_{1}, \dots, x_{n})),

$S(x_1,\ldots,x_n)=(\text{med}(x_1,\ldots,x_n),\text{mad}(x_1,\ldots,x_n))\,,$ which is not sufficient and which does not have a closed form joint density.

— Xi'an
แหล่งที่มา

Just because the joint density is complicated to write down does not mean it does not have a closed form! "Intractable" is starting to seem like a matter of opinion in this thread. Perhaps you could clear that up by explaining what you mean by "intractable"?

— whuber

Since I do no of anyone who can compute this density, I call it intractable... Since I have no computer program that can produce the numerical value of this likelihood, I am forced to use an ABC algorithm.

— Xi'an

ABC does not compute the likelihood but uses simulations from the data to provide a sample of parameters that is an approximation of the true posterior. At the end of the day/computation, I am not the wiser about the likelihood function and I cannot produce a numerical value for

L (θ | x_{1}, \dots, x_{n})

$L(\theta|x_1,\ldots,x_n)$ .

— Xi'an

@whuber If one could successfully compute the likelihood, the example would not be very suitable for demonstrating an algorithm for approximating posteriors without computing likelihood

\times

$\times$ prior products.

— Juho Kokkala

@whuber I think your interpretation (2) in the comment beginning "What I am wondering" is at least essentially the intended one. However, I don't understand your last remark "unless your ABC algorithm is taking a long time to execute" - the point of the question is that the expensive likelihood evaluation will be avoided by using ABC instead.

— Juho Kokkala