ความเป็นไปได้ของ Wikipedia

ฉันมีคำถามง่ายๆเกี่ยวกับ "ความน่าจะเป็นตามเงื่อนไข" และ "โอกาส" (ฉันได้สำรวจคำถามนี้ที่นี่แล้วแต่ไม่มีประโยชน์)

มันเริ่มต้นจากหน้า Wikipedia ตามความเป็นไปได้ พวกเขาพูดแบบนี้:

ความน่าจะเป็นของชุดของค่าพารามิเตอร์, $\theta$ , ให้ผลลัพธ์$x$ , เท่ากับความน่าจะเป็นของผลลัพธ์ที่สังเกตได้จากค่าพารามิเตอร์เหล่านั้น, นั่นคือ

$$\mathcal{L}(\theta \mid x) = P(x \mid \theta)$$

ที่ดี! ดังนั้นในภาษาอังกฤษฉันอ่านสิ่งนี้ว่า: "ความน่าจะเป็นของพารามิเตอร์ที่เท่ากับทีต้า, รับข้อมูล X = x, (ทางซ้ายมือ), เท่ากับความน่าจะเป็นของข้อมูล X ที่เท่ากับ x, เนื่องจากพารามิเตอร์นั้น เท่ากับทีต้า " ( ตัวหนาเป็นของฉันสำหรับการเน้น )

อย่างไรก็ตามไม่น้อยกว่า 3 บรรทัดในหน้าเดียวกันรายการ Wikipedia ก็จะกล่าวต่อไปว่า:

ให้$X$เป็นตัวแปรสุ่มที่มีต่อเนื่องกระจาย $p$ขึ้นอยู่กับพารามิเตอร์θ$\theta$จากนั้นฟังก์ชั่น

$$\mathcal{L}(\theta \mid x) = p_\theta (x) = P_\theta (X=x), \,$$

ถือว่าเป็นหน้าที่ของ$\theta$จะเรียกว่าฟังก์ชั่นความเป็นไปได้ (จาก$\theta$ได้รับผล$x$ของตัวแปรสุ่ม $X$ ) บางครั้งความน่าจะเป็นของค่า$x$ของ$X$สำหรับค่าพารามิเตอร์$\theta$เขียนเป็น$P(X=x\mid\theta)$ ; มักเขียนเป็น$P(X=x;\theta)$เพื่อเน้นว่าสิ่งนี้แตกต่างจาก $\mathcal{L}(\theta \mid x)$ซึ่งไม่ใช่ความน่าจะเป็นแบบมีเงื่อนไขเนื่องจาก$\theta$เป็นพารามิเตอร์และไม่ใช่ตัวแปรสุ่ม

( ตัวหนาเป็นของฉันสำหรับการเน้น ) ดังนั้นในการอ้างอิงแรกเราได้รับการบอกเล่าอย่างแท้จริงเกี่ยวกับความน่าจะเป็นแบบมีเงื่อนไขของ$P(x\mid\theta)$แต่หลังจากนั้นทันทีเราจะได้รับการบอกว่านี่ไม่ใช่ความน่าจะเป็นตามเงื่อนไขและควรเขียนเป็น$P(X = x; \theta)$ ?

ดังนั้นอันไหนคือ ความน่าจะเป็นที่เป็นไปได้จริงหมายถึงความน่าจะเป็นตามเงื่อนไขที่อ้างถึงครั้งแรกหรือไม่? หรือมันหมายถึงความน่าจะเป็นที่เรียบง่ายโดยอ้างคำพูดที่สอง?

แก้ไข:

จากคำตอบที่เป็นประโยชน์และลึกซึ้งทั้งหมดที่ฉันได้รับจนถึงตอนนี้ฉันได้สรุปคำถามของฉันแล้วและความเข้าใจของฉันก็เป็นเช่นนั้น:

• ในภาษาอังกฤษเราพูดว่า: "ความน่าจะเป็นคือการทำงานของพารามิเตอร์รับข้อมูลที่สังเกตได้" ในคณิตศาสตร์เราเขียนมันเป็น: $L(\mathbf{\Theta}= \theta \mid \mathbf{X}=x)$ )
• โอกาสที่จะไม่น่าจะเป็น
• ความน่าจะเป็นไม่ใช่การกระจายความน่าจะเป็น
• ความน่าจะเป็นไม่ใช่ความน่าจะเป็น
• ความน่าจะเป็นอย่างไรก็ตามในภาษาอังกฤษ : "ผลิตภัณฑ์ A ในการแจกแจงความน่าจะเป็น (กรณีต่อเนื่อง) หรือผลิตภัณฑ์ของมวลชนน่าจะเป็น (กรณีที่ไม่ต่อเนื่อง) ที่ที่และแปรโดยΘ = θ ." ในทางคณิตศาสตร์แล้วเราก็เขียนมันเป็นเช่น: L ( Θ = θ | X = x ) = F ( X = x ; Θ = θ ) (กรณีอย่างต่อเนื่องที่ฉเป็น PDF) และเป็นL ( Θ$\mathbf{X} = x$$\mathbf{\Theta}= \theta$$L(\mathbf{\Theta}= \theta \mid \mathbf{X}=x) = f(\mathbf{X}=x ; \mathbf{\Theta}= \theta)$$f$
  (กรณีที่ไม่ต่อเนื่องโดยที่ Pคือมวลความน่าจะเป็น) ของที่นี่คือที่ที่ไม่มีจุดใด ๆ$L(\mathbf{\Theta}= \theta \mid \mathbf{X}=x) = P(\mathbf{X}=x ; \mathbf{\Theta}= \theta)$$P$คือความน่าจะเป็นแบบมีเงื่อนไขที่เข้ามาเล่น
• ในทฤษฎีบทเบย์เรามี: ) เรียกขานเราบอกว่า "P(X=x∣Θ=θ)เป็นโอกาส" อย่างไรก็ตามนี่ไม่เป็นความจริงเนื่องจากΘอาจเป็นตัวแปรสุ่มจริง ดังนั้นสิ่งที่เราสามารถพูดได้อย่างถูกต้องคือว่าคำนี้P(X=x∣Θ=θ)เป็นเพียง "คล้าย" กับโอกาส (?) [เกี่ยวกับเรื่องนี้ฉันไม่แน่ใจ]$P(\mathbf{\Theta}= \theta \mid \mathbf{X}=x) = \frac{P(\mathbf{X}=x \mid \mathbf{\Theta}= \theta) \ P(\mathbf{\Theta}= \theta)}{P(\mathbf{X}=x)}$$P(\mathbf{X}=x \mid \mathbf{\Theta}= \theta)$$\mathbf{\Theta}$$P(\mathbf{X}=x \mid \mathbf{\Theta}= \theta)$

แก้ไขครั้งที่สอง:

จากคำตอบของ @amoebas ฉันได้เขียนความคิดเห็นล่าสุดของเขา ฉันคิดว่ามันค่อนข้างชัดเจนและฉันคิดว่ามันเป็นการล้างความขัดแย้งหลักที่ฉันมี (ความเห็นเกี่ยวกับภาพ)

แก้ไข III:

ฉันขยายความคิดเห็น @amoebas ไปยังกรณี Bayesian ในขณะนี้เช่นกัน:

ฉันคิดว่ามันเป็นขนที่ไม่จำเป็น

เงื่อนไขความน่าจะเป็นของxรับปีถูกกำหนดให้เป็นเวลาสองตัวแปรสุ่มXและYสละค่าxและy ที่ แต่เรายังสามารถพูดถึงความน่าจะเป็นP ( x ∣ θ )ของx ที่ให้θโดยที่θไม่ใช่ตัวแปรสุ่ม แต่เป็นพารามิเตอร์$P(x\mid y)\equiv P(X=x \mid Y=y)$$x$$y$$X$$Y$$x$$y$$P(x\mid\theta)$$x$$\theta$$\theta$

โปรดทราบว่าในทั้งสองกรณีสามารถใช้คำเดียวกัน "ที่ได้รับ" และสัญกรณ์เดียวกันได้ ไม่จำเป็นต้องคิดค้นสัญลักษณ์ที่แตกต่างกัน ยิ่งไปกว่านั้นสิ่งที่เรียกว่า "พารามิเตอร์" และสิ่งที่เรียกว่า "ตัวแปรสุ่ม" สามารถขึ้นอยู่กับปรัชญาของคุณ$P(\cdot\mid\cdot)$แต่คณิตศาสตร์จะไม่เปลี่ยนแปลง

คำพูดแรกจากวิกิพีเดียระบุว่าตามคำจำกัดความ นี่คือการสันนิษฐานว่าθเป็นพารามิเตอร์ อ้างที่สองบอกว่าL ( θ | x )คือไม่น่าจะเป็นเงื่อนไข นี่หมายความว่าไม่ใช่ความน่าจะเป็นตามเงื่อนไขของθที่ได้รับx ; และแน่นอนมันเป็นไปไม่ได้เพราะ$\mathcal{L}(\theta \mid x) = P(x \mid \theta)$$\theta$$\mathcal{L}(\theta \mid x)$$\theta$$x$$\theta$ถือว่าเป็นพารามิเตอร์ที่นี่

ในบริบทของ Bayes theorem ทั้งและขเป็นตัวแปรสุ่ม แต่เรายังสามารถเรียกP(b∣a)"ความน่าจะเป็น" (จากa) และตอนนี้มันยังเป็นความน่าจะเป็นตามเงื่อนไขโดยสุจริต(ของ

หมายเหตุ 1:ในวรรคสุดท้าย, จะเห็นได้ชัดน่าจะเป็นเงื่อนไขของข โอกาสที่L ( a ∣ b )ถูกมองว่าเป็นหน้าที่ของa ; แต่ไม่ใช่การแจกแจงความน่าจะเป็น (หรือความน่าจะเป็นตามเงื่อนไข) ของa ! หนึ่งของมันมากกว่าไม่จำเป็นต้องเท่ากับ1 (ในขณะที่อินทิกรัลกับbทำ)$P(b\mid a)$$b$$\mathcal L(a\mid b)$$a$$a$$a$$1$$b$

Note 2: Sometimes likelihood is defined up to an arbitrary proportionality constant, as emphasized by @MichaelLew (because most of the time people are interested in likelihood ratios). This can be useful, but is not always done and is not essential.

See also What is the difference between "likelihood" and "probability"? and in particular @whuber's answer there.

I fully agree with @Tim's answer in this thread too (+1).

You already got two nice answers, but since it still seems unclear for you let me provide one. Likelihood is defined as

so we have likelihood of some parameter value $\theta$ given the data $X$. It is equal to product of probability mass (discrete case), or density (continuous case) functions $f$ of $X$ parametrized by $\theta$. Likelihood is a function of parameter given the data. Notice that $\theta$ is a parameter that we are optimizing, not a random variable, so it does not have any probabilities assigned to it. This is why Wikipedia states that using conditional probability notation may be ambiguous, since we are not conditioning on any random variable. On another hand, in Bayesian setting $\theta$ is a random variable and does have distribution, so we can work with it as with any other random variable and we can use Bayes theorem to calculate the posterior probabilities. Bayesian likelihood is still likelihood since it tells us about likelihood of data given the parameter, the only difference is that the parameter is considered as random variable.

If you know programming, you can think of likelihood function as of overloaded function in programming. Some programming languages allow you to have function that works differently when called using different parameter types. If you think of likelihood like this, then by default if takes as argument some parameter value and returns likelihood of data given this parameter. On another hand, you can use such function in Bayesian setting, where parameter is random variable, this leads to basically the same output, but that can be understood as conditional probability since we are conditioning on random variable. In both cases the function works the same, just you use it and understand it a little bit differently.

// likelihood "as" overloaded function
Default Likelihood(Numeric theta, Data X) {
    return f(X, theta); // returns likelihood, not probability
}

Bayesian Likelihood(RandomVariable theta, Data X) {
    return f(X, theta); // since theta is r.v., the output can be
                        // understood as conditional probability
}

Moreover, you rather won't find Bayesians who write Bayes theorem as

...this would be very confusing. First, you would have $\theta|X$ on both sides of equation and it wouldn't have much sense. Second, we have posterior probability to know about probability of $\theta$ given data (i.e. the thing that you would like to know in likelihoodist framework, but you don't when $\theta$ is not a random variable). Third, since $\theta$ is a random variable, we have and write it as conditional probability. The $L$-notation is generally reserved for likelihoodist setting. The name likelihood is used by convention in both approaches to denote similar thing: how probability of observing such data changes given your model and the parameter.

There are several aspects of the common descriptions of likelihood that are imprecise or omit detail in a way that engenders confusion. The Wikipedia entry is a good example.

First, likelihood cannot be generally equal to a the probability of the data given the parameter value, as likelihood is only defined up to a proportionality constant. Fisher was explicit about that when he first formalised likelihood (Fisher, 1922). The reason for that seems to be the fact that there is no restraint on the integral (or sum) of a likelihood function, and the probability of observing data $x$ within a statistical model given any value of the parameter(s) is strongly affected by the precision of the data values and of the granularity of specification of the parameter values.

Second, it is more helpful to think about the likelihood function than individual likelihoods. The likelihood function is a function of the model parameter value(s), as is obvious from a graph of a likelihood function. Such a graph also makes it easy to see that the likelihoods allow a ranking of the various values of the parameter(s) according to how well the model predicts the data when set to those parameter values. Exploration of likelihood functions makes the roles of the data and the parameter values much more clear, in my opinion, than can cogitation of the various formulas given in the original question.

The use a ratio of pairs of likelihoods within a likelihood function as the relative degree of support offered by the observed data for the parameter values (within the model) gets around the problem of unknown proportionality constants because those constants cancel in the ratio. It is important to note that the constants would not necessarily cancel in a ratio of likelihoods that come from separate likelihood functions (i.e. from different statistical models).

Finally, it is useful to be explicit about the role of the statistical model because likelihoods are determined by the statistical model as well as the data. If you choose a different model you get a different likelihood function, and you can get a different unknown proportionality constant.

Thus, to answer the original question, likelihoods are not a probability of any sort. They do not obey Kolmogorov's axioms of probability, and they play a different role in statistical support of inference from the roles played by the various types of probability.

1. Fisher (1922) On the mathematical foundations of statistics http://rsta.royalsocietypublishing.org/content/222/594-604/309

Wikipedia should have said that $L(\theta)$ is not a conditional probability of $\theta$ being in some specified set, nor a probability density of $\theta$. Indeed, if there are infinitely many values of $\theta$ in the parameter space, you can have

"I read this as: "The likelihood of parameters equaling theta, given data X = x, (the left-hand-side), is equal to the probability of the data X being equal to x, given that the parameters are equal to theta". (Bold is mine for emphasis)."

It's the probability of the set of observations given the parameter is theta. This is perhaps confusing because they write $P(x|\theta)$ but then $\mathcal{L}(\theta|x)$.

The explanation (somewhat objectively) implies that $\theta$ is not a random variable. It could, for example, be a random variable with some prior distribution in a Bayesian setting. The point however, is that we suppose $\theta=\theta$, a concrete value and then make statements about the likelihood of our observations. This is because there is only one true value of $\theta$ in whatever system we're interested in.