ค่าเฉลี่ยตัวแปรสุ่มแบบตัวแปรไม่แปรจะเท่ากับจำนวนอินทิกรัลของฟังก์ชันควอไทล์เสมอหรือไม่?

17

ฉันเพิ่งสังเกตเห็นว่าการรวมฟังก์ชั่นควอไทล์ของตัวแปรสุ่ม (ตัวแปรผกผัน cdf) แบบ univariate จาก p = 0 ถึง p = 1 ทำให้เกิดค่าเฉลี่ยของตัวแปร ฉันไม่เคยได้ยินความสัมพันธ์นี้มาก่อนดังนั้นฉันจึงสงสัยว่า: เป็นเช่นนี้เสมอหรือไม่ ถ้าเป็นเช่นนั้นความสัมพันธ์นี้เป็นที่รู้จักกันอย่างกว้างขวาง?

นี่คือตัวอย่างในไพ ธ อน:

from math import sqrt
from scipy.integrate import quad
from scipy.special import erfinv

def normalPdf(x, mu, sigma):
    return 1.0 / sqrt(2.0 * pi * sigma**2.0) * exp(-(x - mu)**2.0 / (2.0 * sigma**2.0))

def normalQf(p, mu, sigma):
    return mu + sigma * sqrt(2.0) * erfinv(2.0 * p - 1.0)

mu = 2.5
sigma = 1.3
quantileIntegral = quad(lambda p: quantile(p,mu,sigma), 0.0, 1.0)[0]
print quantileIntegral # Prints 2.5.

mean pdf quantile-function

— Tyler Streeter
แหล่งที่มา

26

ให้ $F$ เป็น CDF ของตัวแปรสุ่ม $X$ ดังนั้น CDF ผกผันสามารถเขียน $F^{-1}$ ได้ อินทิกรัลของคุณทำการแทน $p = F(x)$ , $dp = F'(x)dx = f(x)dx$ เพื่อรับ

\int_{0}^{1} F^{- 1} (p) d p = \int_{- \infty}^{\infty} x f (x) d x = E_{F} [X] .

$\int_0^1F^{-1}(p)dp = \int_{-\infty}^{\infty}x f(x) dx = \mathbb{E}_F[X].$

สิ่งนี้ใช้ได้สำหรับการแจกแจงแบบต่อเนื่อง ต้องใช้ความระมัดระวังสำหรับการแจกแจงอื่น ๆ เนื่องจาก CDF ผกผันไม่ได้นิยามที่ไม่ซ้ำ

แก้ไข

$F$ $\Pr_F(x)$ $x$

รูปที่ 1

ตัวเลขนี้แสดงให้เห็นว่า CDF ของน Bernoulliการกระจายปรับขนาดโดย2นั่นคือตัวแปรสุ่มมีความน่าจะเป็นของเท่ากับและน่าจะเป็นของของเท่ากับ2ความสูงของการกระโดดที่และให้ความน่าจะเป็น ความคาดหวังของตัวแปรนี้เห็นได้ชัดว่ามีค่าเท่ากับ3/4 $(2/3)$ $2$ $1/3$ $0$ $2/3$ $2$ $0$ $2$ $0\times(1/3)+2\times(2/3)=4/3$

เราสามารถกำหนด "inverse CDF"โดยต้องการ $F^{-1}$

F^{- 1} (p) = x if F (x) \geq p and F (x^{-}) < p .

$F^{-1}(p) = x \text{ if } F(x) \ge p \text{ and } F(x^{-}) \lt p.$

นี่หมายความว่าเป็นฟังก์ชันขั้นตอนด้วย สำหรับท่านใดที่เป็นไปได้ค่าของตัวแปรสุ่มจะบรรลุค่ามากกว่าช่วงเวลาของความยาว(x) ดังนั้นมันจึงได้มาจากการรวมค่าซึ่งเป็นเพียงความคาดหวัง $F^{-1}$ $x$ $F^{-1}$ $x$ $\Pr_F(x)$ $x\Pr_F(x)$

รูปที่ 2

นี่คือกราฟของ CDF ผกผันของตัวอย่างก่อนหน้า การกระโดดของและใน CDF กลายเป็นเส้นแนวนอนของความยาวเหล่านี้ที่ความสูงเท่ากับและซึ่งเป็นค่าที่ความน่าจะเป็นที่สอดคล้องกัน (Inverse CDF ไม่ได้กำหนดไว้เกินช่วงเวลา ) อินทิกรัลคือผลรวมของรูปสี่เหลี่ยมผืนผ้าสองอันหนึ่งในความสูงและฐานอีกอันหนึ่งของความสูงและฐานรวมเป็นเหมือนก่อน $1/3$ $2/3$ $0$ $2$ $[0,1]$ $0$ $1/3$ $2$ $2/3$ $4/3$

โดยทั่วไปแล้วสำหรับการผสมของการกระจายอย่างต่อเนื่องและไม่ต่อเนื่องเราจำเป็นต้องกำหนดผกผัน CDF ให้ขนานกับสิ่งก่อสร้างนี้: ในการกระโดดแต่ละจุดของความสูงเราจะต้องสร้างเส้นแนวนอนยาวตามสูตรก่อนหน้านี้ $p$ $p$

— whuber
แหล่งที่มา

คุณทำผิดพลาดในการเปลี่ยนแปลงของตัวแปร x มาจากไหน?

— Mascarpone

3

@Marparpone โปรดอ่านข้อความก่อนหน้าสมการ ฉันไม่คิดว่าจะมีความผิดพลาดในการเปลี่ยนแปลงของตัวแปร :-) แต่ถ้าคุณคิดว่ามันจะทำให้การอธิบายชัดเจนขึ้นฉันก็ยินดีที่จะชี้ให้เห็นว่าเมื่อแล้ว(P) ฉันไม่คิดว่ามันจำเป็น

p = F (x)

$p=F(x)$

x = F^{- 1} (p)

$x=F^{-1}(p)$

— whuber

ตอนนี้ฉันได้รับแล้ว),

— Mascarpone

+1 Whuber: ขอบคุณ! คุณสามารถอธิบายรายละเอียดเพื่อที่จะใช้สูตรที่คุณให้ไว้ได้อย่างไรวิธีดูแลการแจกแจงอื่นที่ CDF ผกผันไม่มีคำจำกัดความเฉพาะ

— StackExchange สำหรับทั้งหมด

1

เพื่อหลีกเลี่ยงการพิจารณาไม่สบายใจดังกล่าวเกี่ยวกับแปรผกผันกันหลอกแปรผกผันกันและชอบและพร้อมสำหรับการทั่วไปในทุกช่วงเวลาให้ดูที่นี่

— ทำ

9

ผลลัพธ์ที่เท่าเทียมกันเป็นที่รู้จักกันดีในการวิเคราะห์การอยู่รอด : อายุการใช้งานที่คาดไว้คือที่ฟังก์ชั่นการอยู่รอดคือวัดตั้งแต่แรกเกิดที่ 0 (สามารถขยายได้อย่างง่ายดายเพื่อครอบคลุมค่าลบของ .)

\int_{t = 0}^{\infty} S (t) d t

$\int_{t=0}^\infty S(t) \; dt$

S (t) = Pr (T > t)

$S(t) = \Pr(T \gt t)$

t = 0

$t=0$

t

$t$

ป้อนคำอธิบายรูปภาพที่นี่

ดังนั้นเราสามารถเขียนสิ่งนี้เป็นแต่นี่คือ ตามที่ปรากฏในภาพสะท้อนต่าง ๆ ของพื้นที่ที่เป็นปัญหา

\int_{t = 0}^{\infty} (1 - F (t)) d t

$\int_{t=0}^\infty (1-F(t)) \; dt$

\int_{q = 0}^{1} F^{- 1} (q) d q

$\int_{q=0}^1 F^{-1}(q) \; dq$

ป้อนคำอธิบายรูปภาพที่นี่

— เฮนรี่
แหล่งที่มา

1

ฉันชอบรูปภาพและโดยสัญชาตญาณรู้สึกว่ามีความคิดที่ดีแฝงตัวอยู่ที่นี่ - ฉันรักความคิดนั้น - แต่ฉันไม่เข้าใจสิ่งเหล่านี้โดยเฉพาะ คำอธิบายจะเป็นประโยชน์ สิ่งหนึ่งที่หยุดฉันในเส้นทางของฉันคือความคิดของการพยายามขยายอินทิกรัลของเป็น : มันต้องแตกต่าง

(1 - F (t)) d t

$(1-F(t))dt$

- \infty

$-\infty$

— whuber

@whuber: หากคุณต้องการขยายเป็นลบคุณจะได้รับdtโปรดทราบว่าหากสิ่งนี้มาบรรจบกับสมมาตรการกระจายประมาณนั่นคือดังนั้นจึงง่ายที่จะเห็นว่าความคาดหวังนั้นเป็นศูนย์ รับผลรวมมากกว่าความแตกต่างให้เบี่ยงเบนสัมบูรณ์เฉลี่ยประมาณ0

t

$t$

\int_{t = 0}^{\infty} (1 - F (t)) d t - \int_{t = - \infty}^{0} F (t) d t

$\int_{t=0}^\infty (1-F(t)) \; dt - \int_{t=-\infty}^0 F(t) \; dt$

0

$0$

F (t) = 1 - F (- t)

$F(t)=1-F(-t)$

\int_{t = 0}^{\infty} (1 - F (t)) d t + \int_{t = - \infty}^{0} F (t) d t

$\int_{t=0}^\infty (1-F(t)) \; dt + \int_{t=-\infty}^0 F(t) \; dt$

0

$0$

— Henry

ถ้าคุณชอบไดอะแกรมคุณอาจจะสนใจในบทความนี้ปี 1988 โดยลี: คณิตศาสตร์ของส่วนเกินของความคุ้มครองการสูญเสียและวิธีการจัดอันดับย้อนหลัง-A แบบกราฟิก

— Avraham

4

เรากำลังประเมิน:

enter image description here

ลองเปลี่ยนตัวแปรง่ายๆ:

enter image description here

และเราสังเกตเห็นว่าตามคำนิยามของ PDF และ CDF:

enter image description here

เกือบทุกที่ ดังนั้นเราจึงมีความหมายของค่าที่คาดหวัง:

enter image description here

— mascarpone
แหล่งที่มา

ในบรรทัดสุดท้ายฉันอธิบายความหมายของค่าที่คาดหวังได้ชัดเจนขึ้น เกือบทุกที่อ้างถึงสมการข้างต้นล่าสุด en.wikipedia.org/wiki/Almost_everywhere

— Mascarpone

1

แก้ไข, thanx :)

— Mascarpone

3

สำหรับตัวแปรใด ๆ จริงมูลค่าสุ่มกับ CDF มันเป็นที่รู้จักกันดีว่ามีกฎหมายเดียวกันกว่าเมื่อเป็นเครื่องแบบ )ดังนั้นความคาดหวังของเมื่อใดก็ตามที่มีอยู่ก็เหมือนกับความคาดหวังของ : $X$ $F$ $F^{-1}(U)$ $X$ $U$ $(0,1)$ $X$ $F^{-1}(U)$ การเป็นตัวแทนถือสำหรับ cdfทั่วไปโดยให้เป็นอินเวอร์สผกผันด้านซ้ายอย่างต่อเนื่องของในกรณีที่ไม่สามารถย้อนกลับได้

E (X) = E (F^{- 1} (U)) = \int_{0}^{1} F^{- 1} (u) d u .

$E(X)=E(F^{-1}(U))=\int_0^1 F^{-1}(u)\mathrm{d}u.$

X \sim F^{- 1} (U)

$X \sim F^{-1}(U)$

F

$F$

F^{- 1}

$F^{-1}$

F

$F$

F

$F$

— Stéphane Laurent
แหล่งที่มา

1

โปรดทราบว่าถูกกำหนดเป็นและเป็นฟังก์ชั่นต่อเนื่องทางขวา ถูกกำหนดให้เป็น ทำให้รู้สึกเพราะของความต่อเนื่องทางด้านขวา Let จะเป็นเครื่องแบบกระจายบน ]คุณสามารถยืนยันได้อย่างง่ายดายว่า $F(x)$ $P(X\le x)$ $F^{-1}$

F^{- 1} (p) = min (x | F (x) \geq p) .

$\begin{equation} F^{-1}(p)=\min(x|F(x)\ge p). \end{equation}$

min

$\min$

U

$U$

[0, 1]

$[0, 1]$

มี CDF เดียวกับ

ซึ่งเป็นF

สิ่งนี้ไม่ต้องการให้

ต่อเนื่อง ดังนั้น

พี

อินทิกรัลคือRiemann – Stieltjes อินทิกรัล ข้อสมมติฐานเดียวที่เราต้องการคือค่าเฉลี่ยของ

มีอยู่ (

F^{- 1} (U)

$F^{-1}(U)$

X

$X$

F

$F$

X

$X$

E (X) = E (F^{- 1} (U)) = \int_{0}^{1} F^{- 1} (p) d p

$E(X)=E(F^{-1}(U))=\int_0^1F^{-1}(p)\mathop{dp}$

X

$X$

)

E | X | < \infty

$E|X|<\infty$

— WWang
แหล่งที่มา

นั่นเป็นคำตอบเดียวกับฉัน

— Stéphane Laurent