ความสัมพันธ์ระหว่างการแจกแจงแกมม่ากับการแจกแจงแบบปกติ


26

ฉันเพิ่งพบว่าจำเป็นต้องได้รับ PDF สำหรับสแควร์ของตัวแปรสุ่มปกติที่มีค่าเฉลี่ย 0 ไม่ว่าด้วยเหตุผลใดก็ตามฉันเลือกที่จะไม่ทำให้ค่าความแปรปรวนเป็นปกติก่อน ถ้าฉันทำอย่างถูกต้องแล้วไฟล์ PDF นี้เป็นดังนี้:

N2(x;σ2)=1σ2πxex2σ2

ฉันสังเกตเห็นว่านี่เป็นความจริงเพียงแค่การกระจายตัวของแกมม่า:

N2(x;σ2)=Gamma(x;12,2σ2)

และจากข้อเท็จจริงที่ว่าผลรวมของ gammas สองตัว (ที่มีพารามิเตอร์มาตราส่วนเดียวกัน) เท่ากับแกมม่าอีกอันหนึ่งมันก็จะบอกว่าแกมม่านั้นเทียบเท่ากับผลรวมของตัวแปรสุ่มปกติkกำลังสอง

NΣ2(x;k,σ2)=Gamma(x;k2,2σ2)

ฉันรู้สึกประหลาดใจเล็กน้อย แม้ว่าฉันจะรู้ว่าการแจกแจงχ2 - การกระจายของผลรวมของRVs มาตรฐานแบบธรรมดา - เป็นกรณีพิเศษของแกมม่า, ฉันไม่ได้ตระหนักว่าแกมม่านั้นเป็นเพียงลักษณะทั่วไปที่อนุญาตให้ใช้ผลรวมของตัวแปรสุ่มปกติ ของความแปรปรวนใด ๆ สิ่งนี้นำไปสู่ลักษณะอื่น ๆ ที่ฉันไม่เคยพบมาก่อนเช่นการแจกแจงแบบเอ็กซ์โพเนนเชียลเทียบเท่ากับผลรวมของการแจกแจงแบบปกติสองกำลังสอง

ทั้งหมดนี้ค่อนข้างลึกลับสำหรับฉัน การกระจายตัวแบบพื้นฐานเป็นพื้นฐานของการกระจายตัวของแกมม่าหรือไม่ในลักษณะที่ฉันอธิบายไว้ข้างต้น? ทรัพยากรส่วนใหญ่ที่ฉันตรวจสอบไม่ได้เอ่ยถึงว่าการแจกแจงสองอย่างนั้นมีความเกี่ยวข้องกันภายในเช่นนี้หรือแม้กระทั่งสำหรับเรื่องนั้นอธิบายว่าแกมม่าได้รับมาอย่างไร สิ่งนี้ทำให้ฉันคิดว่าความจริงระดับต่ำกว่าอยู่ที่การเล่นที่ฉันได้เน้นเพียงวิธีที่ซับซ้อน?


6
หนังสือระดับปริญญาตรีจำนวนมากเกี่ยวกับทฤษฎีความน่าจะเป็นที่กล่าวถึงผลลัพธ์ข้างต้นทั้งหมด แต่บางทีตำราสถิติไม่ครอบคลุมความคิดเหล่านี้? ในกรณีใด ๆตัวแปรสุ่มY ฉันเป็นเพียงσ X ฉันที่X ฉันเป็นมาตรฐานตัวแปรปกติแบบสุ่มและอื่น ๆ (สำหรับตัวแปร IID) Σ ฉันY 2 ฉัน = σ 2 Σ ฉันX 2 ฉันเป็นเพียงแค่ปรับขนาดχ 2N(0,σ2)YiσXiXiiYi2=σ2iXi2 χ2ตัวแปรสุ่มไม่น่าแปลกใจสำหรับผู้ที่ศึกษาทฤษฎีความน่าจะเป็น
Dilip Sarwate

ฉันมาจากพื้นหลังของคอมพิวเตอร์วิสัยทัศน์ดังนั้นโดยปกติไม่พบทฤษฎีความน่าจะเป็น ไม่มีตำราของฉัน (หรือ Wikipedia) ที่พูดถึงการตีความนี้ ฉันคิดว่าฉันยังถามว่ามีอะไรพิเศษเกี่ยวกับผลรวมของการแจกแจงปกติสองรูปแบบที่ทำให้เป็นแบบจำลองที่ดีสำหรับเวลารอ (เช่นการแจกแจงแบบเอ็กซ์โปเนนเชียล) มันยังคงรู้สึกเหมือนฉันคิดถึงอะไรบางอย่างที่ลึกล้ำ
timxyz

3
ตั้งแต่วิกิพีเดียกำหนดการกระจายไคสแควร์เป็นผลรวมของกำลังสอง Normals ที่en.wikipedia.org/wiki/Chi-squared_distribution#Definitionและกล่าวถึงไคสแควร์เป็นกรณีพิเศษของรังสี (ที่en.wikipedia.org/wiki / Gamma_distribution # อื่น ๆ ) เราสามารถอ้างว่าความสัมพันธ์เหล่านี้แทบจะไม่เป็นที่รู้จักกันดี ความแปรปรวนเองเพียงแค่สร้างหน่วยของการวัด (พารามิเตอร์มาตราส่วน) ในทุกกรณีและดังนั้นจึงไม่มีความยุ่งยากเพิ่มขึ้นเลย
whuber

3
ในขณะที่ผลลัพธ์เหล่านี้เป็นที่รู้จักกันดีในด้านความน่าจะเป็นและสถิติทำได้ดีสำหรับคุณ @timxyz สำหรับการค้นพบใหม่ในการวิเคราะห์ของคุณเอง
Reinstate Monica

การเชื่อมต่อนั้นไม่ลึกลับเป็นเพราะพวกเขาเป็นสมาชิกของตระกูลการแจกแจงแบบเลขชี้กำลังสมบัติสำคัญซึ่งพวกมันสามารถมาถึงได้โดยการแทนที่ตัวแปรและ / หรือพารามิเตอร์ ดูคำตอบอีกต่อไปด้านล่างพร้อมตัวอย่าง
Carl

คำตอบ:


18

ดังที่ความเห็นของศ. Sarwate ได้กล่าวไว้ความสัมพันธ์ระหว่างกำลังสองปกติกับไคสแควร์นั้นเป็นข้อเท็จจริงที่แพร่หลายอย่างกว้างขวางซึ่งควรเป็นข้อเท็จจริงที่ว่าไคสแควร์เป็นเพียงกรณีพิเศษของการกระจายแกมม่า:

XN(0,σ2)X2/σ2χ12X2σ2χ12=Gamma(12,2σ2)

ความเท่าเทียมกันครั้งสุดท้ายตามมาจากคุณสมบัติการขยายของแกมมา

สำหรับความสัมพันธ์กับเลขชี้กำลังจะถูกต้องมันคือผลรวมของสองบรรทัดฐานศูนย์ - หมายความว่าสองเฉลี่ยแต่ละขนาดโดยความแปรปรวนของอื่น ๆที่นำไปสู่การแจกแจงเอ็กซ์โพเนนเชีย:

X1N(0,σ12),X2N(0,σ22)X12σ12+X22σ22χ22σ22X12+σ12X22σ12σ22χ22

σ22X12+σ12X22σ12σ22χ22=Gamma(1,2σ12σ22)=Exp(12σ12σ22)

e

f(x)=x[2,2]

ป้อนคำอธิบายรูปภาพที่นี่

... หรือวาดกราฟมาตรฐานความหนาแน่นปกติเทียบกับความหนาแน่นไคสแควร์: พวกมันสะท้อนและแสดงพฤติกรรมสุ่มแตกต่างกันโดยสิ้นเชิงแม้ว่าพวกมันจะเกี่ยวข้องกันอย่างใกล้ชิดตั้งแต่ที่สองคือความหนาแน่นของตัวแปรที่เป็นสี่เหลี่ยมจัตุรัสแรก ปกติอาจเป็นเสาหลักที่สำคัญมากของระบบทางคณิตศาสตร์ที่เราพัฒนาขึ้นเพื่อจำลองพฤติกรรมแบบสุ่ม - แต่เมื่อคุณยกกำลังสองมันจะกลายเป็นสิ่งอื่นโดยสิ้นเชิง


ขอบคุณที่พูดถึงคำถามในย่อหน้าสุดท้ายของฉันโดยเฉพาะ
timxyz

2
ยินดีต้อนรับคุณ ฉันต้องยอมรับว่าฉันดีใจที่คำตอบของฉันมาถึง OP ดั้งเดิม 26 เดือนหลังจากที่โพสต์คำถาม
Alecos Papadopoulos

11

ให้เราตอบคำถามที่โพสต์ทั้งหมดนี้ค่อนข้างลึกลับสำหรับฉัน การกระจายตัวแบบปกติเป็นพื้นฐานของการกระจายตัวของแกมม่าหรือไม่? ไม่มีความลึกลับจริงๆมันเป็นเพียงแค่การแจกแจงแบบปกติและการแจกแจงแกมมาเป็นสมาชิกในหมู่คนอื่น ๆ ของครอบครัวของการแจกแจงชี้แจงครอบครัวที่ถูกกำหนดโดยความสามารถในการแปลงระหว่างรูปแบบ Equational โดยการทดแทนของพารามิเตอร์และ / หรือตัวแปร เป็นผลให้มีหลายแปลงโดยเปลี่ยนตัวระหว่างการกระจายมีไม่กี่แห่งที่มีการสรุปในภาพด้านล่าง

ป้อนคำอธิบายรูปภาพที่นี่LEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (กุมภาพันธ์ 2551) "Univariate การกระจายความสัมพันธ์" (PDF) นักสถิติชาวอเมริกัน 62 (1): 45–53 ดอย: 10.1198 / 000313008x270448 อ้างอิง

ต่อไปนี้เป็นความสัมพันธ์การแจกแจงแบบปกติและแกมม่าสองแบบโดยละเอียดยิ่งขึ้น

GD(z;a,b)={baza1ezbΓ(a)z>00other.

aa(a1)1akb1a

kb=1akz=(a1)1ak+x .

GD((a1)1ak+x; a, 1ak)={(ka)aeaxka+1((a1)ka+x)a1Γ(a)x>k(1a)a0other.

axa

lima(ka)aeaxka+1((a1)ka+x)a1Γ(a)=ex22k22πk=ND(x;0,k2)

กราฟิกสำหรับและ GD เป็นสีน้ำเงินและ จำกัดอยู่ใน สีส้มด้านล่างk=2a=1,2,4,8,16,32,64ND(x;0, 22)

ป้อนคำอธิบายรูปภาพที่นี่

ข้อที่สองให้เราชี้ให้เห็นว่าเนื่องจากความคล้ายคลึงกันของรูปแบบระหว่างการแจกแจงเหล่านี้เราสามารถพัฒนาความสัมพันธ์ระหว่างแกมม่าและการแจกแจงแบบปกติโดยดึงพวกมันออกมาจากอากาศบาง ๆ เราจะพัฒนาวิธีการกระจายแกมม่าแบบ "กางออก" ต่อไปของการแจกแจงแบบปกติ

โปรดทราบก่อนว่ามันเป็นการสนับสนุนแบบกึ่งไม่มีที่สิ้นสุดของการแจกแจงแกมม่าที่ขัดขวางความสัมพันธ์โดยตรงกับการแจกแจงแบบปกติ อย่างไรก็ตามสิ่งกีดขวางนั้นสามารถลบออกได้เมื่อพิจารณาการกระจายแบบครึ่งปกติซึ่งมีการสนับสนุนแบบกึ่งอนันต์ ดังนั้นเราสามารถสรุปการแจกแจงแบบปกติ (ND) โดยการพับครึ่งแรกให้เป็นครึ่งธรรมดา (HND) ซึ่งเกี่ยวข้องกับการแจกแจงแกมม่าทั่วไป (GD) จากนั้นสำหรับแรงเดอทัวร์ของเราเรา "แฉ" ทั้ง (HND และ GD) เพื่อสร้าง ND ทั่วไป (GND) ดังนั้น

การกระจายแกมม่าทั่วไป

GD(x;α,β,γ,μ)={γe(xμβ)γ(xμβ)αγ1βΓ(α)x>μ0other,

สามารถ reparameterized จะเป็นการกระจายครึ่งปกติ ,

GD(x;12,πθ,2,0)={2θeθ2x2ππx>00other=HND(x;θ)

โปรดทราบว่าดังนั้นθ=πσ2.

ND(x;0,σ2)=12HND(x;θ)+12HND(x;θ)=12GD(x;12,πθ,2,0)+12GD(x;12,πθ,2,0),

ซึ่งหมายความว่า

GND(x;μ,α,β)=12GD(x;1β,α,β,μ)+12GD(x;1β,α,β,μ)=βe(|xμ|α)β2αΓ(1β),

เป็นการวางหลักเกณฑ์ทั่วไปของการแจกแจงปกติโดยที่คือที่ตั้งคือมาตราส่วนและคือรูปร่างและที่ให้การแจกแจงแบบปกติ ซึ่งจะรวมถึงการกระจาย Laplace เมื่อ 1 ในฐานะที่เป็น , ลู่หนาแน่น pointwise จะมีความหนาแน่นเครื่องแบบalpha) ด้านล่างคือรูปแบบการแจกแจงปกติแบบทั่วไปสำหรับสีน้ำเงินในกรณีปกติสีส้มμα>0β>0β=2β=1β(μα,μ+α)α=π2,β=1/2,1,4α=π2,β=2

ป้อนคำอธิบายรูปภาพที่นี่

ดังกล่าวข้างต้นจะเห็นได้ว่าการกระจายปกติทั่วไป1 รุ่นและใน parameterizations ที่แตกต่างกันเป็นที่รู้จักกันกระจายอำนาจชี้แจงและกระจายความผิดพลาดทั่วไปซึ่งอยู่ในหนึ่งหันของอื่น ๆ อีกหลายแจกแจงปกติทั่วไป


2

การได้มาของการแจกแจงแบบไคสแควร์จากการแจกแจงแบบปกตินั้นคล้ายคลึงกับการกระจายตัวแบบแกมม่าจากการแจกแจงแบบเอ็กซ์โพเนนเชียล

เราควรจะสามารถสรุปสิ่งนี้:

  • ถ้าเป็นตัวแปรอิสระจากการแจกแจงปกติทั่วไปด้วยสัมประสิทธิ์พลังงานดังนั้นสามารถเกี่ยวข้องกับการแจกแจงไคสแควร์ที่ปรับขนาดได้บางส่วน (กับ "ดีกรีอิสระ" เท่ากับ )XimY=inXimn/m

การเปรียบเทียบมีดังต่อไปนี้:

การแจกแจงแบบปกติและการแจกแจงแบบไคสแควร์สัมพันธ์กับผลรวมของกำลังสอง

  • การกระจายความหนาแน่นร่วมของตัวแปรอิสระที่แจกแจงแบบมาตรฐานหลายมาตรฐานขึ้นอยู่กับxi2
    f(x1,x2,...,xn)=exp(0.5i=1nxi2)(2π)n/2

  • ถ้าXiN(0,1)

    ดังนั้นi=1nXi2χ2(ν)

การแจกแจงแบบเอ็กซ์โพเนนเชียลและแกมม่าเกี่ยวข้องกับผลรวมปกติ

  • การกระจายความหนาแน่นของรอยต่อของตัวแปรอิสระแบบเอ็กซ์โปแนนเชียลหลายตัวนั้นขึ้นอยู่กับ xi

    f(x1,x2,...,xn)=exp(λi=1nxi)λn

  • ถ้าXiExp(λ)

    ดังนั้นi=1nXiGamma(n,λ)


การสืบทอดมาสามารถทำได้โดยการเปลี่ยนแปลงของตัวแปรที่รวมกันไม่เกินแต่แทนเฉพาะในระยะรวม (นี่คือสิ่งที่เพียร์สันได้ทำในปี 1900) สิ่งนี้จะคล้ายกันมากในทั้งสองกรณีx1,x2,...xn

สำหรับการ :χ2

fχ2(n)(s)ds=es/2(2π)n/2dVdsds=es/2(2π)n/2πn/2Γ(n/2)sn/21ds=12n/2Γ(n/2)sn/21es/2ds

โดยที่คือปริมาตร n-ball ของ n-ball ที่มีรัศมีกำลังสอง .V(s)=πn/2Γ(n/2+1)sn/2s

สำหรับการแจกแจงแกมม่า:

fG(n,λ)(s)ds=eλsλndVdsds=eλsλnnsn1n!ds=λnΓ(n)sn1eλsds

ที่ไหนเป็น n มิติปริมาตรของ n-polytope กับ<sxi<sV(s)=snn!xi<s


การกระจายของรังสีแกมมาสามารถมองเห็นได้เป็นเวลาที่รอคอยสำหรับเหตุการณ์ -th ในกระบวนการ Poisson ซึ่งเป็นกระจายเป็นผลรวมของตัวแปรกระจายชี้แจงn nYnn

ดังที่ Alecos Papadopoulos ได้กล่าวไว้แล้วว่าไม่มีการเชื่อมต่อที่ลึกกว่าซึ่งทำให้ผลรวมของตัวแปรปกติกำลังสองเป็น 'แบบจำลองที่ดีสำหรับเวลารอคอย' การแจกแจงแกมม่าเป็นการกระจายของผลรวมของตัวแปรการแจกแจงแบบปกติทั่วไป นั่นคือวิธีที่ทั้งสองมารวมกัน

แต่ชนิดของผลรวมและชนิดของตัวแปรอาจแตกต่างกัน ในขณะที่การแจกแจงแกมม่าเมื่อได้รับมาจากการแจกแจงเอ็กซ์โพเนนเชียล (p = 1) ได้รับการตีความการแจกแจงแบบเอ็กซ์โพเนนเชียล (เวลารอ) คุณไม่สามารถย้อนกลับและย้อนกลับไปหาตัวแปร Gaussian

การแจกแจงความหนาแน่นสำหรับเวลาที่รอซึ่งลดลงแบบเอกซ์โปเนนเชียลและการแจกแจงความหนาแน่นสำหรับข้อผิดพลาดแบบเกาส์เซียนจะลดลงแบบเอกซ์โพเนนเชียล นั่นเป็นอีกวิธีหนึ่งที่จะเห็นทั้งสองเชื่อมต่อกัน

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.