ข้อใดมีหางที่หนักกว่า lognormal หรือแกมม่า

(นี่เป็นคำถามที่เพิ่งมาหาฉันทางอีเมลฉันได้เพิ่มบริบทบางส่วนจากบทสนทนาสั้น ๆ ก่อนหน้านี้กับบุคคลเดียวกัน)

เมื่อปีที่แล้วมีคนบอกว่าการกระจายตัวของแกมม่านั้นหนักกว่า lognormal และตั้งแต่นั้นมาฉันก็บอกว่านั่นไม่ใช่กรณี

• ซึ่งเป็นนกที่หนักกว่า?

• ทรัพยากรบางอย่างที่ฉันสามารถใช้เพื่อสำรวจความสัมพันธ์มีอะไรบ้าง

หาง (ขวา) ของการแจกแจงอธิบายพฤติกรรมของมันที่ค่าขนาดใหญ่ วัตถุที่ถูกต้องเพื่อการศึกษาไม่ได้เป็นความหนาแน่น - ซึ่งในกรณีปฏิบัติจำนวนมากไม่ได้อยู่ - แต่ฟังก์ชั่นการกระจายF$F$โดยเฉพาะอย่างยิ่งเนื่องจาก$F$ต้องเพิ่มขึ้น asymptotically เป็น$1$สำหรับการโต้แย้งขนาดใหญ่$x$ (ตามกฎความน่าจะเป็นรวม) เราสนใจว่ามันเข้าใกล้เส้นกำกับอย่างรวดเร็วเพียงใด: เราต้องตรวจสอบพฤติกรรมของฟังก์ชันการอยู่รอดของ $1- F(x)$เป็น$x \to \infty$ ∞

$F$$X$$G$ $F$$G$$x_0$$x \gt x_0$

เส้นโค้งสีแดงในรูปนี้เป็นฟังก์ชั่นสำหรับการอยู่รอดปัวซองการจัดจำหน่าย เส้นโค้งสีน้ำเงินสำหรับการแจกแจงแกมม่าซึ่งมีความแปรปรวนเหมือนกัน ในที่สุดเส้นโค้งสีน้ำเงินมักจะเกินกว่าเส้นโค้งสีแดงแสดงว่าการกระจายแกมมานี้มีหางที่หนักกว่าการกระจายปัวซอง การกระจายเหล่านี้ไม่สามารถเปรียบเทียบได้อย่างง่ายดายโดยใช้ความหนาแน่นเนื่องจากการแจกแจงปัวซองนั้นไม่มีความหนาแน่น$(3)$$(3)$

มันเป็นความจริงที่ว่าเมื่อความหนาแน่น และที่มีอยู่และสำหรับแล้วจะหนักกว่านกGอย่างไรก็ตามการสนทนาเป็นเท็จ - และนี่คือเหตุผลที่น่าสนใจในการกำหนดนิยามของความหนักเบาของหางบนหน้าที่การอยู่รอดมากกว่าความหนาแน่นแม้ว่าบ่อยครั้งการวิเคราะห์หางอาจทำได้ง่ายขึ้นโดยใช้ความหนาแน่น$f$$g$$f(x) \gt g(x)$$x \gt x_0$$F$$G$

ตัวอย่างเคาน์เตอร์สามารถสร้างขึ้นได้โดยการแจกแจงแบบไม่ต่อเนื่องของการสนับสนุนแบบไม่มีขอบเขตที่เป็นบวกซึ่งอย่างไรก็ตามจะไม่หนักกว่า (discretizingจะทำเคล็ดลับ) เปลี่ยนสิ่งนี้เป็นการกระจายอย่างต่อเนื่องโดยแทนที่ความน่าจะเป็นของที่แต่ละจุดสนับสนุน , เขียน , โดย (พูด) การกระจายเบต้าปรับขนาดด้วยการสนับสนุนในช่วงเวลาที่เหมาะสมและถ่วงน้ำหนักด้วย(k) ระบุจำนวนบวกเล็กน้อยเลือก$H$$G$$G$$H$$k$$h(k)$$(2,2)$$[k-\varepsilon(k), k+\varepsilon(k)]$$h(k)$$\delta,$$\varepsilon(k)$ขนาดเล็กพอที่จะให้แน่ใจว่ามีความหนาแน่นสูงสุดของการกระจายนี้เบต้าปรับขนาดเกินfจากการก่อสร้างส่วนผสมคือการกระจายอย่างต่อเนื่องซึ่งหางของมันดูเหมือน (มันค่อนข้างสม่ำเสมอเล็กน้อยโดยมีจำนวน ) แต่มีหนามแหลม ความหนาแน่นในการสนับสนุนของและ spikes ทุกคนมีจุดที่พวกเขาเกินความหนาแน่นของฉดังนั้นมีน้ำหนักเบากว่านกแต่ไม่ว่าไกลออกไปในหางที่เราจะไปไม่ว่าจะมีจุดที่มีความหนาแน่นสูงกว่าของF$f(k)/\delta$$\delta H + (1-\delta )G$$G^\prime$$G$$\delta$$H$$f$$G^\prime$$F$$F$

เส้นโค้งสีแดงคือ PDF ของการแจกแจงแกมมา , เส้นโค้งสีทองเป็น PDF ของการแจกแจงแบบปกติ , และเส้นโค้งสีน้ำเงิน (พร้อมเดือย) คือ PDF ของการผสมสร้างขึ้นในตัวอย่าง (สังเกตความหนาแน่นแกนลอการิทึม) ฟังก์ชันการอยู่รอดของอยู่ใกล้กับการแจกแจงแกมม่า (ที่มีการสลายตัวของวิกอย่างรวดเร็ว): ในที่สุดมันจะเติบโตน้อยกว่าของถึงแม้ว่า PDF จะพุ่งขึ้นเหนือเสมอ ของไม่ว่าหางเราจะมองออกไปไกลแค่ไหน$G$$F$$G^\prime$$G^\prime$$F$$F$

อภิปรายผล

อนึ่งเราสามารถทำการวิเคราะห์นี้โดยตรงในฟังก์ชันการอยู่รอดของ lognormal และ Gamma distributions, ขยายพวกมันไปรอบ ๆเพื่อค้นหาพฤติกรรมเชิงซีโมติคและสรุปว่า lognormals ทั้งหมดมีหางที่หนักกว่า Gammas ทั้งหมด แต่เนื่องจากการแจกแจงเหล่านี้มีความหนาแน่น "ดี" การวิเคราะห์จึงทำได้ง่ายขึ้นโดยแสดงให้เห็นว่าสำหรับมีขนาดใหญ่เพียงพอความหนาแน่น lognormal เกินความหนาแน่นแกมมา อย่างไรก็ตามเราอย่าสับสนระหว่างความสะดวกในการวิเคราะห์กับความหมายของหางที่หนัก$x=\infty$$x$

ในทำนองเดียวกันแม้ว่าช่วงเวลาที่สูงขึ้นและสายพันธุ์ของพวกเขา (เช่นความเบ้และความโด่ง) พูดเพียงเล็กน้อยเกี่ยวกับหางพวกเขาไม่ได้ให้ข้อมูลที่เพียงพอ ตัวอย่างง่ายๆเราอาจตัดทอนการแจกแจงแบบปกติใด ๆ ที่มีค่ามากจนช่วงเวลาใดก็ตามที่กำหนดจะเปลี่ยนแปลงแทบจะไม่ - แต่การทำเช่นนี้เราจะเอาหางของมันออกทั้งหมดทำให้มันเบากว่าการกระจายใด ๆ การสนับสนุน (เช่น Gamma)

การคัดค้านอย่างยุติธรรมต่อการคำนวณทางคณิตศาสตร์เหล่านี้จะชี้ให้เห็นว่าพฤติกรรมที่อยู่ในหางไม่มีการใช้งานจริงเพราะไม่มีใครเคยเชื่อว่าแบบจำลองการกระจายใด ๆ จะใช้ได้จริงในค่าสุดขีด อย่างไรก็ตามนั่นแสดงให้เห็นว่าในแอปพลิเคชั่นเราควรระมัดระวังในการระบุส่วนหางที่เกี่ยวข้องและวิเคราะห์ตามนั้น (ตัวอย่างเช่นเวลาการเกิดซ้ำของน้ำท่วมสามารถเข้าใจได้ในกรณีนี้: น้ำท่วม 10 ปีน้ำท่วม 100 ปีและ 1,000 ปีน้ำท่วมลักษณะส่วนเฉพาะของหางของการกระจายน้ำท่วม) หลักการเดียวกันนำไปใช้แม้ว่า: วัตถุพื้นฐานของการวิเคราะห์ที่นี่คือฟังก์ชั่นการกระจายและไม่ใช่ความหนาแน่น

แกมม่าและ lognormal มีทั้งการแจกแจงความเบ้ขวาสัมประสิทธิ์คงที่ของการเปลี่ยนแปลงในและพวกเขามักจะเป็นพื้นฐานของแบบจำลอง "การแข่งขัน" สำหรับปรากฏการณ์บางชนิด$(0,\infty)$

มีหลายวิธีในการกำหนดความหนักเบาของหาง แต่ในกรณีนี้ฉันคิดว่าคนปกติทุกคนแสดงว่า lognormal หนักกว่า (สิ่งที่คนแรกอาจพูดถึงคือสิ่งที่เกิดขึ้นไม่ได้อยู่ในหางไกล แต่ทางด้านขวาของโหมด (พูดราว ๆ 75 เปอร์เซ็นไทล์บนพล็อตแรกด้านล่างซึ่งสำหรับ lognormal อยู่ต่ำกว่า 5 และแกมม่าที่สูงกว่า 5. )

อย่างไรก็ตามเรามาสำรวจคำถามด้วยวิธีง่าย ๆ ในการเริ่มต้น

ด้านล่างคือความหนาแน่นแกมมาและ lognormal ที่มีค่าเฉลี่ย 4 และความแปรปรวน 4 (พล็อตด้านบน - แกมม่าเป็นสีเขียวเข้ม, lognormal เป็นสีน้ำเงิน) จากนั้นบันทึกของความหนาแน่น (ด้านล่าง) เพื่อให้คุณสามารถเปรียบเทียบแนวโน้มในก้อย:

เป็นการยากที่จะเห็นรายละเอียดมากมายในพล็อตด้านบนเนื่องจากการกระทำทั้งหมดอยู่ทางขวาของ 10 แต่มันค่อนข้างชัดเจนในพล็อตที่สองที่แกมม่ามุ่งหน้าลงอย่างรวดเร็วมากกว่า lognormal

วิธีการสำรวจความสัมพันธ์ก็คือการมองไปที่ความหนาแน่นของการบันทึกเช่นเดียวกับในคำตอบที่นี่ ; เราเห็นว่าความหนาแน่นของท่อนซุงสำหรับ lognormal นั้นสมมาตร (มันเป็นเรื่องปกติ!) และสำหรับแกมม่านั้นเอียงซ้ายโดยมีหางแสงอยู่ทางขวา

เราสามารถทำพีชคณิตได้โดยที่เราสามารถดูอัตราส่วนของความหนาแน่นเป็น (หรือบันทึกของอัตราส่วน) ให้เป็นความหนาแน่นแกมมาและ lognormal:$x\rightarrow\infty$$g$$f$

ระยะใน [] เป็นกำลังสองในในขณะที่ระยะเวลาที่เหลือจะลดลงเป็นเส้นตรงในxไม่ว่าอะไรก็ตามในที่สุดจะลดลงเร็วกว่ากำลังสองเพิ่มขึ้นโดยไม่คำนึงว่าค่าพารามิเตอร์คืออะไร ในขอบเขตที่อัตราส่วนของความหนาแน่นลดลงต่อซึ่งหมายความว่าแกมม่า pdf ในที่สุดก็เล็กกว่า lognormal pdf และมันก็ลดลงค่อนข้าง หากคุณเลือกอัตราส่วนด้วยวิธีอื่น (โดยมี lognormal อยู่ด้านบน) ในที่สุดอัตราส่วนดังกล่าวจะต้องเพิ่มขึ้นเกินขอบเขตที่กำหนด$\log(x)$$x$$-x/\beta$$x\rightarrow\infty$$-\infty$

นั่นคือ lognormal ใดก็ตามในที่สุดก็หนักเทลด์กว่าใด ๆแกมมา

คำจำกัดความอื่น ๆ ของความหนักเบา:

บางคนมีความสนใจเรื่องความเบ้หรือความโด่งเพื่อวัดความหนักเบาของหางขวา ที่ค่าสัมประสิทธิ์ที่กำหนดของความแปรปรวนlognormalทั้งเอียงมากขึ้นและมี kurtosis สูงกว่าแกมมา **

ตัวอย่างเช่นกับเบ้แกมมามีความเบ้ของ 2CV ขณะ lognormal เป็น 3CV + CV 3$^3$

มีคำจำกัดความทางเทคนิคของมาตรการต่าง ๆ ว่าหางอยู่ที่นี่อย่างไร คุณอาจต้องการลองบางตัวที่มีการแจกแจงสองแบบนี้ lognormal เป็นกรณีพิเศษที่น่าสนใจในนิยามแรก - ทุกช่วงเวลามีอยู่ แต่ MGF ของมันไม่ได้บรรจบกันมากกว่า 0 ในขณะที่ MGF สำหรับ Gamma จะรวมตัวกันในละแวกใกล้เคียงศูนย์

-

** ตามที่ Nick Cox กล่าวไว้ด้านล่างการเปลี่ยนแปลงตามปกติเพื่อประมาณค่าปกติสำหรับแกมม่าการแปลงแบบ Wilson-Hilferty นั้นอ่อนแอกว่าบันทึก - มันเป็นการแปลงรูทแบบลูกบาศก์ ที่ค่าขนาดเล็กของพารามิเตอร์รูปร่างรูตที่สี่ถูกกล่าวถึงแทนดูการอภิปรายในคำตอบนี้แต่ในกรณีใดกรณีหนึ่งเป็นการเปลี่ยนแปลงที่อ่อนแอกว่าเพื่อให้ได้ใกล้เคียงกับมาตรฐาน

การเปรียบเทียบความเบ้ (หรือ kurtosis) ไม่แนะนำความสัมพันธ์ที่จำเป็นในหางที่รุนแรง - มันบอกเราบางอย่างเกี่ยวกับพฤติกรรมโดยเฉลี่ย แต่มันอาจจะทำงานได้ดีกว่าถ้าจุดเดิมไม่ได้ถูกสร้างขึ้นมาจากหางที่รุนแรง

ทรัพยากร : มันง่ายที่จะใช้โปรแกรมเช่น R หรือ Minitab หรือ Matlab หรือ Excel หรืออะไรก็ตามที่คุณชอบที่จะวาดความหนาแน่นและความหนาแน่นของบันทึกและบันทึกอัตราส่วนความหนาแน่น ... และอื่น ๆ เพื่อดูว่ามีอะไรเกิดขึ้นบ้างในบางกรณี นั่นคือสิ่งที่ฉันขอแนะนำให้เริ่มต้นด้วย

แม้ว่า kurtosis จะสัมพันธ์กับความหนักของหาง แต่มันก็มีส่วนช่วยให้เกิดความคิดเกี่ยวกับการกระจายตัวของไขมันที่หางและค่อนข้างที่จะลดความหนักของหางตามที่แสดงในตัวอย่าง ที่นี่ตอนนี้ฉันสำรอกสิ่งที่ฉันได้เรียนรู้ในโพสต์ด้านบนและด้านล่างซึ่งเป็นความคิดเห็นที่ยอดเยี่ยมจริงๆ ครั้งแรกที่บริเวณหางด้านขวาเป็นพื้นที่จาก x เพื่อของฟังก์ชั่นความหนาแน่น AKA ฟังก์ชั่นการอยู่รอด(t) สำหรับการแจกแจงแบบปกติและการแจกแจงแกมม่า$\infty$$f(x)$$1-F(t)$$\frac{e^{-\frac{(\log (x)-\mu )^2}{2 \sigma ^2}}}{\sqrt{2 \pi } \sigma x};x\geq 0$$\frac{\beta ^{\alpha } x^{\alpha -1} e^{-\beta x}}{\Gamma (\alpha )};x\geq 0$ให้เราเปรียบเทียบฟังก์ชั่นการเอาชีวิตรอดของพวกเขาและแบบกราฟิก ในการทำเช่นนี้ฉันได้ตั้งค่าความแปรปรวนตามลำดับและเช่นเดียวกับ kurtoses ส่วนเกินของพวกเขาและเท่ากับโดยเลือกและแก้ไขสำหรับ0.335421 การแสดงนี้$\frac{1}{2} \text{erfc}\left(\frac{ \log (x)-\mu}{\sqrt{2} \sigma}\right)$$Q(\alpha ,\beta x)=\frac{\Gamma (\alpha , \beta x)}{\Gamma (\alpha )}$$\left(e^{\sigma ^2}-1\right) e^{2 \mu +\sigma ^2}$$\frac{\alpha }{\beta ^2}$$3 e^{2 \sigma ^2}+2 e^{3 \sigma ^2}+e^{4 \sigma ^2}-6$$\frac{6}{\alpha }$$\mu =0, \sigma =0.8$$\alpha \to 0.19128,\beta \to 0.335421$

ฟังก์ชั่นการอยู่รอดสำหรับการกระจาย lognormal (LND) ในสีฟ้าและแกมมาการกระจาย (GD) ในสีส้ม สิ่งนี้นำเราไปสู่การเตือนครั้งแรกของเรา นั่นคือถ้าพล็อตนี้เป็นสิ่งที่เราต้องตรวจสอบเราอาจสรุปได้ว่าหางของ GD นั้นหนักกว่า LND นั่นไม่ใช่กรณีนี้แสดงโดยการขยายค่าแกน x ของพล็อตดังนั้น

พล็อตนี้แสดงให้เห็นว่า 1) แม้จะมีเคิร์ตที่เท่ากัน แต่พื้นที่หางด้านขวาของ LND และ GD สามารถแตกต่างกันได้ 2) การตีความกราฟิกเพียงอย่างเดียวมีอันตรายเนื่องจากสามารถแสดงผลลัพธ์สำหรับค่าพารามิเตอร์คงที่ในช่วงที่ จำกัด เท่านั้น ดังนั้นจึงมีความจำเป็นที่จะต้องค้นหานิพจน์ทั่วไปเพื่อ จำกัด ฟังก์ชันอัตราการรอดชีวิตของx)} ฉันไม่สามารถทำสิ่งนี้ได้ด้วยการขยายซีรี่ส์ไม่ จำกัด อย่างไรก็ตามฉันสามารถทำสิ่งนี้ได้โดยใช้ตัวกลางของฟังก์ชันเทอร์มินัลหรือซีมโทติคซึ่งไม่ใช่ฟังก์ชั่นที่ไม่ซ้ำกันและที่ที่มือขวาก้มแล้วเพียงพอสำหรับและ$\lim_{x\to \infty } \, \frac{S(\text{LND},x)}{S(\text{GD},x)}$$\lim_{x\to \infty } \, \frac{F(x)}{G(x)}=1$$F(x)$$G(x)$ที่จะเป็นซีมโทติคร่วมกัน ด้วยความระมัดระวังอย่างเหมาะสมในการค้นหาฟังก์ชันเหล่านี้จึงมีศักยภาพในการระบุชุดย่อยของฟังก์ชันที่ง่ายกว่าฟังก์ชั่นการเอาชีวิตรอดซึ่งสามารถใช้ร่วมกันหรือจัดขึ้นร่วมกันกับฟังก์ชั่นความหนาแน่นมากกว่าหนึ่งตัวอย่างเช่น หางชี้แจงที่ จำกัด ในรุ่นก่อนหน้าของโพสต์นี้นี่คือสิ่งที่ฉันหมายถึงว่า "เพิ่มความซับซ้อนของการเปรียบเทียบฟังก์ชั่นการอยู่รอด" โปรดทราบว่าและ (บังเอิญและไม่จำเป็นต้องและ$\lim_{u\to \infty } \, \frac{\text{erfc}(u)}{\frac{e^{-u^2}}{\sqrt{\pi } u}}=1$$\lim_{u\to \infty } \, \frac{\Gamma (\alpha ,u)}{e^{-u} u^{\alpha -1}}=1$$\text{erfc}(u)<\frac{e^{-u^2}}{\sqrt{\pi } u}$$\Gamma (\alpha ,u )<e^{-u} u^{\alpha -1}$-1} นั่นคือไม่จำเป็นต้องเลือกขอบเขตบนเป็นเพียงฟังก์ชัน asymptotic) ที่นี่เราเขียนและโดยที่อัตราส่วนของคำศัพท์ด้านขวามือมีขีด จำกัด เท่ากับเป็นเงื่อนไขด้านซ้าย ลดความซับซ้อนของอัตราส่วนการ จำกัด ของคำศัพท์ด้านขวา$\frac{1}{2} \text{erfc}\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)<\frac{e^{-\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)^2}}{\frac{2 \left(\sqrt{\pi } (\log (x)-\mu )\right)}{\sqrt{2} \sigma }}$$\frac{\Gamma (\alpha ,\beta x)}{\Gamma (\alpha )}<\frac{e^{-\text{$\beta $x}} (\beta x)^{\alpha -1}}{\Gamma (\alpha )}$$x\to \infty$$\lim_{x\to \infty } \, \frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha } e^{\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}}}{\sqrt{2 \pi } (\log (x)-\mu )}=\infty$หมายความว่าสำหรับ x ใหญ่เพียงพอพื้นที่หาง LND คือ มีขนาดใหญ่เท่าที่เราต้องการเปรียบเทียบกับพื้นที่หาง GD โดยไม่คำนึงว่าค่าพารามิเตอร์คืออะไร ที่ทำให้เกิดปัญหาอื่นเราไม่ได้มีวิธีแก้ปัญหาที่เป็นจริงสำหรับค่าพารามิเตอร์ทั้งหมดดังนั้นการใช้ภาพประกอบกราฟิกเพียงอย่างเดียวอาจทำให้เข้าใจผิด ยกตัวอย่างเช่นการกระจายแกมมาบริเวณหางด้านขวาเป็นมากกว่าพื้นที่หางกระจายชี้แจงเมื่อน้อยกว่าชี้แจงเมื่อและ GD เป็นว่าการกระจายชี้แจงเมื่อ 1$\alpha < 1$$\alpha >1$$\alpha =1$

อะไรคือการใช้ลอการิทึมของอัตราส่วนของฟังก์ชันการเอาชีวิตรอดเนื่องจากเราไม่จำเป็นต้องใช้ลอการิทึมเพื่อหาอัตราส่วน จำกัด ? ฟังก์ชั่นการแจกแจงจำนวนมากมีคำอธิบายแบบเอ็กซ์โปเนนเชียลที่ดูง่ายขึ้นเมื่อนำลอการิทึมมาใช้และหากอัตราส่วนไปถึงค่าอนันต์ในขีด จำกัด เมื่อ x เพิ่มขึ้นค่าลอการิทึมก็จะทำได้เช่นกัน ในกรณีของเรานั่นจะทำให้เราสามารถตรวจสอบซึ่งบางคนอาจดูง่ายกว่า สุดท้ายถ้าอัตราส่วนของฟังก์ชั่นการเอาชีวิตรอดเป็นศูนย์แล้วลอการิทึมของอัตราส่วนนั้นจะไปที่$\lim_{x\to \infty } \, \left(\log \left(\frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha }}{\sqrt{2 \pi } (\log (x)-\mu )}\right)+\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}\right)=\infty$$-\infty$และในทุกกรณีหลังจากหาขีด จำกัด ของลอการิทึมของอัตราส่วนเราต้องใช้ antilogarithm ของค่านั้นเพื่อทำความเข้าใจความสัมพันธ์กับค่า จำกัด ของอัตราส่วนทั่วไปของฟังก์ชันการอยู่รอด