ระยะห่างระหว่างส่วนผสม Gaussian จำกัด และ Gaussian จำกัด คืออะไร

สมมติว่าฉันมีส่วนผสมของ Gaussians จำนวนมากที่มีน้ำหนัก, ค่าเฉลี่ย, และค่าเบี่ยงเบนมาตรฐาน วิธีการไม่เท่ากัน แน่นอนว่าค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของการผสมสามารถคำนวณได้เนื่องจากช่วงเวลานั้นมีค่าเฉลี่ยถ่วงน้ำหนักของช่วงเวลาของส่วนประกอบ ส่วนผสมไม่ได้เป็นการกระจายตัวแบบธรรมดา แต่ไกลแค่ไหนจากปกติ?

ภาพด้านบนแสดงความหนาแน่นของความน่าจะเป็นที่เป็นไปได้สำหรับส่วนผสมแบบเกาส์พร้อมส่วนประกอบหมายถึงคั่นด้วยส่วนเบี่ยงเบนมาตรฐาน (ของส่วนประกอบ) และแบบเกาส์เดียวที่มีค่าเฉลี่ยและความแปรปรวนเหมือนกัน$2$

$1$

แรงจูงใจ:ฉันไม่เห็นด้วยกับคนขี้เกียจบางคนเกี่ยวกับการแจกแจงจริงบางอย่างที่พวกเขาไม่ได้วัดซึ่งพวกเขาคิดว่าใกล้เคียงกับปกติเพราะจะดี ฉันก็ขี้เกียจเหมือนกัน ฉันไม่ต้องการวัดการกระจายตัวเช่นกัน ฉันต้องการที่จะบอกว่าสมมติฐานของพวกเขานั้นไม่สอดคล้องกันเพราะพวกเขาบอกว่าการผสมผสานอัน จำกัด ของ Gaussians ด้วยวิธีการที่แตกต่างกันคือ Gaussian ซึ่งไม่ถูกต้อง ฉันไม่อยากจะบอกว่ารูปร่างของหางนั้นผิดเพราะสิ่งเหล่านี้เป็นเพียงการประมาณซึ่งควรจะมีความแม่นยำพอสมควรภายในค่าเบี่ยงเบนมาตรฐานของค่าเฉลี่ย ฉันอยากจะบอกว่าถ้าส่วนประกอบมีการประมาณค่าปกติจากการแจกแจงปกติแล้วส่วนผสมไม่ได้และฉันต้องการที่จะหาปริมาณนี้

$L^1$$2$$1/4$

การกระจาย KL จะเป็นไปตามธรรมชาติเพราะคุณมีการกระจายฐานที่เป็นธรรมชาติคือ Gaussian เดียวซึ่งการผสมของคุณแตกต่างกัน ในทางกลับกัน KL divergence (หรือรูปแบบ 'ระยะทาง' แบบสมมาตร) ระหว่างสองแบบเกาส์เซียนซึ่งปัญหาของคุณเป็นกรณีพิเศษดูเหมือนว่าโดยทั่วไปจะไม่ยอมแพ้ เฮอร์ชีย์และโอลสัน (2007)ดูเหมือนจะเป็นบทสรุปที่สมเหตุสมผลของการประมาณที่มีอยู่รวมถึงวิธีการแปรปรวนที่อาจเสนอขอบเขตที่ง่ายขึ้น

อย่างไรก็ตามหากคุณต้องการโต้แย้งเกี่ยวกับผลเสียของการสมมติว่ามีบางสิ่งบางอย่างเป็นเกาส์เมื่อเป็นส่วนผสมจริง ๆ แล้วก็ควรมีความคิดที่ดีเกี่ยวกับผลที่ตามมาที่คุณสนใจจริง ๆ '(นี่คือประเด็นของ @ Michael-Chernick) ตัวอย่างเช่นผลที่ตามมาสำหรับการทดสอบหรือช่วงเวลาหรือ somesuch ผลกระทบที่เห็นได้ชัดเจนของส่วนผสมนี้คือการกระจายตัวมากเกินไปซึ่งรับประกันได้ค่อนข้างมากและ multimodality ซึ่งจะสร้างความสับสนให้กับ maximizers

ให้ฉันติดตามการพิจารณาผลที่ตามมาของข้อกำหนดการกระจายที่ไม่ถูกต้อง แทนที่จะใช้การวัดระยะทางทั่วไปเช่น KL Divergence คุณสามารถประเมินการวัดแบบกำหนดเองของ "ความแตกต่าง" ซึ่งมีผลต่อผลลัพธ์ในมือ

ตัวอย่างเช่นหากการแจกแจงจะถูกใช้สำหรับการคำนวณความเสี่ยงตัวอย่างเช่นการพิจารณาว่าความน่าจะเป็นของความล้มเหลวนั้นต่ำพอเพียงสิ่งเดียวที่มีความสำคัญในแบบพอดีคือการคำนวณความน่าจะเป็นในหางที่รุนแรง สิ่งนี้อาจเกี่ยวข้องกับการตัดสินใจเกี่ยวกับโครงการมูลค่าหลายพันล้านดอลลาร์และเกี่ยวข้องกับชีวิตและความตาย

สมมติฐานปกติมีแนวโน้มที่จะไม่ถูกต้องมากที่สุดที่ไหน ในหลายกรณีในส่วนท้ายสุดขีดสถานที่เดียวที่สำคัญสำหรับการคำนวณความเสี่ยงที่สำคัญเหล่านี้ ตัวอย่างเช่นการกระจายที่แท้จริงของคุณคือการผสมผสานของ Normals ที่มีค่าเฉลี่ยเท่ากัน แต่ส่วนเบี่ยงเบนมาตรฐานที่แตกต่างกันดังนั้นก้อยของการกระจายการผสมจะอ้วนกว่าหางของการแจกแจงปกติที่มีค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานเดียวกัน สิ่งนี้สามารถส่งผลให้เกิดความแตกต่างของขนาด (การประเมินความเสี่ยงต่ำ) สำหรับความน่าจะเป็นที่หางที่รุนแรง

$U$$P(X_{Mixture} > U) - P(X_{Normal} > U)$