การทดสอบสมมติฐานเกี่ยวกับข้อมูลต่อเนื่องที่ไม่พองเกินศูนย์

ฉันขอขอบคุณคำแนะนำของคุณอย่างมากในปัญหาต่อไปนี้:

ฉันมีชุดข้อมูลต่อเนื่องขนาดใหญ่ที่มีเลขศูนย์จำนวนมาก (~ 95%) และฉันต้องการค้นหาวิธีที่ดีที่สุดในการทดสอบว่าชุดย่อยบางชุดของมัน "น่าสนใจ" คือดูเหมือนจะไม่ถูกดึงออกมาจากการแจกแจงแบบเดียวกัน ส่วนที่เหลือ. ศูนย์เงินเฟ้อมาจากข้อเท็จจริงที่ว่าแต่ละจุดข้อมูลอิงการวัดจำนวนทั้งจริงและสุ่มตัวอย่างศูนย์ แต่ผลลัพธ์นั้นต่อเนื่องเนื่องจากคำนึงถึงพารามิเตอร์อื่น ๆ ที่ถ่วงน้ำหนักด้วยการนับ (และถ้านับเป็นศูนย์ผลลัพธ์ ยังเป็นศูนย์)

อะไรจะเป็นวิธีที่ดีที่สุดในการทำเช่นนี้? ฉันมีความรู้สึกว่าวิลคอกซันและการทดสอบการเปลี่ยนรูปกำลังเดรัจฉานไม่เพียงพอเนื่องจากศูนย์เหล่านี้เบ้ เพ่งความสนใจไปที่การวัดที่ไม่เป็นศูนย์ยังเอาศูนย์จริงที่มีความสำคัญมาก โมเดลที่ไม่มีการขยายเกินศูนย์สำหรับข้อมูลนับนั้นได้รับการพัฒนามาอย่างดี แต่ไม่เหมาะกับกรณีของฉัน

ฉันพิจารณาว่าการกระจาย Tweedie นั้นเหมาะสมกับข้อมูลและจากนั้นปรับ glm ตามการตอบสนอง = f (subset_label) ในทางทฤษฎีสิ่งนี้ดูเหมือนจะเป็นไปได้ แต่ฉันสงสัยว่า (a) นี่เกินความจริงหรือไม่และ (b) จะยังคงถือว่าโดยปริยายว่าศูนย์ทั้งหมดเป็นศูนย์ตัวอย่างคือจะมีความลำเอียงในลักษณะเดียวกัน

อย่างสังหรณ์ใจดูเหมือนว่ามีการออกแบบแบบลำดับชั้นบางอย่างที่รวมสถิติทวินามตามสัดส่วนของศูนย์และพูดว่าสถิติ Wilcoxon คำนวณจากค่าที่ไม่ใช่ศูนย์ (หรือยังดีกว่าค่าที่ไม่ใช่ศูนย์เสริมด้วยเศษของ ศูนย์ขึ้นอยู่กับบางก่อน) เสียงเหมือนเครือข่ายเบย์ ...

หวังว่าฉันไม่ใช่คนแรกที่มีปัญหานี้ดังนั้นจะขอบคุณมากถ้าคุณสามารถชี้ให้ฉันเห็นเทคนิคที่เหมาะสมที่มีอยู่ ...

ขอบคุณมาก!

@msp ฉันคิดว่าคุณกำลังดูโมเดลสองขั้นตอนในไฟล์แนบนั้น (ฉันไม่มีเวลาอ่าน) แต่ข้อมูลต่อเนื่องที่สูงเกินจริงเป็นศูนย์ที่ฉันทำงานด้วยมาก เพื่อให้พอดีกับโมเดลพารามิเตอร์กับข้อมูลนี้ (เพื่ออนุญาตการทดสอบสมมติฐาน) คุณสามารถใส่สองเวทีได้ แต่คุณมีสองโมเดล (Y คือเป้าหมายและ X คือ covariates): P (Y = 0 | X) และ P (Y | x; Y> 0) คุณต้องใช้การจำลองเพื่อ "นำ" สิ่งเหล่านี้มารวมกัน หนังสือ Gelmans (และแพ็คเกจแขนใน R) แสดงกระบวนการนี้สำหรับรุ่นที่แน่นอนนี้ (โดยใช้การถดถอยโลจิสติกและการถดถอยเชิงเส้นปกติพร้อมลิงค์บันทึก)

ตัวเลือกอื่นที่ฉันได้เห็นและชอบดีกว่าคือให้พอดีกับการถดถอยแบบแกมมาที่ไม่พองซึ่งเป็นเช่นเดียวกับข้างบน (แต่แกมม่าเป็นข้อผิดพลาดแทนที่จะเป็น guassian) และคุณสามารถนำพวกเขามารวมกันเพื่อทดสอบสมมติฐานบน P (Y | X) . ฉันไม่รู้วิธีการทำเช่นนี้ใน R แต่คุณสามารถทำได้ใน SAS NLMIXED ดูกระทู้นี้มันใช้งานได้ดี

วิธีการคล้ายกับกระดาษพิมพ์เล็กเฟลทเชอร์นั้นใช้ในการทดสอบทางการตลาดซึ่งเราสามารถแยกผลกระทบจากการแทรกแซง (เช่นการโฆษณา) ลงใน (a) การเปลี่ยนแปลงจำนวนการซื้อแบรนด์ (เช่นสัดส่วนของศูนย์) และ (b) a เปลี่ยนความถี่ในการซื้อคลื่นความถี่ (ยอดขายที่ได้รับเกิดขึ้นเลย) นี่เป็นแนวทางที่มั่นคงและมีความหมายเชิงแนวคิดในบริบทการตลาดและในบริบททางนิเวศวิทยาเฟลทเชอร์กล่าวถึง อันที่จริงสามารถขยายได้ถึง (c) การเปลี่ยนแปลงขนาดของการซื้อแต่ละครั้ง

คุณสามารถรักษาจำนวนที่แน่นอนของศูนย์ที่ไม่รู้จัก แต่ถูก จำกัด ระหว่าง 0 และจำนวนศูนย์ที่สังเกตได้ สิ่งนี้สามารถจัดการได้โดยใช้สูตรแบบเบย์ บางทีวิธีการใส่หลายแบบอาจถูกปรับแต่งเพื่อปรับน้ำหนัก (ระหว่าง 0 ถึง 1) ของการสังเกตเป็นศูนย์อย่างเหมาะสม ...