การทดสอบทางสถิติใดที่จะใช้สำหรับการทดสอบ A / B

เรามีสองกลุ่มตัวอย่าง 1,000 ตัวอย่าง เราวัดปริมาณ 2 หน่วยในแต่ละรุ่น คนแรกคือตัวแปรไบนารี ที่สองคือจำนวนจริงที่ตามหลังการกระจายหางหนา เราต้องการประเมินว่ากลุ่มใดมีประสิทธิภาพดีที่สุดสำหรับแต่ละเมตริก มีการทดสอบทางสถิติให้เลือกมากมาย: ผู้คนแนะนำให้ z-test, คนอื่น ๆ ใช้ t-test, และคนอื่น ๆ Mann – Whitney U

• เราควรเลือกการทดสอบหรือการทดสอบใดสำหรับแต่ละเมตริกสำหรับกรณีของเรา
• จะเกิดอะไรขึ้นหากการทดสอบหนึ่งบ่งบอกถึงความแตกต่างอย่างมีนัยสำคัญระหว่างกลุ่มและการทดสอบอื่น ๆ ที่ชี้ให้เห็นถึงความแตกต่างที่ไม่สำคัญ

เนื่องจากตัวชี้วัดสองตัวของคุณคือ 1) เลขฐานสองและ 2) กลุ่มที่มีหางหนาคุณควรหลีกเลี่ยงการทดสอบทีซึ่งถือว่าการแจกแจงแบบปกติ

ฉันคิดว่า Mann-Whitney U เป็นตัวเลือกที่ดีที่สุดของคุณและควรมีประสิทธิภาพเพียงพอแม้ว่าการแจกแจงของคุณจะใกล้เคียงปกติ

เกี่ยวกับคำถามที่สองของคุณ:

จะเกิดอะไรขึ้นหากการทดสอบหนึ่งบ่งบอกถึงความแตกต่างอย่างมีนัยสำคัญระหว่างกลุ่มและการทดสอบอื่น ๆ ที่ชี้ให้เห็นถึงความแตกต่างที่ไม่สำคัญ

นี่ไม่ใช่เรื่องแปลกถ้าความแตกต่างทางสถิติคือเส้นเขตแดนและข้อมูลมีการแจกแจงตัวอย่าง "ยุ่งเหยิง" สถานการณ์นี้ต้องการให้นักวิเคราะห์พิจารณาข้อสันนิษฐานและข้อ จำกัด ทั้งหมดของการทดสอบทางสถิติอย่างรอบคอบและให้น้ำหนักมากที่สุดในการทดสอบทางสถิติซึ่งมีจำนวนการละเมิดสมมติฐานน้อยที่สุด

ใช้สมมติฐานของการแจกแจงแบบปกติ มีการทดสอบต่าง ๆ สำหรับบรรทัดฐาน แต่นั่นไม่ใช่จุดจบของเรื่อง การทดสอบบางอย่างใช้งานได้ดีกับการกระจายแบบสมมาตรแม้ว่าจะมีการเบี่ยงเบนจากค่าปกติ แต่ก็ใช้งานไม่ได้ดีกับการแจกแจงแบบเบ้

ตามกฎทั่วไปแล้วผมขอแนะนำให้คุณไม่ควรทำการทดสอบใด ๆ ที่มีการละเมิดสมมติฐานอย่างชัดเจน

แก้ไข:สำหรับตัวแปรที่สองมันอาจเป็นไปได้ในการแปลงตัวแปรเป็นหนึ่งที่กระจายตามปกติ (หรืออย่างน้อยปิด) ตราบใดที่การแปลงจะรักษาลำดับ คุณจำเป็นต้องมีความมั่นใจที่ดีว่าการแปลงรูปจะให้การแจกแจงแบบปกติสำหรับทั้งสองกลุ่ม หากคุณพอดีกับตัวแปรตัวที่สองเพื่อการแจกแจงแบบล็อก - ปกติแล้วฟังก์ชั่นการบันทึกจะแปลงเป็นการแจกแจงแบบปกติ แต่ถ้าการกระจายตัวเป็นพาเรโต (กฎกำลัง) นั่นก็จะไม่มีการแปลงเป็นการแจกแจงแบบปกติ

แก้ไข:ตามที่แนะนำในความคิดเห็นนี้คุณควรพิจารณาการประมาณแบบเบย์เป็นทางเลือกแทนการทดสอบ t และการทดสอบนัยสำคัญของ Null Hypothesis Significance (NHST)

สำหรับข้อมูลที่มีค่าจริงคุณอาจต้องการพิจารณาสร้างสถิติทดสอบของคุณเองโดยใช้ข้อมูลการบูตของข้อมูลของคุณ วิธีนี้มีแนวโน้มที่จะให้ผลลัพธ์ที่แม่นยำเมื่อคุณจัดการกับการแจกแจงของประชากรที่ไม่ปกติหรือพยายามที่จะพัฒนาช่วงความเชื่อมั่นรอบพารามิเตอร์ที่ไม่มีวิธีการวิเคราะห์ที่สะดวก (อดีตเป็นจริงในกรณีของคุณฉันพูดถึงบริบทหลังเท่านั้น)

สำหรับข้อมูลที่มีค่าจริงของคุณคุณจะทำสิ่งต่อไปนี้:

1. พูลสองผองเพื่อนของคุณ
2. จากกลุ่มตัวอย่างกลุ่ม 1000 องค์ประกอบสองกลุ่มที่มีการเปลี่ยน
3. คำนวณความแตกต่างของค่าเฉลี่ยตัวอย่างระหว่างสองกลุ่ม
4. ทำซ้ำขั้นตอนที่ 2 และ 3 สองสามพันครั้งเพื่อพัฒนาการกระจายความแตกต่างเหล่านี้

เมื่อคุณมีการแจกแจงแล้วให้คำนวณความแตกต่างของค่าเฉลี่ยสำหรับตัวอย่างจริงของคุณและคำนวณค่า p

ฉันตอบ @Meritology เป็นครั้งที่สอง อันที่จริงฉันสงสัยว่าการทดสอบ MWU นั้นจะมีประสิทธิภาพน้อยกว่าการทดสอบสัดส่วนอิสระหรือไม่เนื่องจากตำราที่ฉันเรียนรู้และใช้ในการสอนกล่าวว่า MWU สามารถนำไปใช้กับข้อมูลลำดับ (หรือช่วง / อัตราส่วน) เท่านั้น

แต่ผลการจำลองของฉันพล็อตด้านล่างระบุว่าการทดสอบ MWU นั้นมีประสิทธิภาพมากกว่าการทดสอบสัดส่วนเล็กน้อยในขณะที่การควบคุมข้อผิดพลาดประเภทที่ 1 ได้ดี (ที่สัดส่วนประชากรของกลุ่ม 1 = 0.50)

สัดส่วนประชากรของกลุ่ม 2 ถูกเก็บไว้ที่ 0.50 จำนวนการทำซ้ำคือ 10,000 ในแต่ละจุด ฉันทำซ้ำการจำลองโดยไม่ต้องแก้ไขของ Yate แต่ผลลัพธ์ก็เหมือนกัน

library(reshape)

MakeBinaryData <- function(n1, n2, p1){
  y <- c(rbinom(n1, 1, p1), 
        rbinom(n2, 1, 0.5))
  g_f <- factor(c(rep("g1", n1), rep("g2", n2)))
  d <- data.frame(y, g_f)
  return(d)
}

GetPower <- function(n_iter, n1, n2, p1, alpha=0.05, type="proportion", ...){
  if(type=="proportion") {
    p_v <- replicate(n_iter, prop.test(table(MakeBinaryData(n1, n1, p1)), ...)$p.value)
  }

  if(type=="MWU") {
    p_v <- replicate(n_iter, wilcox.test(y~g_f, data=MakeBinaryData(n1, n1, p1))$p.value)
  }

  empirical_power <- sum(p_v<alpha)/n_iter
  return(empirical_power)
}

p1_v <- seq(0.5, 0.6, 0.01)
set.seed(1)
power_proptest <- sapply(p1_v, function(x) GetPower(10000, 1000, 1000, x))
power_mwu <- sapply(p1_v, function(x) GetPower(10000, 1000, 1000, x, type="MWU"))