การสัมมนาทางเว็บในวันอื่น ๆ โดย บริษัท ทดสอบ a / b มีผู้อยู่อาศัย "นักวิทยาศาสตร์ข้อมูล" ของพวกเขาอธิบายว่าคุณควรตรวจสอบความถูกต้องของผลลัพธ์ของคุณโดยทำการทดสอบอีกครั้ง สถานที่ตั้งคือถ้าคุณเลือกความมั่นใจ 95% มีโอกาส 5% (1/20) ของการบวกผิด หากคุณเรียกใช้การทดสอบอีกครั้งด้วยข้อ จำกัด เดียวกันตอนนี้มี 1/400 (ฉันสมมติว่าพวกเขาระบุว่าเป็น 0.05 ^ 2 = 1/400)
นี่เป็นคำสั่งที่ถูกต้องหรือไม่? (กล่าวคือ "รันสองครั้งความสำคัญทางสถิติทั้งสองชนะ = ความน่าจะเป็นที่ผิดพลาด 1/400 บวก")? เป็นวิธีที่ดีกว่าหรือไม่ที่จะเพิ่มระดับนัยสำคัญของคุณ?
จากมุมมองทางธุรกิจสิ่งที่ฉันกังวลคือการเรียกใช้การทดสอบอีกครั้งคุณกำลังเปิดเผยผู้ใช้มากขึ้นไปยังหน้าเว็บที่ด้อยกว่า (การรักษา) และทำให้ยอดขายที่อาจเกิดขึ้นลดลง
2
สวัสดีจอห์นยินดีต้อนรับสู่ Stats.SE! หากคุณพอใจกับคำตอบอย่างใดอย่างหนึ่งคุณควรยอมรับหนึ่งในนั้นหรือให้คำถามที่ชัดเจนยิ่งขึ้นเกี่ยวกับสิ่งที่คุณกำลังมองหา
—
Christopher Aden
จอห์นฉันสงสัยว่าปัญหาจริงเกี่ยวข้องกับบริบท ยากที่ผู้คนจะอุทิศทรัพยากรเพื่อการเรียนรู้เพียงครั้งเดียว: พวกเขาต้องการใช้ประโยชน์จากข้อมูลให้มากที่สุดด้วยเหตุผลที่ดี นั่นหมายความว่าแต่ละชุดข้อมูลจะใช้สำหรับการทดสอบหลายชุด ยิ่งกว่านั้นบางครั้งการทดสอบนั้นเป็นแบบโพสต์เฉพาะกิจ : พวกเขาได้รับแรงบันดาลใจจากรูปแบบที่เห็นในข้อมูล ในกรณีเช่นนี้การทดสอบไม่มีความมั่นใจ 95% (หรืออะไรก็ตาม) ที่ต้องการและการจำลองแบบเป็นสิ่งจำเป็น ดังนั้น: คุณหมายถึงอะไรโดย "การทดลอง" คำตอบขึ้นอยู่กับรายละเอียดเล็ก ๆ น้อย ๆ !
—
whuber
เกี่ยวกับการทำซ้ำการทดสอบและค่านัยสำคัญตรวจสอบการ์ตูน XKCD นี้: xkcd.com/882 หลังจากอ่านแล้ว
—
Lucas Gallindo
whuber: ขออภัยที่ไม่มีรายละเอียดฉันกำลังอ้างอิงการเพิ่มประสิทธิภาพเว็บไซต์ดังนั้นการทดสอบตัวอย่างจะเป็นการทดลองหน้าแรกของฉันสองเวอร์ชันโดยแบ่งผู้ใช้ 50/50 ออกจากกัน
—
John