ขนาดตัวอย่างที่ต้องการเพื่อพิจารณาว่าชุดโฆษณาใดที่มีอัตราการคลิกผ่านสูงสุด

ฉันเป็นนักออกแบบซอฟต์แวร์โดยการแลกเปลี่ยนและฉันกำลังทำงานในโครงการสำหรับลูกค้าและฉันต้องการตรวจสอบให้แน่ใจว่าการวิเคราะห์ของฉันมีสถิติที่ดี

พิจารณาสิ่งต่อไปนี้: เรามีโฆษณาn รายการ (n <10) และเราต้องการทราบว่าโฆษณาใดมีประสิทธิภาพดีที่สุด เซิร์ฟเวอร์โฆษณาของเราจะแสดงโฆษณาเหล่านี้แบบสุ่ม ความสำเร็จคือถ้าผู้ใช้คลิกที่โฆษณา - เซิร์ฟเวอร์ของเราคอยติดตามสิ่งนั้น

ให้ไว้: ช่วงความเชื่อมั่น: 95%

คำถาม: ขนาดตัวอย่างโดยประมาณคืออะไร? (เราต้องแสดงโฆษณาทั้งหมดกี่รายการ) ทำไม (จำได้ว่าฉันเป็นคนบ้า ๆ บอ ๆ )

ขอบคุณ

— โจนาธาน
แหล่งที่มา

คุณสามารถอธิบายสิ่งที่คุณหมายถึงโดย "ระยะขอบของข้อผิดพลาด 5%"?

— onestop

@onestop - การชี้แจงที่ดี - ฉันลบมันออกจากคำถาม ฉันเพิ่งเอาตัวแปรนั้นมาจากเครื่องคำนวณขนาดตัวอย่างต่อไปนี้: raosoft.com/samplesize.html แต่ฉันไม่คิดว่ามันจะเกี่ยวข้องกับคำถามนี้ ขอบคุณ!

— Jonathan

สำหรับการทดสอบหลาย ๆ แบบคุณสามารถคำนวณขนาดตัวอย่างเพื่อให้การทดสอบได้รับกำลังงานบางอย่างที่กำหนดขนาดเอฟเฟกต์ที่คาดเดาไว้ กล่าวอีกนัยหนึ่งคุณต้องระบุสิ่งเหล่านี้ก่อน: 1) คุณต้องการใช้การทดสอบแบบใด 2) คุณต้องการให้การทดสอบนั้นมีพลังอะไร เงื่อนไขใน 3) ขนาดผลที่คุณคิดว่าน่าสนใจ 1) เป็นสิ่งที่คนที่นี่อาจช่วยคุณได้ 2) อาจเกี่ยวข้องกับ 95% ที่คุณระบุ 3) อย่างไรก็ตามสิ่งที่คุณต้องเตรียมไว้ก่อน: ความน่าจะเป็นที่แตกต่างกันจะต้องได้รับการพิจารณาว่าน่าสนใจแตกต่างกันอย่างไร

— caracal

ดังนั้นถ้าฉันต้องให้พารามิเตอร์เพิ่มเติมที่นี่คุณไป: 1. ทดสอบการใช้ - ไม่มีความคิด - คุณมีคำแนะนำหรือไม่ 2. พลังงาน : แม้หลังจากดูคำจำกัดความของวิกิพีเดีย - ฉันไม่รู้ว่าจะตอบอย่างชาญฉลาดได้อย่างไร 3. ขนาดเอฟเฟกต์ : ให้พูดได้ดีขึ้น 10%

— Jonathan

การทดสอบคุณอาจต้องการคือการทดสอบที่แน่นอนฟิชเชอร์ น่าเสียดายเนื่องจากอัตราการคลิกผ่านที่ต่ำมากและขนาดของเอฟเฟกต์ที่คาดหวังต่ำคุณจะต้องมี N มากเพื่อให้ได้ช่วงความมั่นใจที่คุณต้องการ ให้บอกว่าอัตราการคลิกผ่านที่ 'จริง' ของโฆษณาที่ดีที่สุดของคุณคือ 0.11 และดีที่สุดอันดับสองของคุณ 0.1 นอกจากนี้สมมติว่าคุณต้องการความน่าจะเป็นที่คุณไม่สามารถปฏิเสธสมมติฐานว่างได้อย่างไม่ถูกต้อง (ซึ่งไม่มีความแตกต่างระหว่างโฆษณาสองรายการ) น้อยกว่า. 20 หากเป็นเช่นนั้นคุณจะต้องมี N ตามลำดับ 10,000

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

ตามที่ผู้วิจารณ์แนะนำไว้คุณไม่ควรสนใจเกี่ยวกับประสิทธิภาพของโฆษณาสิบเปอร์เซ็นต์ สำหรับความแตกต่างขั้นต้นขนาดที่จำเป็นของตัวอย่างจะลดลงอย่างรวดเร็ว

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785

— fgregg
แหล่งที่มา