คำถามติดแท็ก optimal-stopping

ฉันเป็นนักพัฒนาซอฟต์แวร์ที่ทำงานกับระบบทดสอบ A / B ฉันไม่มีภูมิหลังที่มั่นคง แต่ได้รับความรู้ในช่วงไม่กี่เดือนที่ผ่านมา สถานการณ์จำลองการทดสอบทั่วไปเกี่ยวข้องกับการเปรียบเทียบ URL สองรายการบนเว็บไซต์ เข้าชมผู้เข้าชมLANDING_URLแล้วจะถูกส่งต่อไปยังสุ่มอย่างใดอย่างหนึ่งหรือURL_CONTROL URL_EXPERIMENTALผู้เข้าชมเป็นตัวอย่างและเงื่อนไขแห่งชัยชนะจะเกิดขึ้นเมื่อผู้เข้าชมดำเนินการที่ต้องการบนไซต์นั้น นี่ถือเป็นการแปลงและอัตราของอัตราการแปลงคืออัตราการแปลง (โดยทั่วไปจะแสดงเป็นเปอร์เซ็นต์) อัตราการแปลงทั่วไปสำหรับ URL ที่ระบุคือบางสิ่งในขอบเขต 0.01% ถึง 0.08% เราทำการทดสอบเพื่อกำหนดว่า URL ใหม่เปรียบเทียบกับ URL เก่าอย่างไร ถ้าURL_EXPERIMENTALแสดงให้เห็นว่าดีกว่าURL_CONTROLเราแทนด้วยURL_CONTROLURL_EXPERIMENTAL เราได้พัฒนาระบบโดยใช้เทคนิคการทดสอบสมมติฐานอย่างง่าย ฉันใช้คำตอบของคำถาม CrossValidated อื่นที่นี่เพื่อพัฒนาระบบนี้ มีการตั้งค่าการทดสอบดังนี้: การประมาณการอัตราการแปลงCRE_CONTROLของURL_CONTROLถูกคำนวณโดยใช้ข้อมูลประวัติ อัตราการแปลงเป้าหมายที่ต้องการCRE_EXPERIMENTALของURL_EXPERIMENTALการตั้งค่า โดยทั่วไปจะใช้ระดับนัยสำคัญ 0.95 โดยทั่วไปจะใช้พลังงาน 0.8 เมื่อรวมกันค่าเหล่านี้ทั้งหมดจะถูกใช้เพื่อคำนวณขนาดตัวอย่างที่ต้องการ ฉันใช้ฟังก์ชัน R power.prop.testเพื่อให้ได้ขนาดตัวอย่างนี้ การทดสอบจะทำงานจนกว่าจะมีการเก็บตัวอย่างทั้งหมด ณ จุดนี้ช่วงความเชื่อมั่นสำหรับ CR_CONTROLและCR_EXPERIMENTALถูกคำนวณ หากพวกเขาไม่ทับซ้อนกันผู้ชนะสามารถประกาศได้ที่ระดับนัยสำคัญ 0.95 และพลังของ 0.8 ผู้ใช้การทดสอบของเรามีข้อกังวลหลักสองประการ: 1. …

18 power-analysis  ab-test  sequential-analysis  optimal-stopping 

กฎการหยุดส่งผลกระทบต่อความสัมพันธ์ระหว่างค่า P และอัตราข้อผิดพลาดที่เกี่ยวข้องกับการตัดสินใจ รายงานล่าสุดโดย Simmons และคณะ 2011เหรียญเป็นปริญญาอิสระของนักวิจัยเพื่ออธิบายชุดของพฤติกรรมที่พวกเขาคิดว่าจะรับผิดชอบต่อรายงานจำนวนมากในวรรณคดีจิตวิทยาที่พบว่าไม่สามารถทำซ้ำได้ จากพฤติกรรมเหล่านั้นกฎการหยุดชั่วคราวหรือการวิเคราะห์ชั่วคราวที่ไม่ได้ประกาศเป็นสิ่งที่ฉันสนใจในขณะนี้ฉันอธิบายถึงผลกระทบของอัตราความผิดพลาดที่มีต่อนักเรียนของฉัน แต่ดูเหมือนจะไม่ได้อธิบายไว้ในหนังสือเรียนที่นักเรียนใช้ ใช้!). ในร้านหนังสือหลักในมหาวิทยาลัยของฉันมีหนังสือสถิติสิบสี่เล่มที่มุ่งเป้าไปที่นักเรียนระดับเบื้องต้นในสาขาวิชาต่าง ๆ เช่นวิทยาศาสตร์ชีวภาพธุรกิจวิศวกรรม ฯลฯ มีเพียงตำราเดียวเท่านั้นที่มีรายการดัชนี "การทดสอบตามลำดับ" และไม่มีรายการดัชนี ' หยุดกฎ ' มีตำราสถิติระดับเบื้องต้นที่อธิบายถึงปัญหากฎการหยุดแบบไม่บังคับหรือไม่? Simmons, JP, Nelson, LD และ Simonsohn, U. (2011) false-positive จิตวิทยา: ความยืดหยุ่นไม่เปิดเผยในการเก็บรวบรวมข้อมูลและการวิเคราะห์อนุญาตให้นำเสนอสิ่งใดเป็นสําคัญ วิทยาศาสตร์จิตวิทยา, 22 (11), 1359–1366 ดอย: 10.1177 / 0956797611417632

16 references  type-i-and-ii-errors  optimal-stopping 

ฉันรับผิดชอบในการนำเสนอผลการทดสอบ A / B (ทำงานกับรูปแบบของเว็บไซต์) ที่ บริษัท ของฉัน เราใช้ทดสอบเป็นเวลาหนึ่งเดือนแล้วตรวจสอบค่า P-ในช่วงเวลาปกติจนกว่าจะถึงอย่างมีนัยสำคัญ (หรือละทิ้งความสำคัญถ้าไม่ถึงหลังจากใช้ทดสอบเป็นเวลานาน) บางสิ่งบางอย่างตอนนี้ผมกำลังหาออกเป็นปฏิบัติเข้าใจผิด ฉันต้องการที่จะหยุดการปฏิบัตินี้ในขณะนี้ แต่การทำเช่นนั้นฉันต้องการที่จะเข้าใจว่าทำไมมันผิด ฉันเข้าใจว่าขนาดของเอฟเฟกต์ขนาดตัวอย่าง (N) เกณฑ์นัยสำคัญของอัลฟา (α) และกำลังทางสถิติหรือเบต้าที่เลือกหรือโดยนัย (β) มีความสัมพันธ์ทางคณิตศาสตร์ แต่สิ่งที่เปลี่ยนแปลงเมื่อเราหยุดการทดสอบของเราก่อนที่เราจะถึงขนาดตัวอย่างที่ต้องการ? ฉันได้อ่านโพสต์ไม่กี่ที่นี่ (คือนี้ , นี้และนี้ ) และพวกเขาบอกฉันว่าประมาณการของฉันจะลำเอียงและอัตราการของฉันประเภทที่ 1 การเพิ่มขึ้นของข้อผิดพลาดอย่างมาก แต่มันเกิดขึ้นได้อย่างไร? ฉันกำลังมองหาคำอธิบายทางคณิตศาสตร์บางอย่างที่จะแสดงผลของขนาดตัวอย่างต่อผลลัพธ์อย่างชัดเจน ฉันเดาว่ามันมีบางอย่างเกี่ยวกับความสัมพันธ์ระหว่างปัจจัยที่ฉันกล่าวถึงข้างต้น แต่ฉันไม่สามารถค้นหาสูตรที่แน่นอนและทำงานออกมาได้ด้วยตัวเอง สำหรับตัวอย่างเช่นการหยุดการทดสอบจะเพิ่มอัตราความผิดพลาด Type 1 ก่อนกำหนด Alright แต่ทำไม เกิดอะไรขึ้นเพื่อเพิ่มอัตราข้อผิดพลาดประเภท 1 ฉันขาดสัญชาตญาณตรงนี้ ช่วยด้วย.

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

สมมติว่าคุณต้องการตกปลาที่ทะเลสาบใกล้เคียงตั้งแต่ 8.00 น. - 20.00 น. เนื่องจากการประมงมากเกินไปจึงมีกฎหมายเข้ามากล่าวว่าคุณสามารถจับปลาได้วันละหนึ่งตัวเท่านั้น เมื่อคุณจับปลาคุณสามารถเลือกที่จะเก็บมันไว้ (และกลับบ้านไปกับปลาตัวนั้น) หรือโยนมันกลับเข้าไปในทะเลสาบและทำการตกปลาต่อไป (แต่เสี่ยงต่อการตกปลาในภายหลังด้วยปลาตัวเล็ก ๆ หรือไม่มีปลาเลย) คุณต้องการที่จะจับปลาตัวใหญ่เท่าที่จะทำได้ โดยเฉพาะคุณต้องการเพิ่มจำนวนปลาที่คาดว่าจะนำกลับบ้านให้ได้มากที่สุด อย่างเป็นทางการเราอาจตั้งค่าปัญหานี้ดังนี้: ปลาถูกจับในอัตราที่แน่นอน (ดังนั้นเวลาที่ใช้ในการจับปลาต่อไปของคุณจะเป็นไปตามการแจกแจงแบบเอ็กซ์โปเนนเชียลที่รู้จัก) และขนาดของปลาที่จับได้ . เราต้องการกระบวนการตัดสินใจที่กำหนดเวลาปัจจุบันและขนาดของปลาที่คุณเพิ่งจับตัดสินใจว่าจะเก็บปลาหรือทิ้งมัน ดังนั้นคำถามคือการตัดสินใจนี้ควรทำอย่างไร? มีวิธีที่เรียบง่าย (หรือซับซ้อน) ในการตัดสินใจว่าจะหยุดตกปลาเมื่อไหร่? ฉันคิดว่าปัญหานั้นเทียบเท่ากับการพิจารณาในช่วงเวลาที่กำหนด t สิ่งที่คาดว่าจะได้จากการหาปลาที่ดีที่สุดจะกลับบ้านถ้าพวกเขาเริ่มในเวลา t; กระบวนการตัดสินใจที่ดีที่สุดจะทำให้ปลาได้หากว่าหากว่าปลานั้นหนักกว่าที่คาดไว้ แต่ดูเหมือนว่าการอ้างอิงตนเอง; เรากำหนดกลยุทธ์การตกปลาที่ดีที่สุดในแง่ของการตกปลาที่ดีที่สุดและฉันไม่แน่ใจว่าจะดำเนินการต่อไปได้อย่างไร

10 stochastic-processes  optimal-stopping