ฉันควรใช้แบบจำลองทางสถิติใดในการวิเคราะห์ความน่าจะเป็นที่เหตุการณ์เดียวมีผลต่อข้อมูลระยะยาว

ฉันกำลังพยายามค้นหาสูตรวิธีการหรือแบบจำลองเพื่อใช้ในการวิเคราะห์ความน่าจะเป็นที่เหตุการณ์เฉพาะนั้นมีผลต่อข้อมูลระยะยาว ฉันกำลังหาสิ่งที่จะค้นหาใน Google ได้ยาก

นี่คือสถานการณ์ตัวอย่าง:

ภาพที่คุณเป็นเจ้าของธุรกิจที่มีลูกค้าโดยเฉลี่ย 100 คนต่อวัน อยู่มาวันหนึ่งคุณตัดสินใจว่าคุณต้องการเพิ่มจำนวนลูกค้าที่เดินเข้ามาในร้านของคุณในแต่ละวันดังนั้นคุณจึงดึงการแสดงความสามารถออกไปข้างนอกร้านเพื่อรับความสนใจ ในสัปดาห์หน้าคุณจะเห็นลูกค้าโดยเฉลี่ย 125 คนต่อวัน

ในอีกไม่กี่เดือนข้างหน้าคุณตัดสินใจอีกครั้งว่าคุณต้องการทำธุรกิจเพิ่มและอาจต้องใช้เวลานานกว่านี้ดังนั้นคุณลองทำสิ่งสุ่มอื่น ๆ เพื่อรับลูกค้าในร้านของคุณ แต่น่าเสียดายที่คุณไม่ใช่นักการตลาดที่ดีที่สุดและกลยุทธ์บางอย่างของคุณมีผลเพียงเล็กน้อยหรือไม่มีเลยและอื่น ๆ ก็มีผลกระทบด้านลบ

ฉันสามารถใช้วิธีการใดในการพิจารณาความน่าจะเป็นที่เหตุการณ์ใดเหตุการณ์หนึ่งในเชิงบวกหรือเชิงลบส่งผลกระทบต่อจำนวนลูกค้าที่เดินเข้ามา? ฉันตระหนักดีว่าความสัมพันธ์ไม่จำเป็นต้องมีสาเหตุที่เท่าเทียมกัน แต่ฉันจะใช้วิธีการใดในการพิจารณาว่าการเพิ่มหรือลดของการเดินในชีวิตประจำวันของธุรกิจของคุณในการติดตามเหตุการณ์เฉพาะของลูกค้าเป็นอย่างไร

ฉันไม่ได้สนใจที่จะวิเคราะห์ว่ามีความสัมพันธ์ระหว่างความพยายามของคุณในการเพิ่มจำนวนลูกค้าที่เดินเข้ามาหรือไม่ แต่จะมีเหตุการณ์ใดเหตุการณ์หนึ่งที่เป็นอิสระจากผู้อื่นหรือไม่

ฉันรู้ว่าตัวอย่างนี้มีการวางแผนและค่อนข้างง่ายดังนั้นฉันจะให้คำอธิบายสั้น ๆ เกี่ยวกับข้อมูลจริงที่ฉันใช้:

ฉันพยายามกำหนดผลกระทบที่เอเจนซี่การตลาดหนึ่ง ๆ มีต่อเว็บไซต์ของลูกค้าเมื่อพวกเขาเผยแพร่เนื้อหาใหม่ดำเนินการแคมเปญโซเชียลมีเดีย ฯลฯ สำหรับเอเจนซี่หนึ่ง ๆ พวกเขาอาจมีลูกค้าตั้งแต่ 1 ถึง 500 ลูกค้าแต่ละรายมีเว็บไซต์ตั้งแต่ขนาด 5 หน้าไปจนถึงมากกว่า 1 ล้านหน้า ตลอดระยะเวลา 5 ปีที่ผ่านมาแต่ละหน่วยงานมีคำอธิบายประกอบทั้งหมดสำหรับลูกค้าแต่ละรายรวมถึงประเภทของงานที่ทำจำนวนหน้าเว็บในเว็บไซต์ที่ได้รับอิทธิพลจำนวนชั่วโมงที่ใช้ ฯลฯ

การใช้ข้อมูลข้างต้นซึ่งฉันได้รวบรวมไว้ในคลังข้อมูล (วางลงในพวงของสตาร์ / เกล็ดหิมะ) ฉันต้องพิจารณาว่ามีความเป็นไปได้ที่งานชิ้นใดชิ้นหนึ่ง (เหตุการณ์ใดเหตุการณ์หนึ่งในเวลา) มีผลกระทบต่อ การรับส่งข้อมูลการกดปุ่มเพจใด ๆ / ทั้งหมดได้รับอิทธิพลจากชิ้นงานเฉพาะ ฉันได้สร้างแบบจำลองสำหรับเนื้อหาที่แตกต่างกัน 40 ประเภทที่พบในเว็บไซต์ที่อธิบายรูปแบบการรับส่งข้อมูลทั่วไปที่หน้าเว็บที่มีประเภทเนื้อหาดังกล่าวอาจพบได้ตั้งแต่วันเปิดตัวจนถึงปัจจุบัน การทำให้เป็นมาตรฐานเมื่อเทียบกับแบบจำลองที่เหมาะสมฉันจำเป็นต้องกำหนดจำนวนสูงสุดและต่ำสุดของผู้เข้าชมที่เพิ่มขึ้นหรือลดลงซึ่งเป็นหน้าที่เฉพาะที่ได้รับเนื่องจากผลงานที่เฉพาะเจาะจง

ในขณะที่ฉันมีประสบการณ์เกี่ยวกับการวิเคราะห์ข้อมูลพื้นฐาน (การถดถอยเชิงเส้นและหลายแบบสหสัมพันธ์ ฯลฯ ) ฉันกำลังสูญเสียวิธีการแก้ปัญหานี้ ในอดีตที่ผ่านมาฉันมักจะวิเคราะห์ข้อมูลด้วยการวัดหลายครั้งสำหรับแกนที่กำหนด (ตัวอย่างเช่นอุณหภูมิเทียบกับความกระหาย vs สัตว์และกำหนดผลกระทบต่อความกระหายที่เพิ่มความอบอุ่นมีสัตว์ข้าม) ฉันรู้สึกว่าข้างบนฉันพยายามวิเคราะห์ผลกระทบ ของเหตุการณ์เดี่ยวในบางช่วงเวลาสำหรับชุดข้อมูลที่ไม่เป็นเชิงเส้น แต่สามารถคาดการณ์ได้ (หรืออย่างน้อยสามารถจำลองได้) ชุดข้อมูลแบบยาว ฉันนิ่งงัน: (

ความช่วยเหลือเคล็ดลับพอยน์เตอร์คำแนะนำหรือคำแนะนำใด ๆ จะเป็นประโยชน์อย่างยิ่งและฉันจะขอบคุณตลอดไป!

สำหรับบันทึกฉันคิดว่านี่เป็นคำถามประเภทที่สมบูรณ์แบบสำหรับวิทยาศาสตร์การแลกเปลี่ยนข้อมูล ฉันหวังว่าเราจะได้รับตัวอย่างของปัญหาข้อมูลจริงและมุมมองที่หลากหลายเกี่ยวกับวิธีที่ดีที่สุดในการแก้ปัญหาเหล่านั้น

ฉันขอแนะนำให้คุณไม่ใช้ค่า p เนื่องจากอาจทำให้เข้าใจผิดได้ ( 1 , 2 ) วิธีการของฉันขึ้นอยู่กับคุณว่าคุณสามารถสรุปปริมาณการใช้ข้อมูลในหน้าเว็บที่กำหนดก่อนและหลังการแทรกแซง สิ่งที่คุณสนใจคือความแตกต่างของอัตราก่อนและหลังการแทรกแซง นั่นคือจำนวนครั้งที่มีการเปลี่ยนแปลงต่อวันเป็นอย่างไร ด้านล่างนี้ฉันอธิบายวิธีการแทงครั้งแรกด้วยข้อมูลตัวอย่างจำลอง จากนั้นฉันจะอธิบายหลุมพรางที่อาจเกิดขึ้น (และสิ่งที่ฉันจะทำเกี่ยวกับมัน)

ก่อนอื่นลองคิดถึงหน้าก่อนและหลังการแทรกแซง แกล้งการแทรกแซงเพิ่มการเข้าชมต่อวันประมาณ 15%:

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

def simulate_data(true_diff=0):
    #First choose a number of days between [1, 1000] before the intervention
    num_before = np.random.randint(1, 1001)

    #Next choose a number of days between [1, 1000] after the intervention
    num_after = np.random.randint(1, 1001)

    #Next choose a rate for before the intervention. How many views per day on average?
    rate_before = np.random.randint(50, 151)

    #The intervention causes a `true_diff` increase on average (but is also random)
    rate_after = np.random.normal(1 + true_diff, .1) * rate_before

    #Simulate viewers per day:
    vpd_before = np.random.poisson(rate_before, size=num_before)
    vpd_after = np.random.poisson(rate_after, size=num_after)

    return vpd_before, vpd_after

vpd_before, vpd_after = simulate_data(.15)

plt.hist(vpd_before, histtype="step", bins=20, normed=True, lw=2)
plt.hist(vpd_after, histtype="step", bins=20, normed=True, lw=2)
plt.legend(("before", "after"))
plt.title("Views per day before and after intervention")
plt.xlabel("Views per day")
plt.ylabel("Frequency")
plt.show()

เราสามารถเห็นได้อย่างชัดเจนว่าการแทรกแซงเพิ่มจำนวนครั้งต่อวันโดยเฉลี่ย แต่เพื่อให้ปริมาณความแตกต่างของอัตราเราควรใช้การแทรกแซงของ บริษัท หนึ่งสำหรับหลาย ๆ หน้า เนื่องจากอัตราพื้นฐานจะแตกต่างกันสำหรับแต่ละหน้าเราควรคำนวณเปอร์เซ็นต์การเปลี่ยนแปลงอัตรา (อีกครั้งอัตราที่นี่คือจำนวนการเข้าชมต่อวัน)

ทีนี้มาทำท่าว่าเรามีข้อมูลสำหรับn = 100หน้าซึ่งแต่ละอันได้รับการแทรกแซงจาก บริษัท เดียวกัน เพื่อให้ได้ความแตกต่างเปอร์เซ็นต์ที่เราได้รับ (ค่าเฉลี่ย (จำนวนครั้งต่อวันก่อนหน้า) - ค่าเฉลี่ย (จำนวนครั้งต่อวันหลัง)) / ค่าเฉลี่ย (จำนวนครั้งต่อวันก่อน):

n = 100

pct_diff = np.zeros(n)

for i in xrange(n):
    vpd_before, vpd_after = simulate_data(.15)
    # % difference. Note: this is the thing we want to infer
    pct_diff[i] = (vpd_after.mean() - vpd_before.mean()) / vpd_before.mean()

plt.hist(pct_diff)
plt.title("Distribution of percent change")
plt.xlabel("Percent change")
plt.ylabel("Frequency")
plt.show()

ตอนนี้เรามีการแจกแจงพารามิเตอร์ที่เราสนใจแล้ว! เราสามารถค้นหาผลลัพธ์นี้ได้หลายวิธี ตัวอย่างเช่นเราอาจต้องการทราบโหมดหรือ (โดยประมาณ) ค่าที่เป็นไปได้มากที่สุดสำหรับการเปลี่ยนแปลงเปอร์เซ็นต์นี้:

def mode_continuous(x, num_bins=None):
    if num_bins is None:
        counts, bins = np.histogram(x)
    else:
        counts, bins = np.histogram(x, bins=num_bins)

    ndx = np.argmax(counts)
    return bins[ndx:(ndx+1)].mean()

mode_continuous(pct_diff, 20)

เมื่อฉันทำสิ่งนี้ฉันได้ 0.126 ซึ่งไม่เลวเมื่อพิจารณาการเปลี่ยนแปลงเปอร์เซ็นต์ที่แท้จริงของเราคือ 15 เราสามารถเห็นจำนวนการเปลี่ยนแปลงเชิงบวกซึ่งใกล้เคียงกับความเป็นไปได้ที่การแทรกแซงของ บริษัท จะปรับปรุงการเข้าชมต่อวัน:

(pct_diff > 0).mean()

ที่นี่ผลลัพธ์ของฉันคือ 0.93 ดังนั้นเราสามารถบอกได้ว่ามีโอกาสค่อนข้างดีที่ บริษัท นี้จะมีประสิทธิภาพ

ในที่สุดข้อผิดพลาดที่อาจเกิดขึ้น: แต่ละหน้าอาจมีแนวโน้มพื้นฐานบางอย่างที่คุณควรคำนึงถึง นั่นคือแม้ว่าจะไม่มีการแทรกแซง แต่การเข้าชมต่อวันอาจเพิ่มขึ้น ในการพิจารณาเรื่องนี้ฉันจะประเมินการถดถอยเชิงเส้นอย่างง่าย ๆ ที่ตัวแปรผลลัพธ์คือจำนวนการเข้าชมต่อวันและตัวแปรอิสระคือวัน (เริ่มต้นที่วันที่ 0 = และเพิ่มขึ้นทุกวันในตัวอย่างของคุณ) จากนั้นลบค่าประมาณ y_hat จากจำนวนการเข้าชมต่อวันเพื่อยกเลิกการจัดวางข้อมูลของคุณ จากนั้นคุณสามารถทำตามขั้นตอนข้างต้นและมั่นใจได้ว่าความแตกต่างเปอร์เซ็นต์บวกนั้นไม่ได้เกิดจากเทรนด์พื้นฐาน แน่นอนแนวโน้มอาจไม่เป็นเชิงเส้นดังนั้นให้ใช้ดุลยพินิจ! โชคดี!

ย้อนกลับไปในวันนักวิเคราะห์ข้อมูลของฉันปัญหาประเภทนี้ค่อนข้างธรรมดา โดยพื้นฐานแล้วทุกคนในด้านการตลาดจะเกิดความคิดที่บ้าว่าการขายให้สูงขึ้นเป็นเหตุการณ์เดียวที่จะเพิ่ม KPI ของ 2000% ups ที่สูงขึ้นจะอนุมัติพวกเขาแล้วพวกเขาก็จะเริ่ม "ทดสอบ" ของพวกเขา ผลลัพธ์จะกลับมาอีกครั้งและฝ่ายจัดการจะทิ้งมันลงในนักวิเคราะห์ข้อมูลเพื่อกำหนดว่าอะไรที่ใช้ได้ผลและใครเป็นคนทำ

คำตอบสั้น ๆ ก็คือคุณไม่สามารถรู้ได้จริง ๆ ว่ามันไม่ได้เป็นการทดสอบแบบ A / B แบบสุ่มในช่วงเวลาเช่นเดียวกัน แต่ฉันรู้ดีว่าคำตอบนั้นมีข้อบกพร่องเพียงใดโดยเฉพาะอย่างยิ่งหากความจริงที่ว่าไม่มีคำตอบที่แท้จริงนั้นไม่เกี่ยวข้องกับความเร่งด่วนในการตัดสินใจทางธุรกิจในอนาคต นี่คือเทคนิคบางอย่างที่ฉันจะใช้เพื่อกอบกู้การวิเคราะห์ในสถานการณ์นี้จำไว้ว่านี่เป็นศิลปะมากกว่าวิทยาศาสตร์

จับ

หมายเลขอ้างอิงเป็นสิ่งที่มีอยู่ในข้อมูลที่คุณสามารถเก็บไว้ จากสิ่งที่คุณบอกฉันในสถานการณ์ของคุณคุณมีข้อมูลมากมายว่าหน่วยงานการตลาดคือใครเมื่อพวกเขาลองใช้กลยุทธ์และเว็บไซต์ที่พวกเขานำไปใช้ นี่คือจุดเริ่มต้นและข้อมูลของคุณเช่นนี้แหละคือมุมสำคัญของการวิเคราะห์ของคุณ

ระเบียบวิธี

วิธีการนั้นอาจจะได้รับผลกระทบที่แข็งแกร่งที่สุดซึ่งเอเจนซี่ได้รับเครดิตสำหรับผลกำไรใด ๆ และทั้งหมดดังนั้นคุณจะต้องตรวจสอบให้แน่ใจว่ามันเป็นโครงร่างที่ชัดเจนและผู้ถือผลประโยชน์ทั้งหมดเห็นด้วย หากคุณไม่สามารถทำเช่นนั้นมันจะเป็นเรื่องยากสำหรับคนที่เชื่อถือการวิเคราะห์ของคุณ

ตัวอย่างนี้คือการแปลง สมมติว่าฝ่ายการตลาดซื้อโอกาสในการขายและพวกเขามาถึงหน้า Landing Page ของเราเราจะติดตามพวกเขาเป็นเวลา 3 วันหากพวกเขาทำการซื้อภายในเวลานั้นเราจะนับว่าพวกเขาได้รับการดัดแปลง ทำไม 3 วันทำไมไม่ 5 หรือ 1 นั่นไม่สำคัญตราบใดที่ทุกคนเห็นด้วยตอนนี้คุณมีคำจำกัดความที่คุณสามารถสร้างได้

เปรียบเทียบ

ในอุดมคติคุณจะมีการทดสอบ A / B ที่ดีเพื่อพิสูจน์ความสัมพันธ์ที่ชัดเจนฉันจะสมมติว่าคุณกำลังทำอะไรสั้น ๆ อยู่คุณยังสามารถเรียนรู้บางสิ่งจากการเปรียบเทียบข้อมูลอย่างง่าย เมื่อ บริษัท พยายามที่จะพิจารณาประสิทธิภาพของการโฆษณาทางวิทยุพวกเขามักจะลงโฆษณาในเดือนที่ชดเชยในตลาดเดียวกันหรือเป็นเวลาหลายเดือนในตลาดเดียวและเปรียบเทียบกับผลลัพธ์ในตลาดที่แยกจากกัน แต่คล้ายคลึงกัน มันไม่ผ่านวิทยาศาสตร์ แต่ถึงแม้จะมีเสียงรบกวนก็ตามผลลัพธ์ที่แข็งแกร่งก็แทบจะสังเกตได้

ฉันจะรวมสิ่งเหล่านี้ในกรณีของคุณเพื่อกำหนดระยะเวลาที่เหตุการณ์จะได้รับการบันทึกผล เมื่อคุณมีข้อมูลจากช่วงเวลาดังกล่าวให้เรียกใช้กับการคาดการณ์ปริมาณการใช้ข้อมูลของคุณแบบจำลองการเติบโตสัปดาห์ต่อสัปดาห์เดือนต่อเดือนเป็นต้นซึ่งสามารถให้การเปรียบเทียบที่มีความหมายระหว่างเอเจนซี่และข้ามช่วงเวลา

ปฏิบัตินิยม

ความทะเยอทะยานคือการสามารถให้ความเข้าใจอย่างลึกซึ้งถึงสาเหตุและผลกระทบ แต่อาจไม่จริง เนื่องจากปัจจัยภายนอกที่ยุ่งเหยิงทำให้การวิเคราะห์ของคุณเป็นไปอย่างต่อเนื่องคุณจะพบกับคำถามซ้ำแล้วซ้ำอีก: เหตุการณ์นี้ทำให้ปริมาณ / การขาย / การคลิกผ่านเพิ่มขึ้นหรือไม่ คำแนะนำที่ดีที่สุดที่ฉันสามารถทำได้คือตั้งเป้าหมายที่สมจริงมากสำหรับสิ่งที่คุณต้องการวัด จุดเริ่มต้นที่ดีคือภายในวิธีการที่คุณมีเหตุการณ์ที่มีผลกระทบมากที่สุด เมื่อคุณเปิดรูรับแสงจากที่นั่น

สรุป

เมื่อคุณให้เหตุผลกับทุกแง่มุมเหล่านี้แล้วคุณสามารถสร้างโซลูชันทั่วไปซึ่งอาจเป็นไปโดยอัตโนมัติ ข้อได้เปรียบในการออกแบบโซลูชันของคุณในลักษณะนี้คือตรรกะทางธุรกิจได้ถูกสร้างขึ้นแล้วสิ่งนี้จะทำให้ผลลัพธ์ของคุณเข้าถึงได้ง่ายและเป็นธรรมชาติมากขึ้นสำหรับผู้นำทางธุรกิจที่ไม่ใช่ด้านเทคนิค

แก้ไข: คำเตือนฉันทิ้งข้อความไว้ แต่คำตอบของฉันผิดโปรดตรวจสอบความคิดเห็นด้านล่าง!

ฉันไม่ใช่ผู้เชี่ยวชาญ แต่ฉันเดาว่าปัญหาหลักคือการตอบคำถามนี้:

มีเหตุการณ์ใดที่ส่งผลกระทบต่อจำนวนครั้งในวันที่กำหนดหรือไม่

แต่ฉันไม่รู้วิธีจัดการหลายเหตุการณ์ดังนั้นฉันจะพยายามตอบคำถามนี้:

• อีเวนต์ X ส่งผลต่อจำนวนครั้งในวันที่กำหนดหรือไม่

ซึ่งสามารถตอบได้โดยใช้การทดสอบสมมติฐานด้วยค่า p (สิ่งที่นักวิทยาศาสตร์ทำเพื่อประเมินเช่นถ้ายามีผลต่อโรคหรือไม่)

ด้วยการใช้ค่า p คุณสามารถกำหนดได้ว่าจำนวนครั้งที่เข้าชมในวันใดวันหนึ่งเป็นเพียงการสุ่มและเป็นที่ยอมรับในสถานการณ์ปกติหรือว่าจะต้องสอดคล้องกับการเปลี่ยนแปลงในแบบจำลองของคุณ

คุณสามารถอ่านเพิ่มเติมเกี่ยวกับค่า p ในOpen Intro to Statistics Bookได้จริงฉันได้เรียนรู้เกี่ยวกับพวกเขาจากที่นั่น

จากนั้นส่วนอื่น ๆ ของปัญหาคือวิธีการระบุกิจกรรมของคุณและคำนวณพารามิเตอร์ที่จำเป็นเพื่อตอบคำถามของคุณ (ค่าเฉลี่ย / ค่ามัธยฐานค่าความแปรปรวน ฯลฯ ) และวิธีการทำให้เป็นปัจจุบันและใช้งานได้

ไม่กี่ปีที่ผ่านมา (2015), Google ตีพิมพ์งานวิจัยเกี่ยวกับผลกระทบที่เหตุการณ์เฉพาะมีในรูปแบบอนุกรมเวลา คุณสามารถอ่านรายละเอียดเพิ่มเติมได้ที่นี่อนุมานผลกระทบเชิงสาเหตุโดยใช้แบบจำลองโครงสร้างคชกรรมอนุกรมเวลา

ในหน้า GitHub นี้คุณสามารถค้นหาตัวอย่างโดยละเอียดและคำอธิบายวิธีการทำงาน ในระยะสั้น

แพ็คเกจ R นี้ใช้แนวทางในการประมาณค่าผลกระทบเชิงสาเหตุของการแทรกแซงที่ออกแบบมาในอนุกรมเวลา ตัวอย่างเช่นมีการคลิกโฆษณารายวันเพิ่มเติมกี่รายการโดยแคมเปญโฆษณา การตอบคำถามเช่นนี้อาจเป็นเรื่องยากเมื่อการทดลองแบบสุ่มไม่สามารถใช้ได้

คุณฝึกโมเดลของคุณด้วยข้อมูลก่อนเหตุการณ์และข้อมูลหลังเหตุการณ์แล้วคุณจะได้พล็อตแบบนี้

พาเนลแรกจะแสดงข้อมูลและการคาดคะเนเพื่อต่อต้านการปลอมแปลงในช่วงหลังการรักษา พาเนลที่สองแสดงความแตกต่างระหว่างข้อมูลที่สังเกตได้และการคาดการณ์เชิงต่อต้าน นี่คือผลกระทบเชิงสาเหตุตามที่ประมาณการโดยโมเดล พาเนลที่สามจะรวมการมีส่วนร่วมตามจุดจากพาเนลที่สองทำให้เกิดพล็อตของผลสะสมของการแทรกแซง

เล่นต่อไปนี้summary(impact)คุณจะได้รับการสรุปและผลกระทบที่คาดเหตุการณ์ที่มีในข้อมูลอนุกรมเวลาของคุณ

ไลบรารีเดียวกันได้รับการพอร์ตไปยัง Python ด้วยเช่นกัน ตัวอย่างที่นี่