ฉันจะคำนวณระยะขอบของข้อผิดพลาดในผลลัพธ์ NPS (คะแนนโปรโมเตอร์สุทธิ) ได้อย่างไร

ฉันจะให้วิกิพีเดียอธิบายวิธีคำนวณNPS :

คะแนนโปรโมเตอร์สุทธินั้นได้มาจากการถามคำถามเดียวกับลูกค้าในระดับคะแนน 0 ถึง 10 โดยที่ 10 คือ "มีโอกาสสูงมาก" และ 0 คือ "ไม่น่าจะเป็นไปได้มาก": "เป็นไปได้มากเพียงใดที่คุณจะแนะนำ บริษัท ของเรา เพื่อนหรือเพื่อนร่วมงาน? " ขึ้นอยู่กับการตอบสนองของพวกเขาลูกค้าแบ่งออกเป็นหนึ่งในสามกลุ่ม: ผู้สนับสนุน (9–10 คะแนน), Passives (7–8 คะแนน), และผู้ว่า (0–6 คะแนน) เปอร์เซ็นต์ของ Detractors จะถูกหักออกจากเปอร์เซ็นต์ของผู้สนับสนุนเพื่อรับคะแนน Net Promoter (NPS) NPS สามารถอยู่ในระดับต่ำถึง -100 (ทุกคนเป็นผู้ทำลาย) หรือสูงถึง +100 (ทุกคนเป็นผู้ก่อการ)

เราดำเนินการสำรวจนี้เป็นระยะเวลาหลายปี เราได้รับคำตอบหลายร้อยครั้งในแต่ละครั้ง คะแนนที่ได้นั้นแตกต่างกันไปตามระยะเวลา 20-30 คะแนน ฉันพยายามคิดว่าการเคลื่อนไหวของคะแนนใดมีความสำคัญถ้ามี

หากสิ่งนั้นพิสูจน์ได้ยากเกินไปฉันก็สนใจที่จะพยายามหาข้อผิดพลาดพื้นฐานของการคำนวณ ระยะขอบของข้อผิดพลาดของ "bucket" แต่ละอัน (โปรโมเตอร์, พาสซีฟ, โปรแทรกเตอร์) บางทีแม้แต่ขอบของข้อผิดพลาดคืออะไรถ้าฉันแค่ดูค่าเฉลี่ยของคะแนนลดข้อมูลให้เหลือเพียงหนึ่งหมายเลขต่อการสำรวจ นั่นจะพาฉันไปทุกที่หรือไม่?

ความคิดใด ๆ ที่นี่มีประโยชน์ ยกเว้น "อย่าใช้ NPS" การตัดสินใจนั้นอยู่นอกเหนือความสามารถในการเปลี่ยนแปลงของฉัน!

— แดนดันน์
แหล่งที่มา

คำตอบ:

สมมติว่าประชากรจากที่เราคิดว่าคุณจะสุ่มตัวอย่างแบบสุ่มมีสัดส่วนของโปรโมเตอร์,ของ passives และของผู้ว่าด้วย 1 แบบจำลองของกรมอุทยานฯ คิดกรอกหมวกขนาดใหญ่ที่มีจำนวนมากของตั๋ว (หนึ่งสำหรับสมาชิกของประชากรของแต่ละคน) ที่มีป้ายกำกับสำหรับก่อการสำหรับ passives และสำหรับผู้ว่าในสัดส่วนที่กำหนดแล้ววาดภาพของพวกเขาโดยการสุ่ม ตัวอย่างของกรมอุทยานฯ เป็นค่าเฉลี่ยในการจองตั๋วที่ถูกดึง ค่าNPS ที่แท้จริงคำนวณเป็นค่าเฉลี่ยของตั๋วทั้งหมดในหมวก: มันคือ $p_1$ $p_0$ $p_{-1}$ $p_1+p_0+p_{-1}=1$ $+1$ $0$ $-1$ $n$ ค่าที่คาดหวัง (หรือความคาดหวัง ) ของหมวก

ตัวประมาณที่ดีของ NPS ที่แท้จริงคือตัวอย่างของ NPS ตัวอย่างของ NPS ก็มีความคาดหวังเช่นกัน ซึ่งถือเป็นค่าเฉลี่ยของตัวอย่างที่เป็นไปได้ทั้งหมดของ NPS ความคาดหวังนี้เกิดขึ้นเท่ากับ NPS จริง ข้อผิดพลาดมาตรฐานของกรมอุทยานฯ ตัวอย่างเป็นตัวชี้วัดของเท่าใด NPS ตัวอย่างที่มักจะแตกต่างกันระหว่างกลุ่มตัวอย่างแบบสุ่มและอื่น โชคดีที่เราไม่ได้มีการคำนวณตัวอย่างเป็นไปได้ทั้งหมดเพื่อหาสิ่งที่ SE: ก็สามารถพบได้มากขึ้นเพียงโดยการคำนวณค่าเบี่ยงเบนมาตรฐานของตั๋วในหมวกและหารด้วย{n} (การปรับเล็กน้อยสามารถทำได้เมื่อกลุ่มตัวอย่างเป็นสัดส่วนที่เห็นได้ชัดเจนของประชากร แต่ไม่น่าจะจำเป็นที่นี่) $\sqrt{n}$

ตัวอย่างเช่นพิจารณาประชากรของผู้สนับสนุน , 1/3 passives, และ 1/6 detractors NPS ที่แท้จริงคือ $p_1=1/2$ $p_0=1/3$ $p_{-1}=1/6$

NPS = 1 \times 1 / 2 + 0 \times 1 / 3 + - 1 \times 1 / 6 = 1 / 3.

$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$

ดังนั้นความแปรปรวนจึง

\begin{aligned} Var(NPS) & = (1 - NPS)^{2} \times p_{1} + (0 - NPS)^{2} \times p_{0} + (- 1 - NPS)^{2} \times p_{- 1} \\ = (1 - 1 / 3)^{2} \times 1 / 2 + (0 - 1 / 3)^{2} \times 1 / 3 + (- 1 - 1 / 3)^{2} \times 1 / 6 \\ = 5 / 9. \end{aligned}

$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$

ส่วนเบี่ยงเบนมาตรฐานคือรากที่สองของนี้ประมาณเท่ากับ $0.75.$

ในตัวอย่างของคุณคาดว่าจะสังเกตการณ์ของกรมอุทยานฯ ประมาณ % โดยมีข้อผิดพลาดมาตรฐานที่ประมาณ % $324$ $1/3 = 33$ $0.75/\sqrt{324}=$ $4.1$

ในความเป็นจริงคุณไม่ทราบค่าเบี่ยงเบนมาตรฐานของตั๋วในหมวกดังนั้นคุณประเมินโดยใช้ค่าเบี่ยงเบนมาตรฐานของตัวอย่างแทน เมื่อหารด้วยสแควร์รูทของขนาดตัวอย่างจะประมาณข้อผิดพลาดมาตรฐานของ NPS: การประมาณการนี้คือระยะขอบของข้อผิดพลาด (MoE)

หากคุณสังเกตลูกค้าจำนวนมากแต่ละประเภท (โดยทั่วไปจะทำประมาณ 5 หรือมากกว่านั้น) การกระจายตัวอย่าง NPS จะใกล้เคียงกับปกติ นี่หมายความว่าคุณสามารถตีความ MoE ในรูปแบบปกติ โดยเฉพาะอย่างยิ่งประมาณ 2/3 ของเวลาที่ NPS ตัวอย่างจะอยู่ภายในหนึ่ง MoE ของ NPS จริงและประมาณ 19/20 ของเวลา (95%) NPS ตัวอย่างจะอยู่ภายในสอง MoE ของ NPS ที่แท้จริง ในตัวอย่างหากขอบของข้อผิดพลาดเป็นจริง 4.1% เราจะมีความมั่นใจ 95% ว่าผลการสำรวจ (ตัวอย่าง NPS) อยู่ภายใน 8.2% ของ NPS ของประชากร

การสำรวจแต่ละครั้งจะมีข้อผิดพลาดของตัวเอง ในการเปรียบเทียบผลลัพธ์สองรายการดังกล่าวคุณต้องพิจารณาความเป็นไปได้ของข้อผิดพลาดในแต่ละรายการ เมื่อขนาดการสำรวจใกล้เคียงกันข้อผิดพลาดมาตรฐานของความแตกต่างสามารถพบได้โดยทฤษฎีบทพีทาโกรัส: นำสแควร์รูทของผลรวมของกำลังสองของพวกเขา ตัวอย่างเช่นหากหนึ่งปี MoE คือ 4.1% และอีกปี MoE คือ 3.5% แล้วประมาณขอบเขตของข้อผิดพลาดประมาณ = 5.4% สำหรับความแตกต่างในผลลัพธ์ทั้งสองนั้น ในกรณีนี้คุณสามารถสรุปได้อย่างมั่นใจ 95% ว่าจำนวนประชากรของกรมอุทยานฯ เปลี่ยนจากการสำรวจครั้งหนึ่งไปเป็นการสำรวจครั้งต่อไปหากความแตกต่างในผลการสำรวจทั้งสองคือ 10.8% หรือมากกว่า $\sqrt{3.5^2+4.1^2}$

เมื่อเปรียบเทียบผลการสำรวจจำนวนมากเมื่อเวลาผ่านไปวิธีการที่ซับซ้อนมากขึ้นสามารถช่วยได้เพราะคุณต้องรับมือกับระยะขอบที่แตกต่างกันของข้อผิดพลาด เมื่อขอบของข้อผิดพลาดคล้ายกันหมดกฎง่ายๆคือการพิจารณาการเปลี่ยนแปลงของ MoE สามตัวหรือมากกว่านั้นเป็น "นัยสำคัญ" ในตัวอย่างนี้ถ้า MoEs โฮเวอร์ประมาณ 4% การเปลี่ยนแปลงประมาณ 12% หรือใหญ่กว่าในช่วงระยะเวลาของการสำรวจหลายครั้งควรได้รับความสนใจจากคุณและการเปลี่ยนแปลงเล็ก ๆ น้อย ๆ อาจถูกยกเลิกได้อย่างถูกต้องเนื่องจากข้อผิดพลาดในการสำรวจ โดยไม่คำนึงถึงการวิเคราะห์และกฎของหัวแม่มือให้ที่นี่มักจะเริ่มต้นที่ดีเมื่อคิดเกี่ยวกับความแตกต่างระหว่างการสำรวจอาจหมายถึง

โปรดทราบว่าคุณไม่สามารถคำนวณระยะขอบของข้อผิดพลาดจาก NPS ที่ตรวจพบเพียงอย่างเดียว: ขึ้นอยู่กับจำนวนที่สังเกตของผู้ตอบแบบสอบถามทั้งสามประเภท ตัวอย่างเช่นหากเกือบทุกคนเป็น "passive" การสำรวจ NPS จะอยู่ใกล้กับโดยมีข้อผิดพลาดเล็กน้อย หากประชากรมีความแตกต่างกันอย่างเท่าเทียมกันระหว่างผู้สนับสนุนและผู้ว่าการสำรวจ NPS จะยังคงอยู่ใกล้กับแต่จะมีความผิดพลาดที่ใหญ่ที่สุดเท่าที่จะเป็นไปได้ (เท่ากับในตัวอย่างของคนคน) $0$ $0$ $1/\sqrt{n}$ $n$

— whuber
แหล่งที่มา

นี่เป็นคำตอบที่ยอดเยี่ยม ฉันซาบซึ้งมาก

— Dan Dunn

"ระยะขอบของข้อผิดพลาด" ไม่ใช่การตีความโดยทั่วไปว่าเป็นช่วงความมั่นใจ 95% สำหรับสถิติที่ดึงมาจากตัวอย่างหรือไม่ เช่น 1.96 ข้อผิดพลาดมาตรฐานการสุ่มตัวอย่าง (หรือค่าเบี่ยงเบนมาตรฐาน) ของสถิตินั้น คุณใช้ระยะขอบของข้อผิดพลาดเป็นตรงกันกับ "ส่วนเบี่ยงเบนมาตรฐานของสถิติ" หรือ "ข้อผิดพลาดมาตรฐาน"

— Peter Ellis

ขอบคุณ @whuber ฉันพยายามที่จะไม่โต้แย้งเกี่ยวกับคำศัพท์ตราบใดที่มีการกำหนดไว้อย่างชัดเจน (หลักการ Humpty Dumpty) และฉันคิดว่าม้าได้ยึดติดกับการประชุมที่สอดคล้องกันในเรื่องนี้ หลักฐานเดียวที่ฉันมีคือคำตอบสำหรับคำถามของฉันเองที่stats.stackexchange.com/questions/21139/ซึ่งบันทึกได้อย่างถูกต้องว่าขอบของข้อผิดพลาดเป็นเรื่องปกติ (ไม่ใช่สากล) อ้างเป็นเปอร์เซ็นต์ของการประมาณการ

— ปีเตอร์เอลลิส

@ Charles ฉันคิดว่า whuber กำลังทำการแปรปรวนพื้นฐานของตัวแปรสุ่มแบบแยก ดูstat.yale.edu/ หลักสูตร 1

— B_Miner

การแสดงออกสำหรับแปรปรวนได้ง่ายเพื่อ 2

V a r = p_{1} + p_{- 1} - N P S^{2}

$Var = p_1 + p_{-1} - NPS^2$

— Stephen McAteer

คุณสามารถใช้ตัวประมาณค่าความแปรปรวนสำหรับตัวแปรต่อเนื่อง อันที่จริงผมต้องการมันมากกว่าประมาณการความแปรปรวนตัวแปรสุ่มต่อเนื่องเนื่องจากมีการแก้ไขที่รู้จักกันดีสำหรับการคำนวณค่าความแปรปรวนตัวอย่าง: https://en.wikipedia.org/wiki/Unbiased_estimation_of_standard_deviationเป็นคนอื่นสังเกตเห็นวิธีการแก้ปัญหา Whubers ขึ้นอยู่กับสูตรประชากร อย่างไรก็ตามเนื่องจากคุณกำลังทำแบบสอบถามฉันค่อนข้างแน่ใจว่าคุณได้วาดตัวอย่างดังนั้นฉันขอแนะนำให้ใช้ตัวประมาณค่าแบบไม่เอนเอียง แน่นอนว่าสำหรับกลุ่มตัวอย่างขนาดใหญ่ความแตกต่างระหว่างตัวประมาณความเอนเอียงและเอนเอียงเป็นสิ่งที่ไม่มีอยู่จริง

ฉันขอแนะนำให้ใช้ขั้นตอนการทดสอบ t หากคุณมีขนาดตัวอย่างปานกลางแทนที่จะใช้วิธี z-score: https://en.wikipedia.org/wiki/Student 's_t-test

@whuber: เนื่องจากคนอื่น ๆ ถามเช่นกัน: ใครจะคำนวณตัวประมาณค่าตัวอย่างแบบไม่เอนเอียงสำหรับความแปรปรวน / sd สำหรับวิธีการตัวแปรสุ่มแบบไม่ต่อเนื่องของคุณได้อย่างไร ฉันพยายามค้นหาด้วยตัวเอง แต่ไม่ประสบความสำเร็จ ขอบคุณ

— deschen
แหล่งที่มา

คุณสามารถใช้ bootstrap เพื่อทำให้การคำนวณของคุณง่ายขึ้น ใน R รหัสจะเป็น:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}


npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

— K-zar
แหล่งที่มา

คุณช่วยขยายคำตอบของคุณโดยอธิบายในตอนเริ่มต้นว่าวิธีการคืออะไร - โดยมีรายละเอียดเพียงพอที่คนที่ไม่เข้าใจรหัส R ของคุณเลยยังสามารถติดตามสิ่งที่คุณพยายามจะพูดได้ - และหวังว่าพอจะทำได้ ใช้แทงในการดำเนินการในภาษาโปรดของพวกเขา?

— Glen_b -Reinstate Monica