การประเมินค่าเฉลี่ยที่แข็งแกร่งด้วย O (1) การปรับปรุงประสิทธิภาพ

ฉันกำลังมองหาการประมาณการที่มีประสิทธิภาพของค่าเฉลี่ยที่มีคุณสมบัติเฉพาะ ฉันมีชุดขององค์ประกอบที่ฉันต้องการคำนวณสถิตินี้ จากนั้นฉันเพิ่มองค์ประกอบใหม่ทีละรายการและสำหรับองค์ประกอบเพิ่มเติมแต่ละรายการที่ฉันต้องการคำนวณสถิติใหม่ (หรือที่เรียกว่าอัลกอริทึมออนไลน์) ฉันต้องการให้การคำนวณการอัปเดตนี้เป็นไปอย่างรวดเร็วโดยเฉพาะอย่างยิ่ง O (1) นั่นคือไม่ขึ้นอยู่กับขนาดของรายการ

ค่าเฉลี่ยปกติมีคุณสมบัตินี้ซึ่งสามารถอัปเดตได้อย่างมีประสิทธิภาพ แต่ไม่ทนทานต่อค่าผิดปกติ ตัวประมาณค่าเฉลี่ยที่แข็งแกร่งของค่าเฉลี่ยเช่นค่าเฉลี่ยระหว่างควอไทล์และค่าเฉลี่ยที่ตัดแต่งไม่สามารถอัปเดตได้อย่างมีประสิทธิภาพ (เนื่องจากต้องการการรักษารายการที่เรียงลำดับ)

ฉันขอขอบคุณข้อเสนอแนะสำหรับสถิติที่มีประสิทธิภาพซึ่งสามารถคำนวณ / อัปเดตได้อย่างมีประสิทธิภาพ

วิธีนี้ใช้ข้อเสนอแนะโดย @Innuo ในความคิดเห็นกับคำถาม:

คุณสามารถบำรุงรักษาชุดย่อยสุ่มที่สุ่มตัวอย่างขนาด 100 หรือ 1,000 จากข้อมูลทั้งหมดที่เห็น ชุดนี้และที่เกี่ยวข้อง "รั้ว" สามารถปรับปรุงในเวลา$O(1)$

เมื่อเราทราบวิธีการบำรุงรักษาชุดย่อยนี้เราอาจเลือกวิธีใด ๆ ที่เราต้องการประเมินค่าเฉลี่ยของประชากรจากตัวอย่างดังกล่าว นี่เป็นวิธีการทั่วไปที่ไม่มีข้อสันนิษฐานใด ๆ ที่จะทำงานร่วมกับอินพุตสตรีมใด ๆภายในความแม่นยำที่สามารถคาดการณ์ได้โดยใช้สูตรการสุ่มตัวอย่างทางสถิติมาตรฐาน (ความแม่นยำนั้นแปรผกผันกับสแควร์รูทของขนาดตัวอย่าง)

อัลกอริทึมนี้ยอมรับว่าเป็นอินพุตสตรีมข้อมูล $x(t),$ $t=1, 2, \ldots,$ ขนาดตัวอย่าง $m$และแสดงผลสตรีมของตัวอย่าง $s(t)$ ซึ่งแต่ละอันเป็นตัวแทนของประชากร $X(t) = (x(1),x(2), \ldots, x(t))$. โดยเฉพาะสำหรับ$1\le i \le t$, $s(i)$ เป็นตัวอย่างสุ่มขนาดง่าย ๆ $m$ จาก $X(t)$ (ไม่ต้องเปลี่ยนใหม่)

เพื่อสิ่งนี้จะเกิดขึ้นมันพอเพียงกับทุกคน $m$- องค์ประกอบย่อยของ $\{1,2,\ldots,t\}$ มีโอกาสเท่ากันในการเป็นดัชนีของ $x$ ใน $s(t)$. นี่แสดงถึงโอกาสที่$x(i),$ $1\le i\lt t,$ อยู่ใน $s(t)$ เท่ากับ $m/t$ ให้ $t \ge m$.

ในตอนแรกเราเพิ่งรวบรวมสตรีมจนกระทั่ง $m$องค์ประกอบถูกเก็บไว้ ณ จุดนี้มีเพียงตัวอย่างเดียวเท่านั้นที่เป็นไปได้ดังนั้นเงื่อนไขความน่าจะเป็นที่น่าพอใจเล็กน้อย

อัลกอริทึมจะใช้เวลามากกว่า $t=m+1$. สมมติว่าเหนี่ยวนำ$s(t)$ เป็นตัวอย่างแบบง่าย ๆ ของ $X(t)$ สำหรับ $t\gt m$. ตั้งค่าไว้ชั่วคราว$s(t+1) = s(t)$. ปล่อย$U(t+1)$ เป็นตัวแปรสุ่มแบบสม่ำเสมอ (เป็นอิสระจากตัวแปรก่อนหน้าใด ๆ ที่ใช้ในการสร้าง $s(t)$) ถ้า$U(t+1) \le m/(t+1)$ จากนั้นแทนที่องค์ประกอบที่เลือกแบบสุ่มของ $s$ โดย $x(t+1)$. นั่นคือขั้นตอนทั้งหมด!

เห็นได้ชัดว่า $x(t+1)$ มีความน่าจะเป็น $m/(t+1)$ ของการอยู่ใน $s(t+1)$. ยิ่งกว่านั้นโดยสมมติฐานการปฐมนิเทศ$x(i)$ มีความน่าจะเป็น $m/t$ ของการอยู่ใน $s(t)$ เมื่อไหร่ $i\le t$. ด้วยความน่าจะเป็น$m/(t+1) \times 1/m$ = $1/(t+1)$ มันจะถูกลบออกจาก $s(t+1)$ดังนั้นความน่าจะเป็นที่เหลือจะเท่ากับ

ตรงตามที่ต้องการ จากการเหนี่ยวนำดังนั้นความน่าจะเป็นทั้งหมดที่รวมของ$x(i)$ ใน $s(t)$ถูกต้องและชัดเจนว่าไม่มีความสัมพันธ์พิเศษระหว่างการรวมเหล่านั้น นั่นเป็นการพิสูจน์ว่าอัลกอริทึมนั้นถูกต้อง

ประสิทธิภาพของอัลกอริธึมคือ $O(1)$ เพราะในแต่ละขั้นตอนจะมีการคำนวณตัวเลขสุ่มมากที่สุดสองหมายเลขและมีองค์ประกอบอย่างน้อยหนึ่งองค์ประกอบของอาร์เรย์ $m$ค่าจะถูกแทนที่ ข้อกำหนดด้านการจัดเก็บข้อมูลคือ$O(m)$.

โครงสร้างข้อมูลสำหรับอัลกอริทึมนี้ประกอบด้วยกลุ่มตัวอย่าง $s$ พร้อมกับดัชนี $t$ ของประชากร $X(t)$ว่ามันเป็นตัวอย่าง เริ่มแรกเราจะ$s = X(m)$ และดำเนินการตามอัลกอริทึมสำหรับ $t=m+1, m+2, \ldots.$ นี่คือการRดำเนินการปรับปรุง$(s,t)$ ด้วยค่า $x$ ผลิต $(s,t+1)$. (การโต้เถียงnเล่นบทบาทของ$t$และsample.sizeเป็น$m$. ดัชนี$t$ จะถูกดูแลโดยผู้เรียก)

update <- function(s, x, n, sample.size) {
  if (length(s) < sample.size) {
    s <- c(s, x)
  } else if (runif(1) <= sample.size / n) {
    i <- sample.int(length(s), 1)
    s[i] <- x
  }
  return (s)
}

เพื่อแสดงและทดสอบสิ่งนี้ฉันจะใช้ตัวประมาณค่าปกติ (ไม่คงทน) ของค่าเฉลี่ยและเปรียบเทียบค่าเฉลี่ยที่ประมาณจาก $s(t)$ ค่าเฉลี่ยจริงของ $X(t)$(ชุดข้อมูลสะสมที่เห็นในแต่ละขั้นตอน) ฉันเลือกสตรีมอินพุตที่ค่อนข้างยากซึ่งการเปลี่ยนแปลงค่อนข้างราบรื่น แต่ผ่านการข้ามอย่างรวดเร็ว ขนาดตัวอย่างของ$m=50$ มีขนาดค่อนข้างเล็กทำให้เราเห็นความผันผวนของการสุ่มตัวอย่างในแปลงเหล่านี้

n <- 10^3
x <- sapply(1:(7*n), function(t) cos(pi*t/n) + 2*floor((1+t)/n))
n.sample <- 50
s <- x[1:(n.sample-1)]
online <- sapply(n.sample:length(x), function(i) {
  s <<- update(s, x[i], i, n.sample)
  summary(s)})
actual <- sapply(n.sample:length(x), function(i) summary(x[1:i]))

ณ จุดนี้onlineเป็นลำดับของการประมาณค่าเฉลี่ยที่ผลิตโดยการบำรุงรักษาตัวอย่างการรัน$50$ค่าในขณะที่actualเป็นลำดับของการประมาณค่าเฉลี่ยที่ผลิตจากข้อมูลทั้งหมดที่มีในแต่ละช่วงเวลา เนื้อเรื่องแสดงข้อมูล (เป็นสีเทา), actual(เป็นสีดำ) และสองแอพพลิเคชั่นที่เป็นอิสระของขั้นตอนการสุ่มตัวอย่างนี้ (เป็นสี) ข้อตกลงอยู่ในข้อผิดพลาดการสุ่มตัวอย่างที่คาดไว้:

plot(x, pch=".", col="Gray")
lines(1:dim(actual)[2], actual["Mean", ])
lines(1:dim(online)[2], online["Mean", ], col="Red")

สำหรับตัวประมาณค่าเฉลี่ยที่มีประสิทธิภาพโปรดค้นหาเว็บไซต์ของเรา ค่าผิดปกติและข้อกำหนดที่เกี่ยวข้อง ความเป็นไปได้ที่ควรค่าแก่การพิจารณาคือ Winsorized Mean และ M-estimators

คุณอาจคิดถึงปัญหาของคุณกับแผนภูมิควบคุมแบบเรียกซ้ำ แผนภูมิควบคุมดังกล่าวจะประเมินว่าการสังเกตใหม่นั้นอยู่ในการควบคุมหรือไม่ ถ้าเป็นเช่นนั้นการสังเกตนี้จะรวมอยู่ในการประมาณการใหม่ของค่าเฉลี่ยและความแปรปรวน (จำเป็นเพื่อกำหนดขีด จำกัด การควบคุม)

บางหลังได้ที่แข็งแกร่ง recursive แผนภูมิควบคุม univariate สามารถพบได้ที่นี่ หนึ่งในตำราคลาสสิกในการควบคุมคุณภาพและการควบคุมการชาร์ตดูเหมือนจะพร้อมใช้งานออนไลน์ที่นี่

สังหรณ์ใจโดยใช้ค่าเฉลี่ย $\mu_{t-1}$ และความแปรปรวน $\sigma^2_{t-1}$ เป็นอินพุตคุณสามารถพิจารณาว่าการสังเกตใหม่ ณ เวลาใด $t$เป็นสิ่งที่เกินความจริงด้วยจำนวนของวิธีการ ใครจะประกาศ$x_t$ ค่าผิดเพี้ยนถ้ามันอยู่นอกค่าเบี่ยงเบนมาตรฐานจำนวนหนึ่ง $\mu_{t-1}$ (ได้รับ $\sigma^2_{t-1})$แต่สิ่งนี้อาจมีปัญหาหากข้อมูลไม่เป็นไปตามสมมติฐานการกระจาย หากคุณต้องการไปถนนสายนี้ถ้าคุณคิดว่าจุดใหม่ไม่ใช่ค่าที่ผิดและต้องการรวมไว้ในค่าเฉลี่ยโดยไม่ลืมอัตราพิเศษ ถ้าอย่างนั้นคุณก็ทำได้ดีกว่า:

$\mu_t = \frac{t-1}{t}\mu_{t-1}+\frac{1}{t}x_t$

ในทำนองเดียวกันคุณจะต้องอัพเดทความแปรปรวนแบบเรียกซ้ำ:

$\sigma^2_t = \frac{t-1}{t}\sigma^2_{t-1}+\frac{1}{t-1}(x_t-\mu_t)^2$

อย่างไรก็ตามคุณอาจต้องการลองใช้แผนภูมิควบคุมทั่วไปเพิ่มเติม แผนภูมิควบคุมอื่น ๆ ที่แข็งแกร่งกว่าการกระจายข้อมูลและยังสามารถจัดการกับความไม่คงที่ (เช่น$\mu$กระบวนการของคุณจะสูงขึ้นอย่างช้าๆ) ขอแนะนำ EWMA หรือ CUSUM (ดูหนังสือเรียนที่เชื่อมโยงกับด้านบนสำหรับรายละเอียดเพิ่มเติมเกี่ยวกับแผนภูมิและขีด จำกัด การควบคุม) โดยทั่วไปแล้ววิธีการเหล่านี้จะมีความเข้มข้นของการคำนวณน้อยกว่าความแข็งแกร่งเนื่องจากมีข้อได้เปรียบเพียงแค่ต้องเปรียบเทียบการสังเกตใหม่เดียวกับข้อมูลที่ได้จากการสังเกตที่ไม่ใช่นอกกรอบ คุณสามารถปรับแต่งค่าประมาณของกระบวนการระยะยาวได้$\mu$ และ $\sigma^2$ ใช้ในการคำนวณขีด จำกัด การควบคุมของวิธีการเหล่านี้ด้วยสูตรการอัปเดตที่ระบุด้านบนหากคุณต้องการ

เกี่ยวกับแผนภูมิเช่น EWMA ซึ่งลืมการสังเกตแบบเก่าและให้น้ำหนักกับสิ่งใหม่ ๆ มากขึ้นถ้าคุณคิดว่าข้อมูลของคุณอยู่นิ่ง (หมายถึงพารามิเตอร์ของการกระจายการสร้างไม่เปลี่ยนแปลง) ดังนั้นคุณไม่จำเป็นต้องลืมการสังเกตแบบเก่าแทน คุณสามารถตั้งค่าปัจจัยที่ลืมได้ อย่างไรก็ตามหากคุณคิดว่ามันไม่คงที่คุณจะต้องเลือกค่าที่ดีสำหรับปัจจัยที่ลืม (ดูที่หนังสืออีกครั้งเพื่อดูวิธีการทำเช่นนี้)

ฉันควรพูดถึงว่าก่อนที่คุณจะเริ่มตรวจสอบและเพิ่มการสังเกตใหม่ทางออนไลน์คุณจะต้องได้รับการประมาณ $\mu_0$ และ $\sigma^2_0$(ค่าพารามิเตอร์เริ่มต้นตามชุดข้อมูลการฝึกอบรม) ที่ไม่ได้รับอิทธิพลจากค่าผิดปกติ หากคุณสงสัยว่ามีค่าผิดปกติในข้อมูลการฝึกอบรมของคุณคุณสามารถชำระค่าใช้จ่ายครั้งเดียวโดยใช้วิธีการที่มีประสิทธิภาพในการประเมินค่า

ฉันคิดว่าแนวทางในบรรทัดเหล่านี้จะนำไปสู่การอัปเดตที่เร็วที่สุดสำหรับปัญหาของคุณ