อัลกอริทึมในการตรวจสอบปริมาณแบบไดนามิก

ฉันต้องการประเมินปริมาณของข้อมูลบางส่วน ข้อมูลมีขนาดใหญ่มากจนไม่สามารถรองรับได้ในหน่วยความจำ และข้อมูลไม่คงที่ข้อมูลใหม่กำลังจะมาถึง ไม่มีใครรู้ว่าอัลกอริทึมใด ๆ ในการตรวจสอบปริมาณของข้อมูลที่สังเกตจนถึงขณะนี้มีหน่วยความจำและการคำนวณ จำกัด มากหรือไม่? ฉันพบว่าอัลกอริธึม P2มีประโยชน์ แต่มันไม่ได้ผลกับข้อมูลของฉันซึ่งกระจายอย่างหนักมาก

อัลกอริทึม P2 เป็นการค้นหาที่ดี มันทำงานได้โดยการประมาณหลายของ quantile, update พวกเขาเป็นระยะและใช้กำลังสอง (ไม่เชิงเส้นไม่ลูกบาศก์) การประมาณค่าเพื่อ quantile ผู้เขียนอ้างว่าการแก้ไขกำลังสองทำงานได้ดีกว่าในหางกว่าการแก้ไขเชิงเส้นและลูกบาศก์จะได้รับจุกจิกและยากเกินไป

คุณไม่ได้ระบุอย่างแน่ชัดว่าวิธีการนี้จะล้มเหลวอย่างไรสำหรับข้อมูล "แบบหนา" แต่ก็ง่ายที่จะคาดเดา: การประมาณปริมาณสูงสุดสำหรับการแจกแจงแบบหนาจะไม่เสถียรจนกว่าจะมีการรวบรวมข้อมูลจำนวนมาก แต่นี่จะเป็นปัญหา (ในระดับที่น้อยกว่า) แม้ว่าคุณจะเก็บข้อมูลทั้งหมดดังนั้นอย่าคาดหวังปาฏิหาริย์!

ในอัตราใด ๆ ทำไมไม่ตั้งเครื่องหมายเสริม - โทรให้ของพวกเขาและ --within ที่คุณเป็นอย่างมากบาง quantile จะนอนและการจัดเก็บข้อมูลทั้งหมดที่อยู่ระหว่างและ ? เมื่อบัฟเฟอร์ของคุณเต็มคุณจะต้องอัปเดตเครื่องหมายเหล่านี้ให้รักษาไว้เสมอ ขั้นตอนวิธีการง่ายๆในการทำเช่นนี้สามารถคิดค้นจากการรวมกันของ (ก) ประมาณการ P2 ปัจจุบันของ quantile และ (ข) เก็บไว้นับจำนวนของข้อมูลน้อยกว่าที่และจำนวนมากขึ้นข้อมูลกว่าx_6ในแบบนี้คุณสามารถประเมินควอนไทล์ได้อย่างแม่นยำและถ้าคุณมีชุดข้อมูลทั้งหมดที่มีอยู่เสมอ แต่คุณต้องการบัฟเฟอร์ที่ค่อนข้างเล็ก$x_0$$x_6$$x_0$$x_6$$x_0 \le x_6$$x_0$$x_6$

โดยเฉพาะฉันกำลังเสนอโครงสร้างข้อมูลที่จะรักษาข้อมูลบางส่วนเกี่ยวกับลำดับของค่าข้อมูลx_n ที่นี่เป็นรายการที่เชื่อมโยงn x 1 , x 2 , … , x n $(k, \mathbf{y}, n)$$n$$x_1, x_2, \ldots, x_n$$\mathbf{y}$

ในสัญลักษณ์นี้แสดงถึงเล็กที่สุดของค่าอ่านได้ เป็นค่าคงที่ขนาดของบัฟเฟอร์{y} i th n x m $x^{(n)}_{[i]}$$i^\text{th}$$n$ $x$$m$$\mathbf{y}$

อัลกอริทึมเริ่มต้นด้วยการเติมด้วยค่าข้อมูลแรกที่พบและวางไว้ในลำดับที่เรียงน้อยที่สุดไปหามากที่สุด ให้เป็นปริมาณที่จะประมาณ เช่น = 0.99 เมื่ออ่านมีการกระทำที่เป็นไปได้สามประการ: m q q x n + $\mathbf{y}$$m$$q$$q$$x_{n+1}$

• หาก , เพิ่มk$x_{n+1} \lt x^{(n)}_{[k+1]}$$k$

• หากไม่ทำอะไรเลย$x_{n+1} \gt x^{(n)}_{[k+m]}$

• มิฉะนั้นแทรก เข้า{y}$x_{n+1}$$\mathbf{y}$

ในกรณีใด ๆ เพิ่มขึ้นn$n$

แทรกทำให้ขั้นตอนการเข้าเพื่อเรียงลำดับแล้วจะช่วยลดค่าใดค่าหนึ่งที่รุนแรงใน : y $x_{n+1}$$\mathbf{y}$$\mathbf{y}$

• ถ้าให้ลบจากและเพิ่ม ;x ( n ) [ k + 1 ] y$k + m/2 \lt n q$$x^{(n)}_{[k+1]}$$\mathbf{y}$$k$

• มิฉะนั้นลบจาก{y}$x^{(n)}_{[k+m]}$$\mathbf{y}$

ให้มีขนาดใหญ่เพียงพอขั้นตอนนี้จะกำหนดควอนตัมจริงของการแจกแจงที่มีความน่าจะเป็นสูง ในขั้นตอนใด ๆสามารถประมาณได้ตามปกติในแง่ของและ ซึ่งมีแนวโน้มที่จะอยู่ใน{y} (ฉันเชื่อว่าต้องปรับขนาดให้เหมือนสแควร์รูทของจำนวนข้อมูลสูงสุด ( ) แต่ฉันไม่ได้ทำการวิเคราะห์อย่างเข้มงวดเพื่อพิสูจน์ว่า) ในทุก ๆ วิธีอัลกอริทึมจะตรวจสอบว่ามันประสบความสำเร็จหรือไม่ เปรียบเทียบและกับ )$m$$n$$x^{(n)}_{[\lfloor{q n}\rfloor]}$$x^{(n)}_{[\lceil{q n}\rceil]}$$\mathbf{y}$$m$$N$$k/n$$(k+m)/n$$q$

การทดสอบที่มีมากถึง 100,000 ค่าโดยใช้และ (กรณีที่ยากที่สุด) บ่งชี้ว่าอัลกอริทึมนี้มีอัตราความสำเร็จ 99.5% ในการรับค่าที่ถูกต้องของ rfloor]} สำหรับสตรีมที่มีค่านั่นจะต้องใช้บัฟเฟอร์เพียงสองล้าน (แต่สามหรือสี่ล้านจะเป็นตัวเลือกที่ดีกว่า) ใช้เรียงรายการที่เชื่อมโยงเป็นทวีคูณสำหรับบัฟเฟอร์ต้อง =ความพยายามในขณะที่การระบุและการลบสูงสุดหรือต่ำสุดเป็นการดำเนินงาน โดยทั่วไปแล้วการแทรกที่มีราคาค่อนข้างสูงจะต้องทำเฉพาะ$m = 2\sqrt{N}$x ( n ) [ ⌊ Q n ⌋ ] N = 10 12 O ( เข้าสู่ระบบ( $q=.5$$x^{(n)}_{[\lfloor{q n}\rfloor]}$$N=10^{12}$$O(\log(\sqrt{N}))$$O(\log(N))$$O(1)$$O(\sqrt{N})$ครั้ง ดังนั้นต้นทุนการคำนวณของอัลกอริทึมนี้คือในเวลาและในที่เก็บข้อมูล$O(N + \sqrt{N} \log(N)) = O(N)$$O(\sqrt{N})$

ฉันคิดว่าคำแนะนำของ whuberนั้นยอดเยี่ยมและฉันจะลองก่อน อย่างไรก็ตามหากคุณพบว่าคุณไม่สามารถรองรับเก็บข้อมูลได้จริง ๆ หรือไม่สามารถใช้งานได้ด้วยเหตุผลอื่น ๆ นี่เป็นแนวคิดสำหรับ P2 ทั่วไป มันไม่ได้มีรายละเอียดเท่าที่ whuber แนะนำ - เหมือนแนวคิดการวิจัยแทนที่จะเป็นวิธีแก้ปัญหา$O(\sqrt N)$

แทนที่จะติดตามปริมาณที่ , , ,และตามที่อัลกอริทึม P2 ดั้งเดิมแนะนำคุณสามารถติดตามจำนวนมากขึ้นได้ (แต่ยังคงเป็นจำนวนคงที่) ดูเหมือนว่าอัลกอริทึมจะช่วยให้มันตรงไปตรงมามาก; สิ่งที่คุณต้องทำคือคำนวณ "bucket" ที่ถูกต้องสำหรับคะแนนที่เข้ามาและวิธีที่ถูกต้องในการอัพเดทควอไทล์p / 2 p ( 1 + p ) / 2 $0$$p/2$$p$$(1+p)/2$$1$

สมมติว่าคุณติดตามคะแนน คุณสามารถลองติดตามคที่ , , , , , , , , (เลือกจุดเท่ากันในระหว่างและและระหว่างและ ) หรือแม้กระทั่งใช้ Chebyshev โหนดของรูปแบบและ{22}) ถ้า0 P / 12 ... P ⋅ 11 / 12 พีพี+ ( 1 - P ) / 12 ... P + 11 ⋅ ( 1 - P ) / 12 1 0 พีพี1 22 P / 2 ⋅ ( 1 + cos ( 2 ฉัน- 1 ) $25$$0$$p/12$$\dotsc$$p \cdot 11/12$$p$$p + (1-p)/12$$\dotsc$$p + 11\cdot(1-p)/12$$1$$0$$p$$p$$1$$22$ p+(1-p)/2⋅(1+cos(2i-1)$p/2 \cdot (1 + \cos \frac{(2 i - 1)\pi}{22})$p0$p + (1 - p)/2 \cdot (1 + \cos \frac{(2i-1)\pi}{22})$$p$อยู่ใกล้กับหรือคุณสามารถลองวางจุดที่น้อยลงบนด้านที่มีมวลความน่าจะเป็นน้อยลงและอีกด้านหนึ่ง$0$$1$

หากคุณตัดสินใจที่จะติดตามเรื่องนี้ฉัน (และคนอื่น ๆ ในเว็บไซต์นี้) จะสนใจที่จะรู้ว่ามันใช้งานได้หรือไม่

กด et al., สูตรตัวเลขตัวเลข 8.5.2 "การประมาณค่าแบบพาสครั้งเดียวของควอไลเซอร์โดยพลการ" p. 435 ให้คลาส c ++ IQAgent ซึ่งอัปเดต cdf โดยประมาณเป็นเส้นตรง

สิ่งนี้สามารถปรับได้จากอัลกอริธึมที่กำหนดค่ามัธยฐานของชุดข้อมูลออนไลน์ สำหรับข้อมูลเพิ่มเติมดูโพสต์สแต็คโอเวอร์โฟลว์นี้ - /programming/1387497/find-median-value-from-a-growing-set

ฉันจะดูการถดถอยเชิงปริมาณ คุณสามารถใช้มันเพื่อกำหนดการประมาณพารามิเตอร์ของสิ่งใดก็ตามที่คุณต้องการดู มันไม่มีข้อสันนิษฐานเกี่ยวกับความเป็นมาตรฐานดังนั้นจึงสามารถจัดการ heteroskedasticity ได้ค่อนข้างดีและสามารถใช้เป็นหน้าต่างแบบหมุนได้ มันคือการถดถอยแบบ L1-Norm ที่ถูกลงโทษดังนั้นจึงไม่เข้มข้นเกินไปและมีแพ็คเกจ R, SAS และ SPSS ที่น่าสนใจพร้อมด้วยการใช้งาน MATLAB นี่คือแพ็คเกจหลักและแพ็คเกจRสำหรับข้อมูลเพิ่มเติม

แก้ไข:

ตรวจสอบ crosslink exchange math crosslink: มีคนส่งบทความสองฉบับที่วางแนวคิดง่ายๆโดยใช้เพียงหน้าต่างกลิ้งของสถิติการสั่งซื้อเพื่อประมาณปริมาณ แท้จริงทั้งหมดที่คุณต้องทำคือเรียงลำดับค่าจากน้อยที่สุดไปหามากที่สุดเลือกว่าคุณต้องการ quantile ใดและเลือกค่าสูงสุดภายใน quantile นั้น เห็นได้ชัดว่าคุณสามารถให้น้ำหนักมากขึ้นกับการสังเกตการณ์ล่าสุดหากคุณเชื่อว่าพวกเขาเป็นตัวแทนของเงื่อนไขปัจจุบันที่เกิดขึ้นจริง นี่อาจจะเป็นการประมาณการคร่าวๆ แต่ก็ค่อนข้างง่ายที่จะทำและคุณไม่จำเป็นต้องผ่านการเคลื่อนไหวของการยกของหนักเชิงปริมาณ แค่ความคิด

มันเป็นไปได้ที่จะประเมิน (และติดตาม) quantiles บนพื้นฐาน (เหมือนกันใช้กับพารามิเตอร์ของการถดถอยเชิงปริมาณ) ในสาระสำคัญสิ่งนี้จะลดลงไปสู่การไล่ระดับสีแบบสุ่มในฟังก์ชันตรวจสอบการสูญเสียซึ่งกำหนดควอนไทล์ถดถอย (จำนวนที่ถูกแทนด้วยแบบจำลองที่มีเพียงจุดตัด) เช่นการปรับปรุงพารามิเตอร์ที่ไม่รู้จักและเมื่อการสังเกตมาถึง

ดูกระดาษของ Bell Labs "การประมาณควอนไทล์แบบเพิ่มหน่วยสำหรับการติดตามขนาดใหญ่" ( ftp://ftp.cse.buffalo.edu/users/azhang/disc/disc01/cd1/out/papers/kdd/p516-chen.pdf )

อีกหนึ่งอัลกอริทึมที่สำคัญคือM. Greenwald และ S. Khanna 2004 - การคำนวณแบบออนไลน์ที่มีประสิทธิภาพด้านอวกาศของบทสรุปแบบควอนไทล์