อัลกอริทึมสำหรับการฟื้นฟูข้อมูลตามเวลาจริงตามเวลาจริงหรือไม่


12

ฉันกำลังทำงานกับอัลกอริทึมที่ใช้ในเวกเตอร์ของจุดข้อมูลล่าสุดจากลำธารเซ็นเซอร์จำนวนหนึ่งและเปรียบเทียบระยะทางแบบยุคลิดกับเวกเตอร์ก่อนหน้านี้ ปัญหาคือกระแสข้อมูลที่แตกต่างกันมาจากเซ็นเซอร์ที่แตกต่างกันอย่างสิ้นเชิงดังนั้นการใช้ระยะทางแบบยุคลิดแบบเรียบง่ายจะทำให้ค่าบางค่าสูงขึ้นอย่างมาก เห็นได้ชัดว่าฉันต้องการวิธีที่จะทำให้ข้อมูลเป็นมาตรฐาน อย่างไรก็ตามเนื่องจากอัลกอริทึมได้รับการออกแบบให้ทำงานแบบเรียลไทม์ฉันไม่สามารถใช้ข้อมูลใด ๆ เกี่ยวกับสตรีมข้อมูลใด ๆ โดยรวมในการทำให้เป็นมาตรฐานได้ จนถึงตอนนี้ฉันเพิ่งจะติดตามค่าที่ใหญ่ที่สุดที่มองเห็นได้สำหรับเซ็นเซอร์แต่ละตัวในระยะเริ่มต้น (เวกเตอร์ข้อมูล 500 ตัวแรก) จากนั้นหารข้อมูลในอนาคตทั้งหมดจากเซ็นเซอร์นั้นด้วยค่านั้น มันใช้งานได้ดีอย่างน่าประหลาดใจ แต่รู้สึกไม่ค่อยดี

ฉันไม่ได้โชคดีที่ได้พบอัลกอริทึมที่มีอยู่แล้วสำหรับสิ่งนี้ แต่บางทีฉันแค่ไม่ได้มองในที่ที่เหมาะสม มีใครรู้บ้างไหม หรือมีความคิดใด ๆ ฉันเห็นคำแนะนำหนึ่งข้อในการใช้ค่าเฉลี่ย (อาจคำนวณโดยอัลกอริธึมของ Wellford) แต่ถ้าฉันทำอย่างนั้นการอ่านค่าเดียวกันหลายครั้งจะไม่ปรากฏว่าเหมือนกันซึ่งดูเหมือนว่าจะเป็นปัญหาใหญ่เว้นแต่ฉัน คิดถึงบางอย่าง ความคิดใด ๆ ที่ชื่นชม! ขอบคุณ!

คำตอบ:


1

จากคำถามของคุณฉันเข้าใจว่าคุณกำลังมองหา:

  1. ค้นหาวิธีที่ทำให้การรับส่งข้อมูลเป็นปกติจากเซ็นเซอร์แต่ละตัว
  2. ดูว่าจุดข้อมูลใหม่นั้นแตกต่างจากจุดก่อนหน้าหรือไม่

ที่นี่ฉันจะเริ่มต้นที่ไหน

1. สำหรับคำถามแรกของคุณ: การลบค่าเฉลี่ยและการฟอกสีฟันเป็นสิ่งที่คุณกำลังมองหา การแปลงไวท์เทนนิ่งทำให้มั่นใจว่าคุณสมบัติของคุณทั้งหมดอยู่ในช่วงไดนามิกเดียวกัน

ฉันจะทำให้การตั้งสมมติฐานบางอย่างง่ายขึ้นซึ่งอาจเกี่ยวข้องอย่างสมบูรณ์แบบ แต่มีความเหมาะสมอย่างสมบูรณ์เป็นจุดเริ่มต้นที่จะสร้างขึ้น

สมมติว่าข้อมูลของคุณเป็นหน่วยเดียวมันมีค่าเฉลี่ยเพียงค่าเดียว ฉันจะเริ่มต้นด้วยการลบค่าเฉลี่ยของข้อมูลและทำการแปลงไวท์เทนนิ่ง (อาจเป็น PCA หรือ ZCA ขึ้นอยู่กับข้อมูลของคุณ)

หากคุณต้องการทำสิ่งนี้ในแบบเรียลไทม์ฉันจะใช้จำนวนตัวอย่างที่กำลังวิ่งซึ่งทำไวท์เทนนิ่งบนหน้าต่างที่กำลังเคลื่อนที่ ตรวจสอบให้แน่ใจว่าคุณมีตัวอย่างเพียงพอสำหรับการฟอกสีฟันของคุณให้ถูกต้อง (ไวท์เทนนิ่งต้องการเมทริกซ์ความแปรปรวนร่วมที่จะกลับด้านได้และเพื่อให้คุณต้องการตัวอย่างชั่วคราวมากกว่าเซ็นเซอร์ของคุณ)

ทีนี้ถ้าข้อมูลของคุณไม่ใช่ unimodal ฉันอาจจัดกลุ่มข้อมูลเพื่อดูว่ามีโหมดใดบ้าง ที่พื้นฐานมากสำหรับจุดใหม่แต่ละจุดที่มาถึงฉันจะมอบให้กับกลุ่มที่เหมาะสมและย้ายจากที่นั่น

2. วัดระยะทางได้อย่างมีประสิทธิภาพจากจุดที่ผ่านมาผมจะใช้ระยะ Mahalanobis ในความเป็นจริงทั้งหมดระยะทาง Mahalanobis นั้นค่อนข้างไกลจากปริภูมิแบบยุคลิดในพื้นที่สีขาว

โดยสรุปโปรดอ่านเกี่ยวกับการฟอกสีฟันและระยะทาง Mahalanobis ฉันคิดว่าสิ่งเหล่านี้จะนำคุณไปในทิศทางที่คุณต้องการ

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.