การประยุกต์ใช้ขั้นตอนวิธีการตรวจจับความผิดปกติของเวฟเล็ตตามอนุกรมเวลา

ฉันเริ่มทำงานผ่านทางบทเรียนการทำเหมืองข้อมูลทางสถิติโดย Andrew Moore (แนะนำเป็นอย่างยิ่งสำหรับคนอื่นที่เริ่มเข้ามาในสาขานี้) ฉันเริ่มต้นด้วยการอ่านPDF ที่น่าสนใจอย่างยิ่งนี้ในหัวข้อ "ภาพรวมเบื้องต้นของอัลกอริธึมการตรวจจับความผิดปกติตามอนุกรมเวลา"ซึ่งมัวร์ติดตามด้วยเทคนิคต่างๆที่ใช้ในการสร้างอัลกอริทึมในการตรวจหาการระบาดของโรค ครึ่งทางผ่านภาพนิ่งในหน้า 27 เขาแสดงรายการ "วิธีการอันทันสมัย" อื่น ๆ อีกจำนวนหนึ่งที่ใช้ในการตรวจจับการระบาด คนแรกที่ระบุไว้เป็นระลอกคลื่น Wikipeida อธิบายเวฟเล็ตเป็น

การแกว่งของคลื่นคล้ายกับแอมพลิจูดที่เริ่มต้นที่ศูนย์เพิ่มและลดลงกลับเป็นศูนย์ โดยทั่วไปสามารถมองเห็นเป็น "การแกว่งสั้น ๆ "

แต่ไม่ได้อธิบายถึงแอปพลิเคชันของพวกเขาต่อสถิติและการค้นหาโดย Google ของฉันให้ผลงานทางวิชาการสูงซึ่งถือว่ามีความรู้ว่าเวฟเล็ตเกี่ยวข้องกับสถิติหรือหนังสือเล่มเต็มในเรื่อง

ฉันต้องการความเข้าใจขั้นพื้นฐานเกี่ยวกับวิธีการนำเวฟเล็ตมาใช้ในการตรวจจับความผิดปกติของอนุกรมเวลาซึ่งมัวร์แสดงให้เห็นถึงเทคนิคอื่น ๆ ในการสอนของเขา บางคนสามารถให้คำอธิบายเกี่ยวกับวิธีการตรวจจับโดยใช้งานเวฟเล็ตหรือลิงก์ไปยังบทความที่เข้าใจได้ในเรื่องนี้หรือไม่?

เวฟเล็ตมีประโยชน์ในการตรวจจับสัญญาณเอกพจน์ในสัญญาณ (ดูตัวอย่างกระดาษที่นี่ (ดูรูปที่ 3 สำหรับภาพประกอบ) และข้อมูลอ้างอิงที่กล่าวถึงในบทความนี้ฉันคิดว่าภาวะเอกฐานในบางครั้งอาจเป็นความผิดปกติได้หรือไม่?

แนวคิดนี่คือการแปลงเวฟเล็ตอย่างต่อเนื่อง(CWT)มีเส้นสูงสุดที่แพร่กระจายไปตามความถี่นั่นคือยิ่งบรรทัดยาวยิ่งสูงขึ้นก็จะเป็นเอกฐาน ดูรูปที่ 3 ในกระดาษเพื่อดูสิ่งที่ฉันหมายถึง! ทราบว่ามีรหัส Matlab ฟรีที่เกี่ยวข้องกับกระดาษที่มันควรจะเป็นที่นี่

นอกจากนี้ฉันสามารถให้คุณฮิวริสติกรายละเอียดว่าทำไม DISCRETE (ตัวอย่างก่อนหน้านี้เกี่ยวกับการแปลงเวฟเล็ตอย่างต่อเนื่อง) ( DWT ) เป็นที่น่าสนใจสำหรับนักสถิติ (ข้อแก้ตัวที่ไม่หมดแรง):

• มีสัญญาณระดับกว้าง (สมจริง (ช่องว่าง Besov)) ที่ถูกแปลงเป็นลำดับกระจัดกระจายโดยการแปลงเวฟเล็ต ( คุณสมบัติการบีบอัด )
• คลาสที่กว้างของกระบวนการ (quasi-stationary) ที่ถูกแปลงเป็นลำดับด้วยคุณสมบัติที่ไม่เกี่ยวข้องกันเกือบทั้งหมด ( คุณสมบัติของการตกแต่ง )
• ค่าสัมประสิทธิ์เวฟเล็ตมีข้อมูลที่มีการแปลในเวลาและความถี่ (ที่ระดับที่แตกต่างกัน) (คุณสมบัติหลายขนาด)
• ค่าสัมประสิทธิ์เวฟสัญญาณเข้มข้นในเอกของมัน

รายการในงานนำเสนอที่คุณอ้างถึงดูเหมือนว่าจะเป็นเรื่องค่อนข้างยุติธรรมสำหรับฉันและเทคนิคที่จะนำมาใช้นั้นขึ้นอยู่กับปัญหาเฉพาะ คุณจะทราบได้ว่ามันรวมตัวกรองคาลมานด้วยดังนั้นฉันสงสัยว่าการใช้งานที่ตั้งใจไว้เป็นเทคนิคการกรอง โดยทั่วไปการแปลงเวฟเล็ตจะตกอยู่ภายใต้หัวข้อของการประมวลผลสัญญาณและมักจะใช้เป็นขั้นตอนก่อนการประมวลผลที่มีข้อมูลที่มีเสียงดังมาก ตัวอย่างคือกระดาษ " การตรวจจับความผิดปกติหลายระดับ " โดย Chen และ Zhan (ดูด้านล่าง) วิธีการนี้จะทำการวิเคราะห์บนสเปกตรัมที่แตกต่างกันมากกว่าในซีรีย์ที่มีเสียงดังดั้งเดิม

เวฟเล็ตมักถูกเปรียบเทียบกับการแปลงฟูริเยร์ต่อเนื่องแม้ว่ามันจะมีประโยชน์ในการแปลทั้งเวลาและความถี่ เวฟเล็ตสามารถใช้สำหรับการบีบอัดสัญญาณและสำหรับการปรับให้เรียบ ในที่สุดมันก็สมเหตุสมผลที่จะใช้สถิติเพิ่มเติมหลังจากการแปลงเวฟเล็ตถูกนำไปใช้ (โดยดูที่ฟังก์ชันความสัมพันธ์อัตโนมัติเช่น) อีกแง่มุมหนึ่งของเวฟเล็ตที่อาจเป็นประโยชน์สำหรับการตรวจจับความผิดปกติคือผลกระทบของการโลคัลไลเซชัน: กล่าวคือความไม่ต่อเนื่องจะมีผลต่อเวฟเล็ตที่อยู่ใกล้มันเท่านั้น แอปพลิเคชันหนึ่งของสิ่งนี้คือการค้นหาซีรีส์เวลาแบบคงที่ในพื้นที่

Guy Nasonมีหนังสือที่ดีที่ฉันอยากจะแนะนำถ้าคุณต้องการที่จะเจาะลึกลงไปในการประยุกต์ใช้ทางสถิติในทางปฏิบัติ: " วิธีการเวฟเล็ตในสถิติด้วย R " นี่คือการกำหนดเป้าหมายเฉพาะแอปพลิเคชันของเวฟเล็ตในการวิเคราะห์ทางสถิติและเขาได้ให้ตัวอย่างจริงมากมายพร้อมกับโค้ดทั้งหมด (โดยใช้แพ็คเกจ wavethresh ) หนังสือของ Nason ไม่ได้กล่าวถึง "การตรวจจับความผิดปกติ" โดยเฉพาะแม้ว่าจะทำหน้าที่เป็นพลเรือเอกในการให้ภาพรวมทั่วไป

สุดท้ายบทความวิกิพีเดียมีการอ้างอิงเบื้องต้นที่ดีหลายประการดังนั้นจึงควรอ่านรายละเอียด

• Xiao-yun Chen, Yan-yan Zhan "อัลกอริธึมการตรวจจับความผิดปกติแบบหลายขนาดตามรูปแบบไม่บ่อยครั้งของอนุกรมเวลา"วารสารการคำนวณและคณิตศาสตร์ประยุกต์เล่มที่ 214 ฉบับที่ 1 (เมษายน 2008)
• GP Nason " วิธีการเวฟเล็ตในสถิติด้วย R " Springer, 2008

[ตามบันทึกด้านข้าง: หากคุณกำลังมองหาเทคนิคสมัยใหม่ที่ดีสำหรับการตรวจจับจุดเปลี่ยนฉันขอแนะนำให้ลองใช้ HMM ก่อนที่จะใช้เวลามากเกินไปกับวิธีการเวฟเล็ตเว้นแต่คุณจะมีเหตุผลที่ดีที่จะใช้เวฟเล็ตในสาขาเฉพาะของคุณ นี่คือประสบการณ์ส่วนตัวของฉัน มีหลักสูตรที่ไม่ใช่เชิงเส้นอื่น ๆ อีกมากมายที่สามารถนำมาพิจารณาได้ดังนั้นมันจึงขึ้นอยู่กับปัญหาเฉพาะของคุณ]

ฟังก์ชั่นพื้นฐานของเวฟเล็ตส่วนใหญ่ที่ใช้กันทั่วไปและนำมาใช้ (แยกจาก CWT ที่อธิบายไว้ในคำตอบของโรบิน) มีคุณสมบัติที่ดีสองอย่างที่ทำให้เป็นประโยชน์สำหรับการตรวจจับความผิดปกติ:

1. พวกเขากำลังสนับสนุนดาน
2. พวกเขาทำหน้าที่เป็นตัวกรองแบนด์วิดท์ด้วยพาสพาสที่พิจารณาจากการสนับสนุนของพวกเขา

สิ่งนี้หมายความว่าในแง่การปฏิบัติคือการย่อยสลายเวฟเล็ตโดยสิ้นเชิงของคุณดูที่การเปลี่ยนแปลงในท้องถิ่นของสัญญาณในเครื่องชั่งและคลื่นความถี่ที่หลากหลาย หากคุณมีขนาดใหญ่เสียงรบกวนความถี่สูงทับฟังก์ชั่นที่แสดงการเปลี่ยนขนาดต่ำในระยะเวลานานการแปลงเวฟเล็ตจะแยกเครื่องชั่งสองตัวนี้อย่างมีประสิทธิภาพและช่วยให้คุณเห็นการเปลี่ยนแปลงพื้นฐานที่อื่น ๆ อีกมากมาย เทคนิคจะพลาด การเปลี่ยนแปลงพื้นฐานนี้สามารถแนะนำการระบาดของโรคหรือการเปลี่ยนแปลงที่น่าสนใจอื่น ๆ ในหลาย ๆ วิธีคุณสามารถปฏิบัติต่อการสลายตัวของมันเองได้อย่างนุ่มนวล (และมีการทำงานเล็กน้อยในการหดตัวที่มีประสิทธิภาพสำหรับค่าสัมประสิทธิ์เวฟเล็ตในการประมาณค่าแบบไม่มีพารามิเตอร์ดูตัวอย่างอะไรก็ได้บน Donoho ไม่เหมือนกับวิธีที่ใช้คลื่นความถี่บริสุทธิ์ การสนับสนุนที่กะทัดรัดหมายความว่าพวกเขาสามารถจัดการข้อมูลที่ไม่อยู่นิ่งได้ ซึ่งแตกต่างจากวิธีการตามเวลาอย่างหมดจดพวกเขาอนุญาตให้มีการกรองตามความถี่บางอย่าง

ในแง่การปฏิบัติเพื่อตรวจจับความผิดปกติหรือจุดเปลี่ยนคุณจะต้องใช้การแปลงเวฟเล็ตแบบแยก (อาจเป็นตัวแปรที่รู้จักกันในชื่อ "Maximum Overlap DWT" หรือ "shift invariant DWT" ขึ้นอยู่กับว่าคุณอ่านใคร) กับข้อมูล ที่ชุดค่าสัมประสิทธิ์ความถี่ต่ำเพื่อดูว่าคุณมีการเปลี่ยนแปลงที่สำคัญในพื้นฐานหรือไม่ สิ่งนี้จะแสดงให้คุณเห็นเมื่อมีการเปลี่ยนแปลงในระยะยาวภายใต้เสียงรบกวนแบบวันต่อวัน Percival และ Walden (ดูข้อมูลอ้างอิงด้านล่าง) ได้รับการทดสอบเล็กน้อยสำหรับค่าสัมประสิทธิ์นัยสำคัญทางสถิติที่คุณสามารถใช้เพื่อดูว่าการเปลี่ยนแปลงเช่นนี้มีความสำคัญหรือไม่

ผลงานอ้างอิงที่ยอดเยี่ยมสำหรับเวฟเล็ตแบบไม่ต่อเนื่องคือ Percival และ Walden "วิธีการเวฟเล็ตสำหรับการวิเคราะห์อนุกรมเวลา" งานเบื้องต้นที่ดีคือ "ความรู้เบื้องต้นเกี่ยวกับการแปลงเวฟเล็ตและเวฟเล็ตไพรเมอร์" โดย Burrus, Gopinath และ Guo หากคุณมาจากภูมิหลังทางวิศวกรรม "องค์ประกอบของเวฟเล็ตสำหรับวิศวกรและนักวิทยาศาสตร์" เป็นการแนะนำที่ดีจากมุมมองของการประมวลผลสัญญาณ

(แก้ไขเพื่อรวมความคิดเห็นของ Robin)