การปรับให้เรียบ - ควรใช้เมื่อใดและเมื่อใด?

มีโพสต์เก่า ๆ บนบล็อกของ William Briggsซึ่งดูที่ข้อผิดพลาดของการทำให้ข้อมูลเรียบและดำเนินการกับข้อมูลที่ราบรื่นผ่านการวิเคราะห์ อาร์กิวเมนต์ที่สำคัญคือ:

หากในช่วงเวลาหนึ่งของความบ้าคุณทำข้อมูลอนุกรมเวลาที่ราบรื่นและคุณใช้มันเป็นข้อมูลป้อนเข้าในการวิเคราะห์อื่น ๆ คุณจะเพิ่มโอกาสในการหลอกตัวเองได้อย่างมาก! เพราะนี่คือการทำให้ราบรื่นสัญญาณปลอม - สัญญาณที่ดูสมจริงกับวิธีการวิเคราะห์อื่น ๆ ไม่ว่าคุณจะแน่ใจในผลลัพธ์สุดท้ายของคุณมากเกินไป!

อย่างไรก็ตามฉันพยายามดิ้นรนเพื่อหาบทสนทนาที่ครอบคลุมว่าจะราบรื่นหรือไม่และเมื่อใด

มันขมวดคิ้วเพียงเพื่อทำให้ราบรื่นเมื่อใช้ข้อมูลที่ทำให้ราบเรียบเป็นข้อมูลการวิเคราะห์อื่น ๆ หรือมีสถานการณ์อื่น ๆ เมื่อไม่แนะนำให้เรียบ? ในทางกลับกันมีสถานการณ์ที่ควรปรับให้เรียบหรือไม่?

เอ็กซ์โปเนนเชียลสมูทติ้งเป็นเทคนิคคลาสสิคที่ใช้ในการพยากรณ์อนุกรมเวลาที่ไม่ใช่สาเหตุ ตราบใดที่คุณใช้มันในการคาดการณ์ที่ตรงไปตรงมาและไม่ได้ใช้การปรับแบบเรียบในตัวอย่างให้เป็นอินพุตสำหรับการทำเหมืองข้อมูลอื่นหรืออัลกอริทึมทางสถิติบทวิจารณ์ของ Briggs ไม่ได้ใช้ (ดังนั้นฉันสงสัยเกี่ยวกับการใช้มัน "เพื่อสร้างข้อมูลที่ราบรื่นสำหรับงานนำเสนอ" ตามที่ Wikipedia กล่าว - สิ่งนี้อาจทำให้เข้าใจผิดได้โดยซ่อนความแปรปรวนแบบเรียบไป)

นี่คือการแนะนำหนังสือเรียนเรื่องการทำให้เรียบแบบเอ็กซ์โปเนนเชียล

และนี่คือบทความทบทวน (อายุ 10 ปี แต่ยังมีความเกี่ยวข้อง)

แก้ไข: ดูเหมือนว่าจะมีบางคนสงสัยเกี่ยวกับความถูกต้องของบริกส์วิจารณ์ที่อาจจะค่อนข้างได้รับอิทธิพลจากบรรจุภัณฑ์ ฉันเห็นด้วยอย่างเต็มที่ว่าน้ำเสียงของบริกส์สามารถขัดได้ อย่างไรก็ตามฉันต้องการแสดงให้เห็นว่าทำไมฉันถึงคิดว่าเขามีประเด็น

ด้านล่างนี้ฉันจำลองซีรีย์ 10,000 คู่ในแต่ละครั้งที่มีการสังเกต 100 ครั้ง ชุดทั้งหมดเป็นเสียงสีขาวไม่มีความสัมพันธ์ใด ๆ ดังนั้นการรันการทดสอบความสัมพันธ์มาตรฐานควรให้ค่า p ที่กระจายอย่างสม่ำเสมอใน [0,1] ตามที่เป็นอยู่ (ฮิสโตแกรมด้านซ้ายด้านล่าง)

อย่างไรก็ตามสมมติว่าเราทำให้แต่ละชุดแรกราบรื่นและใช้การทดสอบความสัมพันธ์กับข้อมูลที่ราบรื่น สิ่งที่น่าแปลกใจที่จะปรากฏขึ้น: เนื่องจากเราได้นำจำนวนมากของความแปรปรวนจากข้อมูลที่เราได้รับค่า P ที่มีไกลขนาดเล็กเกินไป การทดสอบสหสัมพันธ์ของเรานั้นมีอคติอย่างมาก ดังนั้นเราจะมั่นใจในความสัมพันธ์ระหว่างซีรีส์ดั้งเดิมซึ่งเป็นสิ่งที่บริกส์พูด

คำถามนี้ค้างอยู่ว่าเราใช้ข้อมูลที่ราบรื่นเพื่อการคาดการณ์ซึ่งในกรณีที่การปรับให้เรียบนั้นถูกต้องหรือไม่หรือว่าเรารวมไว้เป็นข้อมูลในอัลกอริทึมการวิเคราะห์บางกรณีซึ่งการลบความแปรปรวน ความมั่นใจที่ไม่ได้รับการรับรองในข้อมูลนำเข้านี้จะนำไปสู่ผลลัพธ์ที่สิ้นสุดและจำเป็นต้องนำมาพิจารณามิฉะนั้นการอนุมานทั้งหมดจะมั่นใจเกินไป (และแน่นอนว่าเราจะได้รับช่วงเวลาการทำนายที่น้อยเกินไปหากเราใช้แบบจำลองโดยยึดตาม "ความเชื่อมั่นที่สูงเกินจริง" สำหรับการคาดการณ์)

n.series <- 1e4
n.time <- 1e2

p.corr <- p.corr.smoothed <- rep(NA,n.series)
set.seed(1)
for ( ii in 1:n.series ) {
    A <- rnorm(n.time)
    B <- rnorm(n.time)
    p.corr[ii] <- cor.test(A,B)$p.value
	p.corr.smoothed[ii] <- cor.test(lowess(A)$y,lowess(B)$y)$p.value
}

par(mfrow=c(1,2))
hist(p.corr,col="grey",xlab="",main="p values\nunsmoothed data")
hist(p.corr.smoothed,col="grey",xlab="",main="p values\nsmoothed data")

การอ้างว่าการปรับให้เรียบนั้นไม่เหมาะสมสำหรับการวิเคราะห์แบบจำลองประณามว่ามีข้อผิดพลาดกำลังสองสูงกว่าที่ควรเป็น Mean error error หรือ MSE สามารถแบ่งย่อยออกเป็นสามเทอม, จตุรัสของค่าที่เรียกว่า `` อคติ '', ความแปรปรวน, และข้อผิดพลาดลดลงบางส่วน (นี่แสดงในการอ้างอิงด้านล่าง) โมเดลที่ปรับให้เรียบมากเกินไปมีอคติสูงถึงแม้ว่าพวกเขาจะมีความแปรปรวนต่ำและโมเดลที่หยาบเกินไปก็มีความแปรปรวนสูงและอคติต่ำ

ไม่มีอะไรเกี่ยวกับปรัชญาในเรื่องนี้เลย มันเป็นลักษณะทางคณิตศาสตร์ มันไม่ได้ขึ้นอยู่กับลักษณะของเสียงหรือลักษณะของระบบ

ดู:

http://scott.fortmann-roe.com/docs/BiasVariance.html

https://galton.uchicago.edu/~lafferty/pdf/nonparam.pdf

http://www.inf.ed.ac.uk/teaching/courses/mlsc/Notes/Lecture4/BiasVariance.pdf (นี่มีรากเหง้าของการสลายตัว)

http://www.cs.columbia.edu/~blei/fogm/2015F/notes/regularized-regression.pdf (Blei ทำสิ่งเดียวกันในวิธีที่ต่างกันและนำสิ่งที่เกิดขึ้นเมื่อเราพยายามทำนาย)

สถิติคลาสสิกมักจะยืนยันในการประมาณการที่เป็นกลาง ในปี 1955 นักสถิติชาร์ลส์สไตน์แห่งสแตนฟอร์ดแสดงให้เห็นว่ามีการรวมตัวประมาณค่าที่เป็นกลางซึ่งมี MSE ต่ำกว่าสำหรับกรณีพิเศษที่สำคัญโดยเฉพาะอย่างยิ่งสิ่งที่เรียกว่า JAMES-STEIN ESTIMATORS Bradley Efron เขียนข้อความที่เข้าถึงได้มากเกี่ยวกับการปฏิวัติครั้งนี้ในเชิงลึก: http://statweb.stanford.edu/~ckirby/brad/other/Article1977.pdf