LOESS ที่ช่วยให้ไม่ต่อเนื่อง


14
  • มีเทคนิคการสร้างแบบจำลองเช่นLOESSที่อนุญาตให้มีศูนย์ไม่ต่อเนื่องหนึ่งหรือมากกว่านั้นซึ่งเวลาที่ไม่ต่อเนื่องไม่เป็นที่รู้จัก apriori?
  • หากเทคนิคมีอยู่จะมีการนำไปใช้ใน R หรือไม่?

1
ความไม่ต่อเนื่องที่ค่า x ที่รู้จักหรือที่ค่า x ที่ไม่รู้จัก? (รู้จัก x นั้นง่ายพอ)
Glen_b

@glen ฉันได้อัปเดตคำถาม: ฉันสนใจในสถานการณ์ที่ไม่รู้จักช่วงเวลาที่ไม่ต่อเนื่องของ apriori
Jeromy Anglim

นี่อาจเป็นคำถามที่สงสัยหรือสงสัย แต่คุณบอกว่า "เวลา": นี่สำหรับใช้กับอนุกรมเวลาหรือไม่? ฉันเชื่อว่าคำตอบส่วนใหญ่ด้านล่างถือว่านี่ ("changepoint และอื่น ๆ ") แม้ว่า LOESS สามารถนำไปใช้ในสถานการณ์ที่ไม่ต่อเนื่องได้โดยไม่ต่อเนื่อง ฉันคิด.
Wayne

คำตอบ:


15

ดูเหมือนว่าคุณต้องการทำการตรวจจับการเปลี่ยนแปลงหลายจุดตามด้วยการปรับให้เป็นอิสระในแต่ละส่วน (การตรวจจับสามารถออนไลน์ได้หรือไม่ แต่ใบสมัครของคุณไม่น่าจะออนไลน์) มีวรรณกรรมมากมายเกี่ยวกับเรื่องนี้ การค้นหาทางอินเทอร์เน็ตมีผลสำเร็จ

  • DA Stephens เขียนคำแนะนำที่เป็นประโยชน์เกี่ยวกับการตรวจหาการเปลี่ยนแปลงของ Bayesian ในปี 1994 (แอปสถิติ 43 # 1 หน้า 159-178: JSTOR )
  • เมื่อไม่นานมานี้ Paul Fearnhead ทำงานได้ดี (เช่นการอนุมานแบบเบย์ที่ถูกต้องและมีประสิทธิภาพสำหรับปัญหาการเปลี่ยนแปลงหลายอย่าง Stat Comput (2006) 16: 203-213: PDF ฟรี )
  • อัลกอริทึมแบบเรียกซ้ำอยู่บนพื้นฐานของการวิเคราะห์ที่สวยงามโดย D Barry & JA Hartigan
    • รูปแบบพาร์ติชันผลิตภัณฑ์สำหรับโมเดลจุดเปลี่ยนแอน สถิติ 20: 260-279: JSTOR ;
    • การวิเคราะห์แบบเบส์สำหรับการเปลี่ยนแปลงปัญหาจุด JASA 88: 309-319: JSTOR
  • การดำเนินการหนึ่งของอัลกอริทึม Barry & Hartigan มีการบันทึกไว้ใน O. Seidou & TBMJ Ourda, การตรวจจับ Changepoint หลายครั้งแบบเรียกซ้ำในการถดถอยเชิงเส้นหลายตัวแปรและการประยุกต์ใช้กับการไหลของแม่น้ำ, การต้านทานน้ำ Res, 2006:. PDF ฟรี

ฉันไม่ได้ดูยากสำหรับการใช้งาน R ใด ๆ (ฉันได้เขียนรหัสหนึ่งใน Mathematica เมื่อไม่นานมานี้) แต่จะขอบคุณอ้างอิงถ้าคุณพบมัน


3
ฉันพบแพ็คเกจ bcp R jstatsoft.org/v23/i03/paperซึ่งใช้อัลกอริทึม Barry & Hartigan
Jeromy Anglim

@Jeromy: ขอบคุณสำหรับแพ็คเกจ R และใส่ลิงค์ไปยังการอ้างอิง
whuber

7

ทำมันด้วยการถดถอยเชิงเส้นของ koencker ดูหน้า 18 ของบทความนี้

http://cran.r-project.org/web/packages/quantreg/vignettes/rq.pdf

ในการตอบสนองต่อ Whuber ความคิดเห็นล่าสุด:

ตัวประมาณนี้ถูกกำหนดเช่นนี้

, x ( i )x ( i - 1 )xR ,x(i)x(i1)i

,ei:=yiβix(i)β0

, z - = max ( - z , 0 ) ,z+=max(z,0)z=max(z,0)

, λ 0τ(0,1)λ0

min.βRn|τ,λi=1nτei++i=1n(1τ)ei+λi=2n|βiβi1|

ττ=0.9λλ

Quantile Smoothing Splines Roger Koenker, Pin Ng, Stephen Portnoy Biometrika, Vol. 81, ฉบับที่ 4 (ธ.ค. , 1994), หน้า 673-680

PS: มีกระดาษทำงาน acess เปิดที่มีชื่อเดียวกันโดยคนอื่น ๆ ที่เหมือนกัน แต่มันก็ไม่เหมือนกัน


That's a neat idea: thanks for the reference. However, the residuals to that particular fit look pretty bad, which makes me wonder how well it identifies potential changepoints.
whuber

whuber: i do not know how much you are familiar with the theory of quantile regression. These lines have a major advantage over splines: they do not assume any error distribution (i.e. they do not assume the residuals to be Gaussian).
user603

@kwak This looks interesting. Not assuming a normal error distribution would be useful for one of my applications.
Jeromy Anglim

อันที่จริงสิ่งที่คุณได้รับจากการประมาณค่านี้ก็คือปริมาณควอนตัมตามสภาพจริง: โดยสรุปสิ่งเหล่านี้คือเส้นโค้ง / การย่อ / การลดลงสิ่งที่ boxplots มีต่อคู่รัก (เฉลี่ย, SD): มุมมองที่สมบูรณ์ยิ่งขึ้นของข้อมูลของคุณ พวกเขายังคงมีความถูกต้องในบริบทที่ไม่ใช่แบบเกาส์เซียน (เช่นข้อผิดพลาด assymetric, ... )
user603

@kwak: ส่วนที่เหลือมีความสัมพันธ์อย่างมากกับพิกัด x ตัวอย่างเช่นมีการรันในระยะยาวของค่าลบบวกหรือค่าบวกเล็กน้อย ไม่ว่าพวกเขาจะมีการแจกแจงแบบเกาส์หรือไม่ก็ตามนั้นเป็นสาระสำคัญ (เช่นเดียวกับที่ไม่เกี่ยวข้องในการวิเคราะห์เชิงสำรวจ): ความสัมพันธ์นี้แสดงให้เห็นว่าพอดีไม่ดี
whuber

6

Here are some methods and associated R packages to solve this problem

Wavelet thresolding estimation in regression allows for discontonuities. You may use the package wavethresh in R.

A lot of tree based methods (not far from the idea of wavelet) are usefull when you have disconitnuities. Hence package treethresh, package tree !

In the familly of "local maximum likelihood" methods... among others: Work of Pozhel and Spokoiny: Adaptive weights Smoothing (package aws) Work by Catherine Loader: package locfit

I guess any kernel smoother with locally varying bandwidth makes the point but I don't know R package for that.

หมายเหตุ: ฉันไม่ได้รับความแตกต่างระหว่าง LOESS และการถดถอย ... จริง ๆ หรือไม่ความคิดที่ว่าในอัลกอริทึม LOESS ควรเป็น "ออนไลน์" หรือไม่


1
Re LOESS: บางทีคำศัพท์ของฉันอาจไม่ถูกต้องนัก โดย LOESS ฉันหมายถึงรุ่นที่ทำนาย Y จาก X โดยใช้การปรับส่วนโค้งของรูปแบบบางอย่าง เช่นตามที่เห็นในกราฟส่วนใหญ่เหล่านี้: google.com/…
Jeromy Anglim

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.