พอดีกับข้อมูลเชิงเส้น

วิธีที่มีประสิทธิภาพในการใส่ข้อมูลเชิงเส้น แต่ไม่มีเสียงรบกวนคืออะไร

ฉันกำลังวัดสัญญาณซึ่งประกอบด้วยส่วนต่าง ๆ เกือบเป็นเส้น ฉันต้องการใส่ข้อมูลลงไปหลายเส้นเพื่อตรวจจับการเปลี่ยนผ่านโดยอัตโนมัติ

ชุดข้อมูลประกอบด้วยสองสามพันคะแนนโดยมี 1-10 เซกเมนต์และฉันรู้จำนวนเซกเมนต์

นี่คือตัวอย่างของสิ่งที่ฉันต้องการทำโดยอัตโนมัติ

ฉันลองสองวิธีอย่างไร้เดียงสา (ใช้เพียง 3 ส่วน) แน่นอนว่าจะมีวิธีการที่นักเล่นที่นั่น

RANSAC ควรจะเป็นกลไกการกระชับที่แข็งแกร่ง มันง่ายที่จะหยุดอัลกอริทึมหลังจากมีหลายเซ็กเมนต์ อย่างไรก็ตามอาจเป็นเรื่องยากที่จะบังคับใช้ความต่อเนื่องระหว่างเซ็กเมนต์ - อย่างที่ต้องการในแอปพลิเคชันของคุณ - อย่างน้อยก็ด้วยการใช้งานที่ง่าย ในฐานะที่เป็นหลักฐานการแนวคิดผมสร้างภาพจากจุดข้อมูลเพื่อที่ฉันจะใช้เครื่องมือ RANSAC ที่มีอยู่ใน , ฟังก์ชั่นการตรวจสอบสายของ Mathematica$ImageLines$

จัดวางโมเดลเชิงเส้นเป็นเส้นตรงโดยใช้เครื่องมือลดขนาดเอนกประสงค์ มันง่ายในการบังคับใช้เซ็กเมนต์ความต่อเนื่อง ที่น่าสนใจคือการทดสอบส่วนที่เหลือและคุณสมบัติอื่น ๆ อาจให้ข้อมูลเพียงพอที่จะกำหนดจำนวนเซ็กเมนต์โดยอัตโนมัติ - ฉันไม่ได้ลองเลย นั่นคือลักษณะที่ปรากฏใน Mathematica:

ฉันไม่ได้อ้างว่าวิธีการต่อไปนี้มีประสิทธิภาพ แต่อาจได้ผลสำหรับคุณ ด้วยคะแนนพันและอาจแบ่งเซ็กเมนต์เส้นตรงประมาณสิบหรือมากกว่าให้ดำเนินการดังนี้$x[n]$

• ประมวลผลคะแนนเพื่อสร้างบิตอาร์เรย์y [ n ]ดังต่อไปนี้ Y [ n ] = { 1 , ถ้า| ( x [ n + 1 ] - x [ n ] ) - ( x [ n ] - x [ n - 1 ] ) | < ϵ , 0 , มิฉะนั้น $x[n]$$y[n]$

  $$y[n] = \begin{cases}1, &\text{if} ~ |(x[n+1]-x[n]) - (x[n]-x[n-1])| < \epsilon,\\ 0, &\text{otherwise.}\end{cases}$$ ที่นี่$\epsilon$เป็นจำนวนน้อยที่เลือกเพื่อให้เหมาะกับความคิดของคุณว่าใกล้กับเส้นตรงมากแค่ไหนที่คุณต้องการคะแนนเพื่อโค่นไป เกณฑ์จะได้รับการยอมรับจาก cognoscenti ว่าต้องการให้เส้นตรงทะลุผ่าน ( n - 1 , x [ n - 1 ] )และ ( n , x [ n ] $x[n-1],x[n], x[n+1]$$(n-1, x[n-1])$$(n,x[n])$มีเกือบลาดเช่นเดียวกับเส้นตรงผ่านและ( n + 1 , x [ n + 1 ] )$(n,x[n])$$(n+1,x[n+1])$

• ถ้าเป็นอาร์เรย์ที่มีการวิ่งยาวสิบหรือนานเป็น1วินาทีคั่นด้วยการวิ่ง0วินาทีด้วยการจรจัดเป็นครั้งคราว1วินาทีที่นี่และที่นั่นเพื่อทำลายความงามผ่อนคลายคุณอยู่ในเส้นทางที่ถูกต้อง อื่น ๆ ถ้ามีการทำงานน้อยเกินไปหรือมากเกินไปวิ่ง1วินาทีทำซ้ำขั้นตอนก่อนหน้านี้ที่มีความแตกต่างกันε$y[n]$$1$$0$$1$$1$$\epsilon$

• $y[n]$$x[3]$$x[88]$$x[94]$$x[120]$$x[129]$$\cdots$และอื่น ๆ ขยาย A ไปทางขวาและ B ไปทางซ้ายเพื่อดูว่าพวกมันตัดกันที่ไหน ขยาย B ไปทางขวาและ C ไปทางซ้ายเพื่อดูว่าพวกมันตัดกันที่ไหน, ขอแสดงความยินดีตอนนี้คุณมีโมเดลเชิงเส้นเชิงเส้นและต่อเนื่องสำหรับข้อมูลของคุณ

(ปีต่อมา) ฟังก์ชั่นเชิงเส้นเป็นเส้นแบ่งของระดับ 1 ซึ่งส่วนใหญ่สามารถบอกได้ว่าจะทำอย่างไร scipy.interpolate.UnivariateSpline ตัวอย่างเช่นสามารถทำงานด้วยk=1 และพารามิเตอร์เรียบsซึ่งคุณจะต้องเล่นกับ - ดู SciPy-การแก้ไขที่มี univariate-เส้นโค้ง
ใน Matlab ดู วิธีที่จะเลือก-นอต

เพิ่ม: การหานอตที่ดีที่สุดไม่ใช่เรื่องง่ายเพราะอาจมีออพติม่าในท้องถิ่นมากมาย คุณให้ UnivariateSpline แทนเป้าหมายเป็นsผลรวมของข้อผิดพลาด ^ 2 และให้มันกำหนดจำนวนนอต หลังจากการฟิตget_residual()จะได้รับผลรวมของข้อผิดพลาดจริง ^ 2 และget_knots()ปม การเปลี่ยนแปลงเล็กน้อยในsอาจมีการเปลี่ยนแปลงนอตมากโดยเฉพาะอย่างยิ่งในเสียงรบกวนสูง - ymmv
พล็อตแสดงให้เห็นถึงความเหมาะสมกับฟังก์ชั่นเชิงเส้นแบบสุ่ม + เสียงรบกวนสำหรับต่างๆsเสียงต่างๆ

สำหรับค่าคงที่แบบทีละส่วนให้ดู การตรวจจับขั้นตอนการตรวจสอบขั้นตอนสามารถใช้สำหรับ pw เชิงเส้นได้หรือไม่? ไม่ทราบ เริ่มต้นด้วยการแยกความแตกต่างของข้อมูลที่มีเสียงดังจะเพิ่มเสียงรบกวนผิด

ยินดีต้อนรับการทดสอบอื่น ๆ และ / หรือลิงก์ไปยังเอกสารหรือรหัสจะได้รับการต้อนรับ การเชื่อมโยงสองสามอย่าง: การเชื่อมโยง
เชิงเส้น - ชิ้น - การถดถอย - ด้วย - นอต - พารามิเตอร์
$\qquad$เส้นโค้งเชิงเส้นมีความอ่อนไหวมากต่อการที่ปมจะถูกวาง
ปมเลือกสำหรับสำหรับลูกบาศก์ถดถอย
$\qquad$ นี่เป็นปัญหาที่ยุ่งยากและคนส่วนใหญ่เพียงเลือกปมจากการลองผิดลองถูก
$\qquad$ วิธีการหนึ่งที่กำลังได้รับความนิยมมากขึ้นคือการใช้เส้นโค้งการถดถอยที่ถูกลงโทษแทน

optimal k lines
    = optimal k - 1 lines up to some x
    + cost of the last line x to the end
over x  (all x in theory, nearby x in practice)

การเขียนโปรแกรมแบบไดนามิกนั้นฉลาดมาก แต่มันสามารถเอาชนะแรงเดรัจฉาน + การวิเคราะห์พฤติกรรมสำหรับงานนี้ได้หรือไม่?
ดูบันทึกย่อของหลักสูตรที่ยอดเยี่ยมโดย Erik Demaine ภายใต้ MIT 6.006 แนะนำขั้นตอนวิธี
และการถดถอยเชิงเส้นแบบแบ่งส่วนของ Google รวมถึงกลุ่ม
อาการของ John Henry

หาอนุพันธ์และหาพื้นที่ที่มีค่าเกือบคงที่ คุณจะต้องสร้างอัลกอริทึมเพื่อค้นหาพื้นที่เหล่านั้นด้วยความลาดชันระดับ +/- ที่ยอดเยี่ยมและนั่นจะให้ความชันของเส้นสำหรับส่วนนั้น คุณอาจต้องการปรับให้เรียบบางอย่างเช่นค่าเฉลี่ยเลื่อนก่อนที่จะทำการจำแนกหมวดหมู่ ขั้นตอนต่อไปคือการหาจุดตัด y ซึ่งควรจะไม่สำคัญในจุดนั้น

การใช้ตัวกรองแนวโน้ม l1 เป็นแนวคิดอื่น:

กระดาษ

ตัวอย่างออนไลน์