วิธีการใดที่ใช้สำหรับการแยกแยะความแตกต่างของเสียง (ดนตรี?)

ฉันพยายามค้นคว้าและหาวิธีที่ดีที่สุดในการโจมตีปัญหานี้ มันเลาะเลียบไปกับการประมวลผลเพลงการประมวลผลภาพและการประมวลผลสัญญาณและดังนั้นจึงมีวิธีมากมายในการดู ฉันต้องการสอบถามวิธีการที่ดีที่สุดในการเข้าหามันเนื่องจากสิ่งที่อาจดูซับซ้อนในโดเมน sig-proc บริสุทธิ์อาจเป็นเรื่องง่าย (และแก้ไขแล้ว) โดยผู้ที่ทำภาพหรือการประมวลผลเพลง อย่างไรก็ตามปัญหามีดังนี้:

หากคุณยกโทษให้ฉันด้วยการวาดปัญหาเราจะเห็นสิ่งต่อไปนี้:

$f_1$$f_4$

$f_1$

$f_1$

ปัญหาคือในทางใดที่ฉันจะแก้ไขปัญหานี้เช่นฉันสามารถเขียนลักษณนามที่สามารถแยกแยะระหว่างสัญญาณ -1 สัญญาณ 2 และสัญญาณ 3 นั่นคือถ้าคุณป้อนสัญญาณสัญญาณใดสัญญาณหนึ่งมันควรจะบอกได้ว่าสัญญาณนี้เป็นเช่นนั้น สิ่งที่ดีที่สุดของลักษณนามจะให้เมทริกซ์ความสับสนในแนวทแยง?

บริบทเพิ่มเติมบางอย่างและสิ่งที่ฉันคิดเกี่ยวกับป่านนี้:

อย่างที่ฉันพูดไปนี้เลาะเลียบทุ่งจำนวนมาก ฉันต้องการสอบถามเกี่ยวกับวิธีการที่อาจมีอยู่ก่อนที่ฉันจะนั่งลงและไปทำสงครามกับสิ่งนี้ ฉันไม่ต้องการประดิษฐ์ล้ออีกครั้งโดยไม่ได้ตั้งใจ นี่คือความคิดบางอย่างที่ฉันได้มองจากมุมมองที่แตกต่างกัน

มุมมองการประมวลผลสัญญาณ: สิ่งหนึ่งที่ฉันได้ดูคือทำการวิเคราะห์ Cepstralและจากนั้นอาจใช้Gabor Bandwidthของ cepstrum ในการแยกแยะสัญญาณ -3 จากอีก 2 และจากนั้นวัดจุดสูงสุดสูงสุดของ cepstrum ในการแยกสัญญาณ - 1 จากสัญญาณ -2 นั่นเป็นโซลูชันการทำงานการประมวลผลสัญญาณปัจจุบันของฉัน

จุดยืนของการประมวลผลภาพ: ที่นี่ฉันกำลังคิดอยู่เพราะในความเป็นจริงฉันสามารถสร้างภาพที่มีสเปคตรัมได้หรือเปล่า ฉันไม่คุ้นเคยอย่างใกล้ชิดกับส่วนนี้ แต่สิ่งที่เกี่ยวกับการทำ 'เส้น' ตรวจจับโดยใช้การแปลง Houghแล้วอย่างใด 'นับ' เส้น (ถ้าพวกเขาไม่ใช่เส้นและ blobs แม้ว่า) และไปจากที่นั่น? แน่นอนว่า ณ เวลาใดเวลาหนึ่งที่ฉันทำการวัดสเปกตรัมของพัลส์ที่คุณเห็นอาจถูกเลื่อนไปตามแกนเวลาดังนั้นเรื่องนี้จะเป็นเช่นไร? ไม่แน่ใจ...

จุดยืนของการประมวลผลเพลง:ส่วนย่อยของการประมวลผลสัญญาณต้องแน่ใจ แต่มันเกิดขึ้นกับฉันว่าสัญญาณ -1 มีคุณภาพ (ทางดนตรี?) ซ้ำ ๆ ซึ่งอาจจะซ้ำ ๆ กันซึ่งผู้คนในวงการเพลงเห็นอยู่ตลอดเวลาและได้แก้ไขไปแล้ว บางทีอาจเป็นเครื่องมือแบ่งแยก ไม่แน่ใจ แต่ความคิดนั้นเกิดขึ้นกับฉัน บางทีจุดยืนนี้เป็นวิธีที่ดีที่สุดในการดูจดโดเมนเวลาและหยอกล้ออัตราขั้นตอนเหล่านั้นหรือไม่ อีกครั้งนี่ไม่ใช่สาขาของฉัน แต่ฉันสงสัยอย่างมากว่านี่คือสิ่งที่เคยเห็นมาก่อน ... เราจะดูสัญญาณทั้ง 3 เป็นเครื่องดนตรีประเภทต่าง ๆ ได้หรือไม่?

ฉันควรจะเพิ่มว่าฉันมีข้อมูลการฝึกอบรมที่เพียงพอดังนั้นบางทีการใช้วิธีการเหล่านั้นอาจทำให้ฉันได้รับการดึงคุณสมบัติซึ่งฉันสามารถใช้K-Neighbor Neighborด้วย แต่นั่นเป็นเพียงความคิด

อย่างไรก็ตามนี่คือที่ฉันยืนอยู่ตอนนี้ความช่วยเหลือใด ๆ ที่ชื่นชม

ขอบคุณ!

แก้ไขตามความคิดเห็น:

• $f_1$$f_2$$f_3$$f_4$$f_1$$f_2$$f_2$

• อัตราการเกิดซ้ำของพัลส์และความยาวพัลส์ของสัญญาณทั้งสามคลาสนั้นเป็นที่ทราบกันล่วงหน้า (ความแตกต่างอีกครั้ง แต่น้อยมาก) ข้อสังเกตบางประการแม้ว่าอัตราการเกิดซ้ำของพัลส์และความยาวของสัญญาณ 1 และ 2 เป็นที่ทราบกันอยู่เสมอ แต่เป็นช่วง โชคดีที่ช่วงเหล่านั้นไม่ทับซ้อนกันเลย

• อินพุตเป็นอนุกรมเวลาต่อเนื่องที่เข้ามาตามเวลาจริง แต่เราสามารถสรุปได้ว่าสัญญาณ 1, 2 และ 3 นั้นไม่เหมือนกันซึ่งในนั้นมีเพียงหนึ่งในนั้นเท่านั้นที่มีอยู่ ณ จุดใดเวลาหนึ่ง นอกจากนี้เรายังมีความยืดหยุ่นอย่างมากเกี่ยวกับจำนวนชิ้นส่วนที่คุณใช้ในการดำเนินการ ณ เวลาใด ๆ

• $f_1$$f_2$$f_3$$f_4$

ขั้นตอนที่ 1

$S(m, k)$$m$$k$

ขั้นตอนที่ 2

สำหรับแต่ละเฟรม STFT ให้คำนวณความถี่พื้นฐานที่โดดเด่นโดยใช้บางอย่างเช่น YIN พร้อมกับตัวบ่งชี้ "pitch มั่นใจ" เช่นความลึกของ "จุ่ม" DMF ที่คำนวณโดย YIN

$f(m)$$m$$v(m)$$m$

$r_0$

$e(m)$$m$

ขั้นตอนที่ 3

$M$$M$$M = 50$

แยกคุณสมบัติต่อไปนี้:

• $\sigma_f(k)$$(f(m))_{m \in [k - M, k + M], v(m) > \tau}$
• $\sigma_v(k)$$(v(m))_{m \in [k - M, k + M]}$
• $\sigma_e(k)$$(e(m))_{m \in [k - M, k + M]}$

$\sigma_f$$\sigma_v$$\sigma_e$

$\sigma_f$$\sigma_v$$\sigma_e$$\sigma_f$$\sigma_v$$\sigma_e$$\sigma_f$$\sigma_v$$\sigma_e$

คำนวณคุณสมบัติทั้ง 3 นี้ในข้อมูลการฝึกอบรมของคุณและฝึกอบรมตัวจําแนกเบส์แบบไร้เดียงสา ขึ้นอยู่กับว่าข้อมูลของคุณดีแค่ไหนคุณสามารถลบตัวแยกประเภทและใช้เกณฑ์ที่กำหนดด้วยมือกับคุณลักษณะได้แม้ว่าฉันจะไม่แนะนำก็ตาม

ขั้นตอนที่ 4

$M$

หากข้อมูลและตัวจําแนกของคุณดีคุณจะเห็นสิ่งนี้:

1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 3, 3, 3, 3, 3, 3, 3

สิ่งนี้จะแบ่งเวลาเริ่มต้นและสิ้นสุดค่อนข้างดีและประเภทของสัญญาณแต่ละสัญญาณ

หากข้อมูลของคุณมีเสียงดังจะต้องมีการแบ่งเฟรมปลอม

1, 1, 1, 1, 1, 2, 1, 1, 1, 2, 2, 3, 2, 1, 1, 1, 1, 3, 1, 1, 1, 3, 3, 3, 2, 3, 3, 3

หากคุณเห็นอึมากในกรณีที่สองให้ใช้ตัวกรองโหมดในข้อมูลผ่านย่านที่อยู่อาศัยที่มีการตรวจจับ 3 หรือ 5 ตัว หรือใช้ HMM

นำข้อความกลับบ้าน

สิ่งที่คุณต้องการยึดตามการตรวจจับของคุณไม่ใช่คุณสมบัติของสเปกตรัม แต่รวมสถิติชั่วคราวของคุณลักษณะสเปกตรัมผ่านหน้าต่างซึ่งอยู่ในระดับเดียวกับระยะเวลาของสัญญาณของคุณ ปัญหานี้เรียกร้องให้มีการประมวลผลบนมาตราส่วนสองครั้ง: เฟรม STFT ที่คุณคำนวณคุณสมบัติสัญญาณภายในเครื่อง (แอมพลิจูดพิทช์ระดับสูงระดับความเข้มของพิทช์) และหน้าต่างขนาดใหญ่ที่คุณมองไปที่ความแปรปรวนชั่วคราว

ทางเลือกอื่นอาจเป็นเครื่องตรวจจับ heterodyne สี่เครื่อง: คูณสัญญาณอินพุตด้วยออสซิลเลเตอร์ท้องถิ่น 4 ความถี่และตัวกรองความถี่ต่ำผ่านเอาต์พุตที่ได้ แต่ละเอาต์พุตแสดงถึงเส้นแนวตั้งในรูปภาพของคุณ คุณจะได้รับเอาต์พุตที่แต่ละความถี่ 4 เป็นฟังก์ชั่นของเวลา ด้วยฟิลเตอร์กรองความถี่ต่ำคุณสามารถหมุนเป็นค่าเบี่ยงเบนความถี่ที่คุณต้องการและอนุญาตให้คุณเปลี่ยนเอาต์พุตได้เร็วเพียงใดเช่นคือความคมของขอบ

สิ่งนี้จะทำงานได้ดีแม้ว่าสัญญาณจะค่อนข้างดัง