Scipy - การประมวลผลเสียง

ฉันกำลังมองหาเครื่องมือที่ดีสำหรับการประมวลผลสัญญาณเสียง เช่นการวิเคราะห์คำพูดและดนตรีการระบุภาษาอัตโนมัติ ฯลฯ

ห้องสมุด Scipy มีฟังก์ชั่นสำหรับการประมวลผลเสียงหรือไม่? มันมีเครื่องมือที่ดีสำหรับการประมวลผลสัญญาณเสียงหรือไม่?

คุณช่วยแนะนำเครื่องมือสำหรับสิ่งนี้ได้ไหม?

โดยส่วนตัวแล้วฉันพบว่า Python เป็นหนึ่งในตัวเลือกที่ดีที่สุดในนั้น คุณจะยินดีที่จะตรวจสอบเช่นซอฟแวร์ของฉันสำหรับการระบุอัตโนมัติของนกจากการบันทึกเสียงที่มีเสียงดัง: Ornithokrites โปรแกรมนี้ใช้โดยกรมอนุรักษ์นิวซีแลนด์และพวกเขามีความสุขกับมัน จากตัวอย่างนี้ฉันอยากจะชี้ให้เห็นข้อดีหลายประการของการใช้ Python:

1. ชุมชนขนาดใหญ่ที่มีการพัฒนาอย่างรวดเร็วและให้บริการห้องสมุดจำนวนมาก SciPy มีวิธีการประมวลผลสัญญาณมากมาย (ที่ได้รับไม่ใช่ Matlab ที่ครบกำหนดแล้วและโตเต็มที่) แม้ว่า SciPy จะเป็นหนึ่งในสิ่งที่สำคัญที่สุด แต่ก็เป็นเพียงหนึ่งในร้อยที่สามารถช่วยคุณได้ ฉันพบว่าAubioดีที่สุดสำหรับการวิเคราะห์เพลง สำหรับการจดจำเสียงพูดและเพลงเพื่อให้แน่ใจว่าคุณจะเพลิดเพลินไปกับฟีเจอร์เสียงที่ยอดเยี่ยมที่Yaafeสามารถสกัดได้
2. แจกฟรี! เมื่อออกจากสถาบันการศึกษาคุณจะพบว่า Matlab ค่อนข้างแพง และแม้ว่าคุณจะสามารถจ่ายได้ผู้ใช้มุมมองของคุณจะไม่พอใจกับการพึ่งพานี้ เช่นกรมการอนุรักษ์กล่าวถึงจะไม่ยอมรับซอฟต์แวร์ที่เป็นกรรมสิทธิ์
3. การระบุมักจะต้องใช้การเรียนรู้ของเครื่องและ Python มีชุดเครื่องมือที่ยอดเยี่ยม: sklearn เป็นห้องสมุดที่ทันสมัยและใช้งานง่าย ดูการแข่งขัน Kaggle (การเรียนรู้ของเครื่อง) และตรวจสอบว่าโปรแกรมเมอร์ชั้นนำจำนวนมากกำลังใช้ Python และ sklearn
4. คุณสามารถจัดการ "ข้อมูลขนาดใหญ่" หากคุณต้องการเรียกใช้การวิเคราะห์กับฐานข้อมูลขนาดใหญ่ของการบันทึก Python ก็มีชุดเครื่องมือที่ได้รับการยอมรับอย่างดี ฉันไม่คิดว่าอินเทอร์เฟซ Matlab / Octave อย่างง่ายดายด้วยเช่น Hadoop ถึงแม้ว่าโปรดแก้ไขให้ถูกต้องหากฉันทำผิด R ทำได้ดีกว่าในพื้นที่นี้
5. เมื่อพูดถึงการเชื่อมต่อคุณสามารถเชื่อมต่อโปรแกรมของคุณกับเว็บไซต์ได้อย่างง่ายดาย นี่คือวิธีที่ฉันจัดการ Ornithokrites (การรู้จำนก): โปรแกรมทำงานบนบริการประมวลผลแบบคลาวด์ของ Amazon Web Services ดีมากถ้าคุณต้องการมอบซอฟต์แวร์ให้กับบุคคลอื่นที่ไม่ต้องการผ่านขั้นตอนการติดตั้งของไลบรารีที่จำเป็นทั้งหมด

ตัวเลือกที่สองของฉันคือ R แม้ว่าจะไม่ใช่ฟีเจอร์ที่มีคุณสมบัติเหมือนกับ Python แต่ก็มีไลบรารี่ที่มีประโยชน์มากมาย (ตรวจสอบเช่นseewaveสำหรับแอปพลิเคชันของคุณ) การติดตั้งสิ่งเหล่านี้ทั้งบน Windows และ Linux เป็นส่วนหนึ่งของเค้กซึ่งเป็นสิ่งสำคัญหากคุณต้องการให้ผู้อื่นใช้โปรแกรมของคุณ อย่างไรก็ตามสำหรับประสบการณ์ของฉันการคำนวณประสิทธิภาพสูงใน R นั้นยากขึ้น - สิ่งสำคัญที่ควรสังเกตหากคุณต้องใช้การประมวลผลและการระบุจำนวนมาก

ตัวอย่างการจำแนกเพลงใน Python:

• คำบรรยาย
• เสียงลายนิ้วมือ
• บล็อก Jack Minardi

ระบบการเรียนรู้เครื่องสร้างหนังสือด้วย Pythonมีบทเกี่ยวกับการจำแนกเพลง

เครื่องมืออื่น ๆ (รายการไม่สมบูรณ์): Python ใน Music

ดูเหมือนว่า Python เป็นภาษายอดนิยมสำหรับชุดเครื่องมือที่ดีบางอย่างจากความจริงที่ว่า ... ฉันเคยเห็นมันใช้ในแผนกเทคโนโลยีเพลงและ บริษัท

ในสถาบันการศึกษามันเป็นเรื่องธรรมดามากที่จะเห็นงานประเภทนี้ใน Matlab เนื่องจากเป็นการรวมเอาชุดเครื่องมือที่ทรงพลังมากมาย (การประมวลผลสัญญาณ, การคำนวณแบบขนาน, การสร้างกราฟ, สาธารณูปโภคฐานข้อมูล, การเรียนรู้ด้วยเครื่องจักร) ใน IDE ที่ง่ายต่อการสอบสวน อย่างไรก็ตามมันมีค่าใช้จ่ายและมีข้อเสีย (ไม่ใช่ภาษาการเขียนโปรแกรมที่ดีที่สุดในแง่ของการออกแบบแอปพลิเคชัน & ประสิทธิภาพดังนั้นจึงเป็นเครื่องมือสร้างต้นแบบส่วนใหญ่ แต่สามารถรวบรวมได้ที่ C) อ็อกเทฟเป็นทางเลือกฟรี แต่ฉันไม่สามารถรับรองคุณภาพของเครื่องมือประมวลผลสัญญาณหรือซอฟต์แวร์เองเนื่องจากฉันไม่ได้ใช้

นอกจากนี้คุณยังสามารถตรวจสอบpyAudioAnalysis : มันรวมไลบรารีแบบเปิดสำหรับการจดจำรูปแบบและการใช้งานคุณสมบัติด้านเสียงหลายอย่าง ตัวอย่างแอปพลิเคชันที่ใช้ในpyAudioAnalysisซึ่งคุณอาจสนใจ:

• การกำจัดความเงียบ
• ลำโพงบรรยายภาพ
• การจำแนกกลุ่ม (และการฝึกอบรม) โดยใช้ SVM, kNN และอื่น ๆ
• การแบ่งส่วนการจัดหมวดหมู่ร่วมกัน (โดยใช้ HMM)
• ภาพขนาดย่อของเสียง
• การสร้างภาพเนื้อหาเสียง

คุณสามารถใช้ไลบรารี่การวิเคราะห์เสียงEssentia C ++ ซึ่งรวมถึงการผูกหลาม คุณจะได้รับประโยชน์ทั้งหมดจากสภาพแวดล้อมของ python / scipy รวมถึงอัลกอริธึมการวิเคราะห์เสียง / เพลงมากมายที่มาพร้อมกับ Essentia