ระบุตำแหน่งที่การร้องเพลงเริ่มต้นในการบันทึกด้วยเสียงเท่านั้น

ฉันมีแอพคาราโอเกะเล็ก ๆ น้อย ๆ ที่ผู้ใช้ร้องเพลง 4 บรรทัดพร้อมช่องว่างหนึ่งวินาทีระหว่างแต่ละบรรทัด ไม่มีเพลงสำรองดังนั้นจึงเป็นเพียงเสียงเท่านั้นหวังว่าจะแก้ปัญหาได้ง่ายขึ้น

ฉันกำลังมองหาวิธีที่มีประสิทธิภาพที่สุดในการตรวจสอบว่าที่ใดในการบันทึกของฉันที่ผู้ใช้เริ่มต้นและสิ้นสุดการร้องเพลงบรรทัดที่ 1 เริ่มต้นและสิ้นสุดการร้องเพลงบรรทัดที่ 2 เป็นต้น

ฉันได้วนเวียนอัลกอริทึมแบบง่ายๆที่ทำงานเมื่อมีสัญญาณรบกวนพื้นหลังน้อยมากในการบันทึก (เช่นจะเกิดขึ้นเมื่อไหร่?) แต่มันตกไปเป็นชิ้นเล็กชิ้นน้อยต่อหน้าเสียงที่เล็กที่สุด

ใครช่วยชี้ให้ฉันดูสิ่งที่แข็งแกร่งกว่านี้ได้ไหม

หากเสียงพื้นหลังเป็นสีขาว - ไอคุณสามารถวัดความเรียบของสเปกตรัมและพิจารณาว่าเป็นเสียงเมื่อแอมพลิจูดอยู่เหนือขีด จำกัด บางส่วนและความเรียบของสเปกตรัมต่ำกว่าขีด จำกัด บางส่วน

โดยทั่วไปคุณเพียงแค่ใช้ FFT ของสัญญาณอันหนึ่งแล้วแบ่งค่าเฉลี่ยเรขาคณิตของขนาดของสเปกตรัมด้วยค่าเฉลี่ยเลขคณิต

คุณสามารถใช้ตัวกรองแบนด์ - พาสเพื่อเน้นเฉพาะบริเวณความถี่ที่เสียงของมนุษย์มักจะอยู่ (ง่ายเหมือนกับการตั้งค่าภูมิภาคที่ไม่ต้องการของ FFT เป็น 0 ก่อนที่จะวัดความแบนของสเปกตรัม)

ฉันเคยใช้ฟลักซ์สเปกตรัมในอดีตและดูเหมือนว่าจะทำงานได้ดี แนวคิดพื้นฐานคือสร้างสเป็คโตรแกรมสัญญาณของคุณข้ามวงที่คุณสนใจ ให้เราสมมติว่าความถี่ของคุณอยู่ในแกน y และเวลาของคุณอยู่บนแกน x, เช่นดังนั้น

ซึ่งหมายความว่า spectrogram ของคุณเป็นเมทริกซ์ แต่ละคอลัมน์แสดงค่าสัมบูรณ์ของ FFT หนึ่ง snap-shot ในเวลาที่สัญญาณของคุณและแต่ละแถวแสดงให้เห็นว่าพลังงานจากวงดนตรีหนึ่งเปลี่ยนแปลงตลอดเวลา

ตอนนี้รับความแตกต่างของคอลัมน์ นั่นคือใช้คอลัมน์แล้วลบออกจากคอลัมน์ก่อนหน้าและทำสำหรับคอลัมน์ทั้งหมด (ออกจากคอลัมน์เริ่มต้นเพียงอย่างเดียวอย่างเห็นได้ชัด) จากนั้นรวมวงทั้งหมด นั่นคือเพียงรวมผลรวมของแถวทั้งหมดเข้าด้วยกัน

คุณจะจบลงด้วยสัญญาณ 1-D ที่ codifies สัญญาณของคุณonsets สิ่งนี้จะบอกคุณว่าเสียงของคุณเริ่มต้นที่ใด

แก้ไข:

ตอนนี้คุณได้ตรวจพบ onsets ถ้าคุณต้องการตรวจจับสิ่งที่ตรงกันข้าม (นั่นคือเมื่อสัญญาณไปจากไม่มีกิจกรรมใด ๆ ) ฟลักซ์สเปกตรัมจะให้ข้อมูลนั้นแก่คุณ ไม่ว่าคุณจะมีอาการเมื่อใดคุณจะมีจุดสูงสุดเป็นบวกและทุกที่ที่คุณมี 'deset' (หากไม่มีคำพูดที่ดีกว่า) คุณก็จะมีจุดสูงสุดเป็นลบ

ฉันจะหาจุดสูงสุดที่เป็นบวกแรกและจุดสูงสุดเชิงลบสุดท้ายเพื่อทำเครื่องหมายเวลาเริ่มต้นและหยุดทั้งหมดของสัญญาณของฉัน

จากประสบการณ์ของผมผมจะพยายามมองเข้าไปในเมลความถี่-Cepstrum-ค่าสัมประสิทธิ์ (MFCCs) MFCC นั้นใช้งานง่ายถ้าคุณมี FFT และมีการใช้งานค่อนข้างบ่อยในการประมวลผลเสียง

ด้วย MFCCs คุณควรจะสามารถแยกแยะข้อมูลเสียงที่แท้จริงจากสัญญาณรบกวนได้

" สเปกตรัมการไหล " (หรือที่เรียกว่า "ความแตกต่างสเปกตรัม") เป็นวิธีการทั่วไปสำหรับ "การตรวจจับการโจมตี" โดยทั่วไปคุณใช้ลำดับ FFT ของสัญญาณและสรุปขนาดของความแตกต่างของที่เก็บ FFT จากตัวอย่างหนึ่งไปยังอีกตัวอย่างหนึ่ง "Onset" โดยทั่วไปจะแสดงด้วย "กระโดด" ที่สำคัญในค่านี้

Google "การตรวจจับการโจมตี" สำหรับแนวคิดอื่น ๆ

การใช้ฟลักซ์สเปกตรัมเพียงอย่างเดียวอาจก่อให้เกิดผลบวกปลอมสำหรับเสียงบางอย่างรวมทั้งตรวจจับเสียงร้องเพลง

การร้องเพลงมักแสดงถึงสัญญาณเนื้อหาที่มีระดับเสียงดังนั้นคุณสามารถใช้ตัวตรวจจับระดับเสียงหรือตัวประมาณ (เซพสตรัม ฯลฯ ) คุณสามารถมีสติตรวจสอบสัดส่วนของพลังงานที่ตรวจพบว่าเป็นเสียงแหลมเมื่อเทียบกับพลังงานสัญญาณทั้งหมดและระดับเสียงโดยประมาณนั้นอยู่ในช่วงเสียงของมนุษย์ นั่นจะลดอัตราการบวกที่ผิดพลาดสำหรับเสียงที่ไม่ได้ถูกพิชช์รวมถึงเสียงดนตรีที่อยู่นอกช่วงเสียงพูดปกติ