ตรวจจับและบันทึกเสียงใน Python


102

ฉันต้องการจับคลิปเสียงเป็นไฟล์ WAV ซึ่งฉันสามารถส่งผ่านไปยัง python อื่นเพื่อประมวลผลได้ ปัญหาคือฉันต้องตรวจสอบว่ามีเสียงอยู่เมื่อใดจากนั้นจึงบันทึกหยุดเมื่อเงียบแล้วส่งไฟล์นั้นไปยังโมดูลการประมวลผล

ฉันคิดว่ามันน่าจะเป็นไปได้ด้วยโมดูลคลื่นที่จะตรวจจับเมื่อมีความเงียบบริสุทธิ์และทิ้งไปทันทีที่ตรวจพบสิ่งอื่นที่ไม่ใช่ความเงียบจะเริ่มบันทึกจากนั้นเมื่อสายเงียบอีกครั้งก็จะหยุดการบันทึก

แทบจะไม่สามารถเอาหัวของฉันไปรอบ ๆ ได้ใครสามารถช่วยฉันเริ่มต้นด้วยตัวอย่างพื้นฐาน

คำตอบ:


107

จากการติดตามคำตอบของ Nick Fortescue นี่คือตัวอย่างที่สมบูรณ์ยิ่งขึ้นของวิธีการบันทึกจากไมโครโฟนและประมวลผลข้อมูลที่เป็นผลลัพธ์:

from sys import byteorder
from array import array
from struct import pack

import pyaudio
import wave

THRESHOLD = 500
CHUNK_SIZE = 1024
FORMAT = pyaudio.paInt16
RATE = 44100

def is_silent(snd_data):
    "Returns 'True' if below the 'silent' threshold"
    return max(snd_data) < THRESHOLD

def normalize(snd_data):
    "Average the volume out"
    MAXIMUM = 16384
    times = float(MAXIMUM)/max(abs(i) for i in snd_data)

    r = array('h')
    for i in snd_data:
        r.append(int(i*times))
    return r

def trim(snd_data):
    "Trim the blank spots at the start and end"
    def _trim(snd_data):
        snd_started = False
        r = array('h')

        for i in snd_data:
            if not snd_started and abs(i)>THRESHOLD:
                snd_started = True
                r.append(i)

            elif snd_started:
                r.append(i)
        return r

    # Trim to the left
    snd_data = _trim(snd_data)

    # Trim to the right
    snd_data.reverse()
    snd_data = _trim(snd_data)
    snd_data.reverse()
    return snd_data

def add_silence(snd_data, seconds):
    "Add silence to the start and end of 'snd_data' of length 'seconds' (float)"
    silence = [0] * int(seconds * RATE)
    r = array('h', silence)
    r.extend(snd_data)
    r.extend(silence)
    return r

def record():
    """
    Record a word or words from the microphone and 
    return the data as an array of signed shorts.

    Normalizes the audio, trims silence from the 
    start and end, and pads with 0.5 seconds of 
    blank sound to make sure VLC et al can play 
    it without getting chopped off.
    """
    p = pyaudio.PyAudio()
    stream = p.open(format=FORMAT, channels=1, rate=RATE,
        input=True, output=True,
        frames_per_buffer=CHUNK_SIZE)

    num_silent = 0
    snd_started = False

    r = array('h')

    while 1:
        # little endian, signed short
        snd_data = array('h', stream.read(CHUNK_SIZE))
        if byteorder == 'big':
            snd_data.byteswap()
        r.extend(snd_data)

        silent = is_silent(snd_data)

        if silent and snd_started:
            num_silent += 1
        elif not silent and not snd_started:
            snd_started = True

        if snd_started and num_silent > 30:
            break

    sample_width = p.get_sample_size(FORMAT)
    stream.stop_stream()
    stream.close()
    p.terminate()

    r = normalize(r)
    r = trim(r)
    r = add_silence(r, 0.5)
    return sample_width, r

def record_to_file(path):
    "Records from the microphone and outputs the resulting data to 'path'"
    sample_width, data = record()
    data = pack('<' + ('h'*len(data)), *data)

    wf = wave.open(path, 'wb')
    wf.setnchannels(1)
    wf.setsampwidth(sample_width)
    wf.setframerate(RATE)
    wf.writeframes(data)
    wf.close()

if __name__ == '__main__':
    print("please speak a word into the microphone")
    record_to_file('demo.wav')
    print("done - result written to demo.wav")

17
เพื่อให้สิ่งนี้ทำงานใน Python 3 เพียงแค่แทนที่ xrange ด้วย range
Ben Elgar

1
ตัวอย่างยอดเยี่ยม! มีประโยชน์มากเมื่อฉันพยายามตัดหัวของฉันเกี่ยวกับวิธีบันทึกเสียงโดยใช้ Python คำถามสั้น ๆ อย่างหนึ่งที่ฉันมีคือมีวิธีกำหนดช่วงเวลาของการบันทึกหรือไม่ ตอนนี้บันทึกคำ? ฉันสามารถเล่นได้ไหมและมีช่วงเวลาบันทึกเช่น 10 วินาที? ขอบคุณ!
Swan87

การตรวจจับและการทำให้เป็นมาตรฐานไม่ถูกต้องเนื่องจากคำนวณเป็นไบต์ไม่ใช่กางเกงขาสั้น บัฟเฟอร์นั้นจะต้องถูกแปลงเป็นอาร์เรย์จำนวนนับก่อนที่จะประมวลผล
ArekBulski

ทั้งxrangeมิได้rangeเป็นสิ่งที่จำเป็นจริงๆในadd_silence(เพื่อให้มันหายไปตอนนี้) ฉันคิดว่า Arek อาจเข้าสู่บางสิ่งที่นี่ - การเปลี่ยนจากความเงียบเป็นคำว่า 'ฟังดูกระตุกเกินไป ฉันคิดว่ามีคำตอบอื่น ๆ ที่อยู่ด้วย
Tomasz Gandor

สำหรับสิ่งที่คุ้มค่ามีการชี้ให้เห็นที่นี่ว่าตัวอย่างนี้อาจมีปัญหากับส่วนตัดความเงียบในขณะนี้: stackoverflow.com/questions/64491394/… (ตั้งข้อสังเกตโดยคนใหม่ที่ยังไม่มีคะแนนให้แสดงความคิดเห็นที่นี่ ) ฉันไม่ได้ทดสอบด้วยตัวเองดังนั้นฉันแค่ถ่ายทอดข้อมูลนี้
ET

48

ฉันเชื่อว่าโมดูล WAVE ไม่รองรับการบันทึกเพียงแค่ประมวลผลไฟล์ที่มีอยู่ คุณอาจต้องการดูPyAudioสำหรับการบันทึกจริง WAV เป็นรูปแบบไฟล์ที่ง่ายที่สุดในโลก ใน paInt16 คุณจะได้รับเลขจำนวนเต็มที่ลงนามซึ่งแสดงถึงระดับและใกล้ 0 จะเงียบกว่า ฉันจำไม่ได้ว่าไฟล์ WAV เป็นไบต์แรกสูงหรือไบต์ต่ำ แต่สิ่งนี้ควรใช้งานได้ (ขออภัยฉันไม่ใช่โปรแกรมเมอร์ python จริงๆ:

from array import array

# you'll probably want to experiment on threshold
# depends how noisy the signal
threshold = 10 
max_value = 0

as_ints = array('h', data)
max_value = max(as_ints)
if max_value > threshold:
    # not silence

รหัส PyAudio สำหรับการบันทึกเก็บไว้เพื่ออ้างอิง:

import pyaudio
import sys

chunk = 1024
FORMAT = pyaudio.paInt16
CHANNELS = 1
RATE = 44100
RECORD_SECONDS = 5

p = pyaudio.PyAudio()

stream = p.open(format=FORMAT,
                channels=CHANNELS, 
                rate=RATE, 
                input=True,
                output=True,
                frames_per_buffer=chunk)

print "* recording"
for i in range(0, 44100 / chunk * RECORD_SECONDS):
    data = stream.read(chunk)
    # check for silence here by comparing the level with 0 (or some threshold) for 
    # the contents of data.
    # then write data or not to a file

print "* done"

stream.stop_stream()
stream.close()
p.terminate()

ขอบคุณ Nick ใช่ควรจะบอกว่าฉันกำลังใช้ portaudio ในการจับภาพด้วยเช่นกันบิตที่ฉันติดอยู่คือการตรวจสอบความเงียบฉันจะรับระดับในกลุ่มข้อมูลได้อย่างไร

ฉันได้เพิ่มโค้ดที่ยังไม่ได้ทดสอบง่ายๆไว้ด้านบน แต่ควรทำงานที่คุณต้องการ
Nick Fortescue

เวอร์ชันก่อนหน้าของฉันมีข้อบกพร่องไม่ได้จัดการกับป้ายอย่างถูกต้อง ฉันใช้อาร์เรย์ฟังก์ชันไลบรารี () เพื่อแยกวิเคราะห์อย่างถูกต้องแล้ว
Nick Fortescue

รูปแบบไฟล์ WAV เป็นคอนเทนเนอร์ซึ่งอาจมีการเข้ารหัสเสียงผ่านตัวแปลงสัญญาณต่างๆ (เช่น GSM หรือ MP3) ซึ่งบางอย่างยังห่างไกลจาก 'ง่ายที่สุดในโลก'
Jacek Konieczny

2
ฉันเชื่อว่าตัวเลือก "output = True" ในขณะที่เปิดสตรีมไม่จำเป็นสำหรับการบันทึกและยิ่งไปกว่านั้นดูเหมือนว่าจะทำให้เกิด "IOError: [Errno Input overflowed] -9981" บนอุปกรณ์ของฉัน มิฉะนั้นขอบคุณสำหรับตัวอย่างโค้ดมันมีประโยชน์มาก
Binus

19

ขอบคุณ cryo สำหรับเวอร์ชันปรับปรุงที่ฉันใช้รหัสทดสอบด้านล่าง:

#Instead of adding silence at start and end of recording (values=0) I add the original audio . This makes audio sound more natural as volume is >0. See trim()
#I also fixed issue with the previous code - accumulated silence counter needs to be cleared once recording is resumed.

from array import array
from struct import pack
from sys import byteorder
import copy
import pyaudio
import wave

THRESHOLD = 500  # audio levels not normalised.
CHUNK_SIZE = 1024
SILENT_CHUNKS = 3 * 44100 / 1024  # about 3sec
FORMAT = pyaudio.paInt16
FRAME_MAX_VALUE = 2 ** 15 - 1
NORMALIZE_MINUS_ONE_dB = 10 ** (-1.0 / 20)
RATE = 44100
CHANNELS = 1
TRIM_APPEND = RATE / 4

def is_silent(data_chunk):
    """Returns 'True' if below the 'silent' threshold"""
    return max(data_chunk) < THRESHOLD

def normalize(data_all):
    """Amplify the volume out to max -1dB"""
    # MAXIMUM = 16384
    normalize_factor = (float(NORMALIZE_MINUS_ONE_dB * FRAME_MAX_VALUE)
                        / max(abs(i) for i in data_all))

    r = array('h')
    for i in data_all:
        r.append(int(i * normalize_factor))
    return r

def trim(data_all):
    _from = 0
    _to = len(data_all) - 1
    for i, b in enumerate(data_all):
        if abs(b) > THRESHOLD:
            _from = max(0, i - TRIM_APPEND)
            break

    for i, b in enumerate(reversed(data_all)):
        if abs(b) > THRESHOLD:
            _to = min(len(data_all) - 1, len(data_all) - 1 - i + TRIM_APPEND)
            break

    return copy.deepcopy(data_all[_from:(_to + 1)])

def record():
    """Record a word or words from the microphone and 
    return the data as an array of signed shorts."""

    p = pyaudio.PyAudio()
    stream = p.open(format=FORMAT, channels=CHANNELS, rate=RATE, input=True, output=True, frames_per_buffer=CHUNK_SIZE)

    silent_chunks = 0
    audio_started = False
    data_all = array('h')

    while True:
        # little endian, signed short
        data_chunk = array('h', stream.read(CHUNK_SIZE))
        if byteorder == 'big':
            data_chunk.byteswap()
        data_all.extend(data_chunk)

        silent = is_silent(data_chunk)

        if audio_started:
            if silent:
                silent_chunks += 1
                if silent_chunks > SILENT_CHUNKS:
                    break
            else: 
                silent_chunks = 0
        elif not silent:
            audio_started = True              

    sample_width = p.get_sample_size(FORMAT)
    stream.stop_stream()
    stream.close()
    p.terminate()

    data_all = trim(data_all)  # we trim before normalize as threshhold applies to un-normalized wave (as well as is_silent() function)
    data_all = normalize(data_all)
    return sample_width, data_all

def record_to_file(path):
    "Records from the microphone and outputs the resulting data to 'path'"
    sample_width, data = record()
    data = pack('<' + ('h' * len(data)), *data)

    wave_file = wave.open(path, 'wb')
    wave_file.setnchannels(CHANNELS)
    wave_file.setsampwidth(sample_width)
    wave_file.setframerate(RATE)
    wave_file.writeframes(data)
    wave_file.close()

if __name__ == '__main__':
    print("Wait in silence to begin recording; wait in silence to terminate")
    record_to_file('demo.wav')
    print("done - result written to demo.wav")

ขอบคุณทำงานได้ดี ในกรณีของฉันฉันต้องแก้ไขreturn copy.deepcopy(data_all[_from:(_to + 1)])เป็นcopy.deepcopy(data_all[int(_from):(int(_to) + 1)])
lukassliacky

6
import pyaudio
import wave
from array import array

FORMAT=pyaudio.paInt16
CHANNELS=2
RATE=44100
CHUNK=1024
RECORD_SECONDS=15
FILE_NAME="RECORDING.wav"

audio=pyaudio.PyAudio() #instantiate the pyaudio

#recording prerequisites
stream=audio.open(format=FORMAT,channels=CHANNELS, 
                  rate=RATE,
                  input=True,
                  frames_per_buffer=CHUNK)

#starting recording
frames=[]

for i in range(0,int(RATE/CHUNK*RECORD_SECONDS)):
    data=stream.read(CHUNK)
    data_chunk=array('h',data)
    vol=max(data_chunk)
    if(vol>=500):
        print("something said")
        frames.append(data)
    else:
        print("nothing")
    print("\n")


#end of recording
stream.stop_stream()
stream.close()
audio.terminate()
#writing to file
wavfile=wave.open(FILE_NAME,'wb')
wavfile.setnchannels(CHANNELS)
wavfile.setsampwidth(audio.get_sample_size(FORMAT))
wavfile.setframerate(RATE)
wavfile.writeframes(b''.join(frames))#append frames recorded to file
wavfile.close()

ฉันคิดว่าสิ่งนี้จะช่วยได้มันเป็นสคริปต์ง่ายๆที่จะตรวจสอบว่ามีความเงียบหรือไม่หากตรวจพบความเงียบจะไม่บันทึกมิฉะนั้นจะบันทึก


3

เว็บไซต์ pyaudio มีตัวอย่างมากมายที่สั้นและชัดเจน: http://people.csail.mit.edu/hubert/pyaudio/

อัปเดตวันที่ 14 ธันวาคม 2019 - ตัวอย่างหลักจากเว็บไซต์ที่เชื่อมโยงข้างต้นในปี 2017:


"""PyAudio Example: Play a WAVE file."""

import pyaudio
import wave
import sys

CHUNK = 1024

if len(sys.argv) < 2:
    print("Plays a wave file.\n\nUsage: %s filename.wav" % sys.argv[0])
    sys.exit(-1)

wf = wave.open(sys.argv[1], 'rb')

p = pyaudio.PyAudio()

stream = p.open(format=p.get_format_from_width(wf.getsampwidth()),
                channels=wf.getnchannels(),
                rate=wf.getframerate(),
                output=True)

data = wf.readframes(CHUNK)

while data != '':
    stream.write(data)
    data = wf.readframes(CHUNK)

stream.stop_stream()
stream.close()

p.terminate()

0

คุณอาจต้องการดูcsoundsด้วย มี API หลายตัวรวมถึง Python มันอาจจะโต้ตอบกับอินเทอร์เฟซ AD และรวบรวมตัวอย่างเสียงได้

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.