การสร้างสัญญาณเสียงจาก Spectrogram

19

ฉันมีชุดของเพลงที่สกัดสเปคโตรแกรมขนาดโดยใช้ Hamming Window ที่มีการทับซ้อน 50% หลังจากที่แยกสเปคโทรแกรมฉันได้ลดขนาดไปบ้างโดยใช้การวิเคราะห์ส่วนประกอบ (PCA) หลังจากลดมันลงไปสู่มิติที่ต่ำกว่าฉันสร้างสเปคตรัมใหม่จากมิติที่ต่ำกว่า ดังนั้นตอนนี้จะมีข้อผิดพลาดบางอย่างระหว่าง spectrogram ดั้งเดิมและ spectrogram ที่สร้างขึ้นใหม่ ฉันต้องการแปลง spectrogram นี้กลับไปเป็นสัญญาณเสียงและเล่นเพื่อที่ฉันจะได้รู้เมื่อสร้างขึ้นใหม่จากมิติที่ต่ำกว่าเสียงเสียงอย่างไร

Matlab มีฟังก์ชั่นใด ๆ หรือไม่ การแปลงขนาด Spectrogram เป็นสัญญาณเสียง

audio spectrogram ifft

— user76170
แหล่งที่มา

2

คุณต้องการ STFT และผกผัน STFT จริงๆ "Spectrogram" เป็นเพียงชื่อของแผนที่ความร้อนขนาดของ STFT และขนาดเพียงอย่างเดียวไม่เพียงพอที่จะสร้างสัญญาณใหม่ ดูmathworks.com/matlabcentral/fileexchange/12902-dafx-toolbox/... ?

— endolith

4

หากต้องการขยายความคิดเห็นของ @ endolith สิ่งที่คุณหายไปเมื่อคุณไปจาก STFT เป็น spectorgram คือข้อมูลเฟสซึ่งเป็นส่วนประกอบสำคัญของการแสดงโดเมนความถี่ของสัญญาณของคุณ

— Bjorn Roche

นั่นหมายความว่าถ้าฉันต้องการสร้างสัญญาณเสียงต้นฉบับฉันต้องการทั้งแอมพลิจูดและเฟสของ STFT หรือไม่ แต่โดยทั่วไปแล้วในการสร้างฟีเจอร์เสียง | S | แอมพลิจูดของคอมเพล็กซ์ไม่มีคือสิ่งที่ใช้และข้อมูลเฟสถูกยกเลิก ฉันได้ทำการ PCA บน mel spectrogram ซึ่งฉันคำนวณเป็น

M เป็นเมทริกซ์การคูณของตัวกรองเมล ดังนั้นวิธีการที่คุณจะสร้างสัญญาณเสียงให้

ประมาณเพื่อ X ได้หลังจาก PCA?

X = l o g (M | S |)

$X= log( M |S|)$

\hat{X}

$\hat{X}$

— user76170

@endolith: ฉันลองใช้ลิงค์ที่คุณให้mathworks.com/matlabcentral/fileexchange/12902-dafx-toolbox/…ฉันใช้ข้อมูลเฟสและแอมพลิจูดทั้งสองอย่าง (คอมเพล็กซ์

เป็นอินพุตไปยังฟังก์ชันด้านบน) เมื่อใช้สิ่งนี้ฉันลองเล่นสัญญาณและฟังดูขาด ๆ หาย ๆ ทำไมสิ่งนี้ถึงเกิดขึ้น จากนั้นฉันก็คำนวณบรรทัดฐานระหว่างสัญญาณดั้งเดิมกับสิ่งที่ได้มาจากขั้นตอนการผกผันของ STFT ดังที่ได้กล่าวมาแล้วและมันแสดงให้เห็นว่ามีค่ามากถึง 3.46 * 10 ^ 3 มีความคิดว่าทำไมสิ่งนี้ถึงเกิดขึ้นได้ ??

S

$S$

— user76170

@ user76170: การเปลี่ยนแปลงเร็วเป็นเพราะ STFT สับสัญญาณเป็นเฟรมบางครั้งซ้อนทับกันและคุณต้องแยกโครงสร้างพวกมันในแบบเดียวกับที่สร้างขึ้นหรือจะมีความไม่ต่อเนื่องที่แต่ละอัน คุณใช้ฟังก์ชัน STFT และ ISTFT จากลิงก์นั้นหรือไม่ ดูรูปคลื่นของสัญญาณที่ขาด ๆ หาย ๆ เพื่อที่คุณจะได้เห็นว่าปัญหาคืออะไร

— endolith

15

ถ้า spectrogram ถูกคำนวณเป็นขนาดของระยะเวลาอันสั้น Fourrier เปลี่ยนจากหน้าต่างที่ทับซ้อนกัน spectrogram จะมีข้อมูลเฟสโดยปริยาย

การทำซ้ำต่อไปนี้ทำงาน:

x_{n + 1} = istft (S \cdot \exp (i \cdot angle (stft (x_{n}))))

$x_{n+1} = \text{istft}(S\cdot\exp(i\cdot\text{angle}(\text{stft}(x_n))))$

คือสเปกโตรแกรม,คือการแปลงฟูริเยร์ในเวลาสั้น ๆ ,คือการแปลงฟูริเยร์ในเวลาสั้น ๆ $S$ $\text{stft}$ $\text{isft}$

— Edouard
แหล่งที่มา

ฉันต้องการแสดงความคิดเห็นตรงที่ @ edouard แต่ฉันไม่มีชื่อเสียงเพียงพอ ไม่มีใครรู้ว่าสิ่งที่

ในคำตอบของเขาคืออะไร? นอกจากนี้ฉันจะเริ่มต้น

อย่างไร แค่สุ่ม? คือ

สัญญาณใหม่ที่สมบูรณ์ย้ำ

หรือเพียงแค่

ค่าสัมประสิทธิ์ของ

? ขอบคุณ

i

$\text{i}$

x_{0}

$x_0$

x_{n}

$x_n$

n

$n$

n^{th}

$n^{\text{th}}$

x

$x$

— PR

1

@PR มันคือจำนวนหน่วยในจินตนาการ,

.

\sqrt{- 1}

$\sqrt{-1}$

— Peter K.

3

ฉันมีเวลาค่อนข้างยากที่จะเข้าใจคำตอบของ @edouard ซึ่งกำลังทำสิ่งที่ถูกต้อง เปรียบเทียบกับ/signals//a/3410/9031ซึ่งฉันใช้ในการสร้างใหม่

โปรดทราบว่าเป็นจำนวนจินตนาการและเป็นสัญญาณใหม่ที่ซ้ำ เริ่มต้นด้วยเป็นเวกเตอร์สุ่มของความยาวของสัญญาณเสียง สำหรับฉันการทำซ้ำสองสามครั้งก็เพียงพอที่จะได้ผลลัพธ์ที่ฟังดูดี ข้อผิดพลาดที่แท้จริงของสัญญาณดั้งเดิมนั้นค่อนข้างสูง อีกทั้ง spectrogram ที่สร้างขึ้นที่ฉันสร้างขึ้นจากสัญญาณที่สร้างใหม่แม้ว่าการแสดงโครงสร้างทั่วไปโดยทั่วไปก็มีขนาดที่แตกต่างกันมาก $i$ $x_n$ $n^{\text{th}}$ $x_0$

— พีอาร์
แหล่งที่มา

2

คุณสามารถใช้ spectrogram ที่สร้างขึ้นใหม่เทียบกับ spectrogram ดั้งเดิมเพื่อออกแบบตัวกรองที่การตอบสนองต่อขนาดจะแปลง spectrogram หนึ่งไปเป็นอีกอันหนึ่ง จากนั้นคุณสามารถใช้ตัวกรองนี้กับข้อมูลโดเมนเวลาดั้งเดิมหรือกับ FFT ต้นฉบับสำหรับการเพิ่ม / บันทึกการกรอง Convolution ที่ทับซ้อนกัน

— hotpaw2
แหล่งที่มา

@ hotpaw2: ฉันไม่เข้าใจคำตอบของคุณทำไมฉันถึงต้องการแปลงหนึ่งสเปกโทรแกรมเป็นอีกอัน? ฉันต้องการสร้างสัญญาณเสียงใหม่โดยให้สเปกโตรแกรมเมทริกซ์

. ความต้องการในการออกแบบตัวกรองที่เปลี่ยนจาก spectrogram หนึ่งไปเป็นอีกอันหนึ่งคืออะไรและการทับซ้อนเพิ่ม / บันทึกการกรอง convolution อย่างรวดเร็ว? ฉันต้องการสร้างเสียงจาก

เพื่อที่ฉันจะได้เห็นว่า PCA มีประสิทธิภาพเพียงใด ดังนั้นฉันจึงสามารถเล่นสองคลิปสัญญาณเสียงต้นฉบับหนึ่งและอีกคลิปหนึ่งสร้างจากขนาดที่ต่ำกว่า

| S |

$|S|$

| S |

$|S|$

| \hat{S} |

$|\hat{S}|$

— user76170

2

เมทริกซ์สเปกโตรแกรมสูญเสียดังนั้นจึงไม่สามารถใช้เพื่อสร้างใหม่ได้ แต่ถ้าคุณสามารถแปลงวิศวกรรมการแปลงเพื่อผลิตสเปคตรัมที่คุณต้องการคุณสามารถนำไปใช้กับข้อมูลโดเมนเวลาแบบไม่สูญเสียเดิมหรืออาจเป็นผลลัพธ์ที่ซับซ้อนเดิมของ FFT

— hotpaw2

ตกลงดังนั้นสิ่งที่คุณหมายถึงว่าฉันสามารถสร้างสัญญาณเสียงจากผลลัพธ์ที่ซับซ้อน

แต่ไม่เพียงใช้ขนาดของมัน

. เพราะฉันได้ใช้

สำหรับการประมวลผลเพิ่มเติมและการลด dimesnionality ของฉันจากนั้นจึงไม่สามารถสร้างสัญญาณเดิมได้อีก

S

$S$

| S |

$|S|$

| S |

$|S|$

— user76170

1

@ user76170 ยาวและสั้นของมันคือคุณต้องการ STFT ที่ซับซ้อนก่อนที่คุณจะสามารถสร้างสัญญาณของคุณใหม่ หากคุณเพิ่งมีขนาด STFT นั่นก็ไม่เพียงพอ มีข้อยกเว้นสำหรับกฎนี้ แต่โดยทั่วไปคุณต้องการ STFT ที่ซับซ้อนไม่ใช่แค่ขนาดเท่านั้น

— Tarin Ziyaee

@ hotpaw2: เป็นไปได้ไหมที่จะทำเช่นนี้ฉันเก็บข้อมูลเฟส (ส่วนจินตภาพของ FFT ที่ซับซ้อน) จากนั้นใช้สเปกตรัมขนาด

จากนั้นใช้การลดขนาดและสร้างใหม่จากมิติที่ต่ำกว่าเพื่อรับ

เพิ่มข้อมูลเฟสและทำ FFT แบบผกผันเพื่อรับสัญญาณเสียงหรือไม่

| S |

$|S|$

| \hat{S} |

${|\hat{S}|}$

— user76170

-1

ใช้อัลกอริทึมของ Griffin-Lim เพื่อสลับสัญญาณเสียงจาก spectrogram หากคุณไม่กังวลเกี่ยวกับความซับซ้อนในการคำนวณ

— Jitendra Dhiman
แหล่งที่มา

คุณช่วยขยายคำตอบหน่อยได้ไหม? อาจเพิ่มกระดาษตัวแทนหรือลิงค์ไปยังอัลกอริทึมและคำอธิบายสั้น ๆ ว่ามีความเกี่ยวข้องกับคำถามนี้อย่างไร (A)

— A_A

หากฉันเข้าใจคำถามของคุณอย่างถูกต้องโดยสังเขปคุณต้องการสร้างสัญญาณเสียงใหม่จาก spectrogram โดยไม่ต้องใช้ข้อมูลเฟสดั้งเดิม ขั้นตอนวิธีกริฟฟิน - ลิมต้องใช้เมทริกซ์สเปกโตรแกรมเป็นอินพุตและสร้างเฟสซ้ำ คุณสามารถอ้างถึงกระดาษieeexplore.ieee.org/document/1164317

— Jitendra Dhiman

ขอบคุณที่ทำให้ฉันรู้. เพียงชี้แจงประเด็นนี้ การตอบสนองนี้เกิดขึ้นในคิวการตรวจสอบของฉันเป็น "คุณภาพต่ำ" ตัวเลือกที่ฉันมีในแง่ของ "ความเห็น" รวมถึงการให้ความคิดเห็นสำหรับ "การปรับปรุง" เพื่อให้คำตอบนี้สอดคล้องกับคำตอบที่พบบ่อยใน DSP.SE มันจะต้องเข้าไปเล็กน้อยในอัลกอริทึมของ Griffin Lim เพื่อแสดงว่ามันเกี่ยวข้องกับสิ่งที่ OP ขอหรือไม่ การแก้ไขใด ๆ ในอนาคตคุณสามารถนำไปใช้กับคำตอบของคุณได้โดยตรง ประเด็นนี้ไม่ใช่เพื่อสนอง "ฉัน" โดยเฉพาะมันคือการมีชุดคำตอบที่มีความหมายสำหรับคำถาม

— A_A

คำตอบที่ดีที่สุดอยู่ที่นี่ (ใช้ Griffin-Lim) ในกรณีที่คุณไม่มีข้อมูล FFT ดั้งเดิม timsainb.github.io/…

— Artemi Krymski