แบบจำลองทางคณิตศาสตร์ของเสียงใดที่สามารถเปลี่ยนระดับเสียงที่เป็นไปได้ของบันทึกย่อส่วนบุคคลในโพลีโฟนิก


24

คำถามของฉันคืออะไรแบบจำลองทางคณิตศาสตร์ของเสียงโพลีโฟนิคสามารถทำให้เกิดการเปลี่ยนแปลง (เช่นการเปลี่ยนระดับเสียง) ของโน้ตดนตรีแต่ละรายการในการบันทึกเสียงแบบหลายเสียงในช่องทางเดียวของเครื่องดนตรีอะคูสติกโพลีโฟนิค? ด้วย 'การเปลี่ยนโน้ตในเสียงโพลีโฟนิค' ฉันหมายถึงการทำสิ่งต่าง ๆ เช่นการแก้ไขเสียงด้วยคุณสมบัติ ' การเข้าถึงบันทึกย่อโดยตรง ' ในซอฟต์แวร์ Melodyne ของซีลีโอนี

ตามที่วิกิพีเดียสิ่ง Melodyne ใช้ในการจำลองสัญญาณเสียงของทำนองบรรทัดเดียวเล่นบนอะคูสติก (และซับซ้อน timbrally) เครื่องดนตรีเป็นสิ่งที่ชอบสิ่งที่เฮนนิ่ง Thielemann อธิบายในบทความของเขาที่ชื่อ ' เฟสแกะและเวลาในการเสียงเหมือน ' อย่างไรก็ตาม ฉันไม่พบการอ้างอิงถึงแบบจำลองสัญญาณเสียงของเครื่องดนตรีโพลีโฟนิคใด ๆ ตามการให้สัมภาษณ์บน Youtubeของ Peter Neubacker (คัดลอกด้านล่าง) คุณลักษณะของ Melodyne สำหรับการจัดการกับการแก้ไขเสียงโพลีโฟนิคต้องใช้วิธีที่แตกต่างจากที่อธิบายโดย Thielemann

เบาะแสหนึ่งจากคลิป youtube อื่นคือโมเดลของ Neubacker ทำงานได้ดีขึ้นด้วยการบันทึกเสียงของเครื่องดนตรีหนึ่งชนิดเท่านั้น (เช่นเปียโนเท่านั้นกีตาร์เท่านั้นสายเท่านั้นลมเท่านั้น ฯลฯ ) เบาะแสอื่นเป็นอีกคลิปหนึ่งที่แสดงความสามารถในการเปลี่ยนระดับเสียงของโน้ต แต่ยังกำหนดจังหวะเวลาของการเริ่มต้นและสิ้นสุด


ด้านล่างนี้เป็นวิดีโอของ youtube ที่กล่าวว่า 'วัสดุโพลีโฟนิกเรียกร้องให้มีวิธีการที่แตกต่างกัน' (ในกรณีที่คุณไม่มีเวลาดูจาก 22:00 น.)

  • คำถามที่ Melodyne เกิดขึ้น: ฉันจะได้รับเสียงจากรูปแบบ 3 มิติเช่นนี้ได้อย่างไร (ทำท่าทางด้วยมือหิน) ซึ่งหมายความว่าเสียงนั้นจะสามารถเป็นอิสระจากการพึ่งพาเมื่อเวลาต่อเนื่อง? ประติมากรรมชิ้นนี้จริง ๆ แล้วเกิดจากสิ่งนี้ ... มันเป็นพลาสติกชิ้นหนึ่ง ... นี่มาจากข้อมูลดนตรีโดยตรง วัตถุนี้ [ถอนโน้ตบนเกรียง] บันทึกนี้ เป็นภาพที่ดีที่สุดเช่นนี้จากซ้ายไปขวา เวลาวิ่งไปในทิศทางนี้ [ท่าทางจากซ้ายไปขวา] และนั่นคือแอมพลิจูด [การแสดงท่าทางใหญ่และเล็กด้วยนิ้วโป้งนิ้วมือตรงข้าม] ถ้าฉันหมุนมันมัน ... หมายถึงเสียงต่ำของเสียงนี้ในทุก ๆ กรณี คุณสามารถเห็นโครงสร้างได้อย่างชัดเจนที่นี่ [ชี้ไปที่ส่วนตัดที่ด้านล่างของรูปปั้น] ที่ค่อนข้างเป็นรูปสามเหลี่ยม นั่นเป็นเพราะในเสียงนี้

    เนื่องจาก Melodyne ยังไม่มีตัวตนและฉันก็แค่ทดลองแปลเสียงเป็นรูปร่างนี้ฉันจึงทำงานเกือบหนึ่งปีด้วยเสียงนี้ ... ฉันรู้ว่าเสียงนี้ทั้งภายในและภายนอกและจากใจ นอกจากนี้ยังให้ภาพประกอบที่ดีของเสียงในท้องถิ่น ฉันทำได้ไม่เพียง แต่เล่นเสียง [คลิกเมาส์] แต่ฉันยังสามารถป้อนเสียงของจุดใดก็ได้และเลื่อนผ่านอย่างช้าๆหรือเร็วเท่าที่ฉันต้องการ ฉันยังสามารถฟังเสียงหรือไปข้างหน้าและถอยหลังดังนั้นถ้าฉันตรวจสอบสถานที่แห่งหนึ่งที่นี่ ... ไปรอบ ๆ มัน ... สิบปีที่ผ่านมามันใหม่

    เพิ่งเพิ่ม DNA (การเข้าถึงบันทึกย่อ) โดยตรง ด้วยมันฉันยังสามารถแก้ไขเพลงโพลีโฟนิค กล่าวอีกนัยหนึ่งฉันสามารถแก้ไขบันทึกย่อแต่ละรายการที่มีเสียงพร้อมกันเช่นตัวอย่างเช่นการบันทึกกีตาร์ ถ้าตอนนี้ฉันเล่นเสียงประสานเล็ก ๆ [เลือกโพลี -> แยกโน้ตบนหน้าจอ] เราจะเห็นโน้ต 3 ตัวที่ฉันเพิ่งเล่นเป็นเอนทิตี้แยกจากกัน ลองฟังอีกครั้ง [คอมพิวเตอร์เล่นคอร์ดเล็กน้อย] และตอนนี้ราวกับว่าโดยการเลื่อนนิ้วของฉันไปที่หงุดหงิดที่สูงขึ้นฉันสามารถยกโน้ตตัวนี้ขึ้น [ลากโน้ตบนหน้าจอขึ้นมาได้; คอมพิวเตอร์เล่นคอร์ดหลัก] สำหรับเสียงที่ถูกแบ่งออกฉันสามารถแยกบันทึกย่อนี้และสามารถเลื่อนขึ้นหรือลงตามความประสงค์ได้ในระดับใดก็ได้ที่ฉันต้องการ

    ทำไมก่อนหน้านี้ไม่มีใครสามารถแยกแต่ละโทนภายในเนื้อหาที่ซับซ้อนด้วยวิธีนี้ ฉันไม่รู้จริงๆ ในวิทยาศาสตร์แนวโน้มตามธรรมชาติคือการเริ่มต้นด้วยสิ่งที่ง่าย ๆ เช่นคลื่นไซน์หรือโน้ตส่วนตัวและวิเคราะห์ว่าก่อนอื่นเท่านั้นที่จะค้นพบเมื่อวัสดุมีความซับซ้อนมากขึ้นหรือต้องได้รับการปฏิบัติอย่างครบถ้วนทั้งระบบ ไม่ทำงาน แนวทางของฉันแตกต่าง จริง ๆ แล้วฉันเริ่มต้นด้วยสัญญาณที่ซับซ้อนและเฉพาะเมื่อฉันต้องการตรวจสอบรายละเอียดบางอย่างที่ฉันกลับไปหาสัญญาณที่ง่ายกว่า แต่ก่อนอื่นฉันต้องมีความประทับใจโดยรวมของสิ่งที่เกิดขึ้นจริงในความเป็นจริง

    ความลับอาจอยู่ในม้วนนี้หรือไม่? Heheh นี่เป็นเรื่องจริง คำถามแรกเริ่มที่เกิดขึ้นจากหินคือฉันจะแปลเสียงที่ให้เป็นรูปแบบสามมิติได้อย่างไร ที่นี่ฉันได้จัดให้มีการสุ่มตัวอย่างค่าของบุคคลที่ระบุไว้ที่นี่โดยหนึ่งสองสามและอื่น ๆ ในเกลียว และปรากฎว่าถ้าคุณสอดแทรกระหว่างจุด [การทำท่าทางข้ามเกลียว] ภูมิทัศน์ก็ปรากฏขึ้นซึ่งแสดงถึงการตัดขวางแต่ละส่วนในเสียง [การทำท่าทางข้ามส่วนของรูปปั้น]

    อายุเท่าไหร่ 12 ปี. ดังนั้นความคิดนั้นก็คือน้ำพุแห่ง Melodyne ที่เราเคยเห็นในวันนี้ ... ใช่ แต่การรวมตัวกันของเสียงนี้จะไม่ใช้กับวัสดุโพลีโฟนิกอีกต่อไปซึ่งต้องการแนวทางที่แตกต่างออกไป


ไม่มีเวลาในขณะนี้ แต่คุณอาจต้องการที่จะอ่านบางส่วนของบิล Sethares'การทำงานเกี่ยวกับความสอดคล้องกัน ฉันจะพยายามแยกแยะโพสต์ของคุณและตอบคำถามให้มากขึ้นในอีกไม่กี่วันข้างหน้า
Peter K.

ฉันไม่แน่ใจว่าคำถามคืออะไร การแยกโน้ตแต่ละตัวและ "รวมเสียง" ทำให้ฉันคิดถึงการห่อสเปกตรัมเป็นเกลียวเพื่อให้เสียงประสานของโน้ตโน้ตประสานกัน: nastechservices.com/Spectrograms.html nastechservices.com/Spectratune.html
endolith

คำตอบ:


12

TL; DR? Google Scholar สำหรับแยกบางส่วนฮาร์โมนิ


จุดเริ่มต้นที่ดีคือเทคนิคการสร้างแบบจำลองไซน์ที่แยกสัญญาณออกเป็นองค์ประกอบไซน์ + สัญญาณรบกวน (องค์ประกอบที่กำหนดขึ้นและสุ่ม) ส่วนประกอบที่กำหนดขึ้นได้จาก sines สามารถ resynthesized ได้อย่างมั่นใจ:

http://mtg.upf.edu/files/projectsweb/sms-piano-original.wav

http://mtg.upf.edu/files/projectsweb/sms-piano-deterministic.wav

ไซน์จะถูกลบออกจากสัญญาณและส่วนที่มีเสียงรบกวน / สโตแคสติกยังคงอยู่

http://mtg.upf.edu/files/projectsweb/sms-piano-stochastic.wav

ส่วนของสโตแคสติกถูกสังเคราะห์โดยการใส่เสียงผ่านตัวกรองสัญญาณรบกวนบางตัว บางคนได้ขยายสิ่งนี้ไปยังโมเดล sines + noise + transients ซึ่งช่วยรักษาคุณสมบัติ stochastic ชั่วคราวในการยืดเวลา

https://ccrma.stanford.edu/~jos/sasp/Sines_Noise_Modeling.html

http://mtg.upf.edu/technologies/sms

เมื่อคุณมีพารามิเตอร์ของสัญญาณไซน์มันเป็นไปได้ที่จะแยกไซน์ของโน้ตที่ทับซ้อนกันโดยค้นหาอัตราส่วนฮาร์มอนิกและการจัดกลุ่มตามการโจมตีเป็นต้นการติดตามบางส่วนทำให้เกิดผลลัพธ์จำนวนมากใน Google Scholar

http://recherche.ircam.fr/equipes/analyse-synthese/lagrange/research/papers/lagrangeIcassp05.pdf

http://dream.cs.bath.ac.uk/software/sndan/mqan.html

ซ่อนรุ่นมาร์คอฟ , พหุนามและนักเขียนนวนิยาย-Quatieriคือบางส่วนของวิธีการ ฉันนิ่งงันเกี่ยวกับการแยกส่วนที่เหลือสุ่มออกเป็นสองโน้ต ฉันไม่รู้ว่า Melodyne จัดการกับสิ่งนี้อย่างไร


5

วิธีการที่ใช้ใน Melodyne นั้นต้องใช้การทำงานของโดเมนความถี่ 2 แบบ ประการแรกเทคนิคการถอดเสียงโพลีโฟนิคใช้ในการจัดกลุ่มองค์ประกอบความถี่ (จากการแปลงความถี่มาตรฐาน) ของเสียงโพลีโฟนิคให้เป็นการเปิดใช้งานโน้ต กล่าวอีกนัยหนึ่งกลุ่มย่อยฮาร์มอนิกตามการเปิดใช้งานโน้ตส่วนใหญ่ ดูคำตอบของฉันที่โพสต์ "การจดจำเสียงประสานโพลีโฟนิค" ในฟอรัมนี้สำหรับการอ้างอิงและแบบจำลองทางคณิตศาสตร์

การดำเนินการที่สองคือการเปลี่ยนพิทช์โดเมนความถี่ของชุดย่อยฮาร์มอนิกที่สกัดข้างต้น ฉันไม่แน่ใจ แต่ฉันเกือบจะรับประกันได้ว่า Melodyne ใช้วิธีนักร้องแบบเฟสเพื่อบรรลุเป้าหมายนี้ คุณสามารถยืดเวลาโดยใช้เทคนิคนี้ได้ เราใช้เทคนิคที่คล้ายคลึงกับสิ่งเหล่านี้ใน Riffstation และพวกเขาทำงานได้ค่อนข้างดี


3

ความเป็นไปได้หนึ่งอย่างคือการวิเคราะห์ / การสังเคราะห์ใหม่โดยใช้วิธีการจับคู่รูปแบบทางสถิติ หากคุณรู้หรือสามารถเดาการผสมผสานของเครื่องมือที่เกี่ยวข้องและมีแม่แบบ (รวมถึงช่วงเริ่มต้น, สเปกตรัมบวกกับการวิวัฒนาการทางสเปกตรัม ฯลฯ ) สำหรับเครื่องดนตรีที่ใช้ฟังสำหรับบันทึกที่คาดหวังทั้งหมดคุณสามารถลองจับคู่ทางสถิติของคอร์ดเสน ชุดค่าผสมที่ใช้รูปแบบเสียงเทมเพลตเพื่อประเมินชุดค่าผสมที่เป็นไปได้มากที่สุด สิ่งนี้น่าจะเป็นการค้นหาที่ละเอียดอ่อนมากเกี่ยวกับ minima ทั่วโลกซึ่งเทคนิคการค้นหาแบบ "AI" แบบต่าง ๆ อาจมีประโยชน์ จากนั้นคุณสามารถใช้ความน่าจะเป็นของคอร์ดแต่ละอันจากนั้นใช้ทฤษฎีการตัดสินใจเพื่อเลือกลำดับโพลีโฟนิกที่เป็นไปได้มากที่สุดในเวลานั้น

จากนั้นจดบันทึกโดยประมาณแล้วสังเคราะห์ใหม่ที่ระยะพิทช์และระยะเวลาที่คุณเลือก

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.