GANs (เครือข่ายผู้ให้กำเนิดที่เป็นปฏิปักษ์) เป็นไปได้สำหรับข้อความเช่นกัน?

GANs - เครือข่ายผู้ไม่ประสงค์ดีก่อกำเนิด - เหมาะสำหรับรูปภาพหรือใช้เป็นข้อความได้หรือไม่?

เช่นฝึกเครือข่ายเพื่อสร้างข้อความที่มีความหมายจากบทสรุป

UPD - คำพูดจากนักประดิษฐ์ GAN Ian Goodfellow

GAN ไม่ได้ถูกนำไปใช้กับ NLP เนื่องจากมีการกำหนด GAN สำหรับข้อมูลที่มีค่าจริงเท่านั้น ( 2016 ) แหล่งที่มา

มันไม่ได้เป็นความคิดที่มีข้อบกพร่องพื้นฐาน มันควรจะเป็นไปได้ที่จะทำอย่างใดอย่างหนึ่งดังต่อไปนี้ ... (2017) แหล่งที่มา

ใช่ GAN สามารถใช้เป็นข้อความได้ อย่างไรก็ตามมีปัญหาในการรวมกันของวิธีการทำงานของ GAN และวิธีการสร้างข้อความโดยปกติโดยเครือข่ายประสาท:

• GAN ทำงานโดยแพร่กระจายการไล่ระดับสีผ่านองค์ประกอบของตัวสร้างและตัวแยกประเภท
• ตามปกติข้อความจะถูกสร้างขึ้นโดยมีเลเยอร์ softmax สุดท้ายเหนือพื้นที่โทเค็นนั่นคือเอาต์พุตของเครือข่ายโดยปกติแล้วความน่าจะเป็นของการสร้างโทเค็นแต่ละอัน (เช่นหน่วยสุ่ม)

2 สิ่งเหล่านี้ทำงานได้ไม่ดีด้วยกันเพราะคุณไม่สามารถถ่ายทอดการไล่ระดับสีผ่านหน่วยสุ่ม มี 2 ​​วิธีหลักในการจัดการกับสิ่งนี้: อัลกอริทึม REINFORCEและGumbel-Softmax reparameterization (หรือที่เรียกว่าการกระจายคอนกรีต ) พิจารณาว่า REINFORCE เป็นที่ทราบกันดีว่ามีความแปรปรวนสูงดังนั้นคุณจึงต้องการข้อมูลจำนวนมากเพื่อให้ได้ค่าประมาณการไล่ระดับสีที่ดี

เป็นตัวอย่างของการเสริมสร้างสำหรับ Gans ต้นฉบับเดิมที่คุณสามารถตรวจสอบบทความ SeqGAN ตัวอย่างของกัมเบล-Softmax คุณสามารถตรวจสอบบทความนี้

อีกตัวเลือกที่แตกต่างกันอย่างสิ้นเชิงคือการไม่มีหน่วยสุ่มแยกเป็นเอาท์พุทของเครื่องกำเนิดไฟฟ้า (เช่นการสร้างสัญญาณโทเค็นในพื้นที่ฝังตัว) ดังนั้นการกำจัดปัญหาเดิมของการ backpropagating ผ่านพวกเขา

มีการวิจัยที่เฉพาะเจาะจงมากขึ้นในหัวข้อนี้:

ผู้สร้างที่ได้รับการฝึกฝนนั้นมีความสามารถในการผลิตประโยคที่มีไวยากรณ์และตรรกะในระดับหนึ่ง

Xuerong Xiao, "การสร้างข้อความโดยใช้ Generative Adversarial Training"

คำถามนี้เกี่ยวข้องกับคำถามนี้: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientificator.packexchange.html

ใช่ตอนนี้คุณสามารถใช้ GAN สำหรับข้อมูลแบบแยกได้เช่นกัน ตัวอย่างแรกของสัญชาตญาณนี้เกิดขึ้นเมื่อ Wasserstein GANs (WGAN) เข้ามามีอยู่ Ian Goodfellow ได้กล่าวถึงวิธีการเรียนรู้แบบเสริมแรงกับปัญหานี้ในการประชุม NIPS 2016 นอกจากนี้บทความนี้ยังกล่าวถึงความก้าวหน้าใน GAN เกี่ยวกับข้อมูลที่ไม่ต่อเนื่อง