เราสามารถสร้างชุดข้อมูลขนาดใหญ่ได้ด้วย Generative Adversarial Networks

ฉันกำลังเผชิญกับปัญหาที่ฉันไม่สามารถหาชุดข้อมูล (รูปภาพ) เพียงพอที่จะป้อนเข้าสู่เครือข่ายประสาทเทียมลึกของฉันสำหรับการฝึกอบรม

ฉันได้รับแรงบันดาลใจอย่างมากจากการสังเคราะห์ข้อความที่เป็นปฏิปักษ์กับการสร้างภาพกระดาษเผยแพร่โดย Scott Reed และคณะ บนเครือข่ายผู้ให้กำเนิดที่ไม่พึงประสงค์

ฉันอยากรู้ว่าฉันสามารถใช้ชุดข้อมูลขนาดเล็กที่มีอยู่เป็นอินพุทของแบบจำลอง GAN และสร้างชุดข้อมูลขนาดใหญ่ขึ้นเพื่อจัดการกับโมเดลเครือข่ายที่ลึกกว่านี้ได้หรือไม่

มันจะดีพอไหม

สิ่งนี้ไม่น่าจะเพิ่มมากไปกว่าการรวบรวมข้อมูลโดยตรงของคุณ

คุณภาพของผลผลิต GAN ปัจจุบัน (ณ 2017) จะไม่สูงพอ ภาพที่ผลิตโดย GAN มักจะมีขนาดเล็กและสามารถมีรายละเอียดที่ผิดปกติ / ไม่ชัดเจนและการบิดเบือนที่ผิดปกติ ในกระดาษที่คุณเชื่อมโยงกับภาพที่สร้างขึ้นโดยระบบจากประโยคมีบล็อกเชื่อของสีได้รับเรื่อง แต่ไม่มีประโยค priming คุณสิ่งที่คาดหวังมากที่สุดของพวกเขาไม่เป็นที่รู้จักในฐานะใด ๆเรื่องที่เฉพาะเจาะจง

GAN ที่มีจุดประสงค์ทะเยอทะยานน้อยกว่าการสร้างภาพจากประโยค (ซึ่งแม้จะเป็นการวิจารณ์ของฉันข้างต้น IMO ที่น่าทึ่งอย่างแท้จริง) ควรสร้างภาพที่ใกล้เคียงกับภาพถ่ายจริงมากขึ้น แต่ขอบเขตจะน้อยลงและอาจไม่รวมประเภทภาพที่คุณต้องการ นอกจากนี้โดยทั่วไปแล้วขนาดเอาต์พุตมีขนาดเล็กเช่น 64x64 หรือ 128x128 * และยังมีการบิดเบือนและความคลุมเครือมากพอที่ภาพถ่ายจริงจากพื้นดินดั้งเดิมน่าจะเหมาะสมกว่า

GAN นั้นถูก จำกัด ด้วยห้องสมุดฝึกอบรม - มันจะไม่ดีถ้าคุณพยายามสร้างภาพนอกขอบเขตของข้อมูลการฝึกอบรม ผลลัพธ์ที่แสดงในรายงานการวิจัยของหลักสูตรมุ่งเน้นไปที่โดเมนที่จัดทำโดยข้อมูลการฝึกอบรม แต่คุณไม่สามารถป้อนประโยคใด ๆในโมเดลนี้และคาดหวังผลลัพธ์ที่มีประโยชน์ในที่อื่น

หากคุณพบ GAN ที่ผ่านการฝึกอบรมเกี่ยวกับชุดข้อมูลที่เหมาะสมสำหรับปัญหาของคุณคุณน่าจะพยายามแหล่งข้อมูลเดียวกันโดยตรงสำหรับโครงการของคุณ

หากคุณกำลังประสบปัญหากับข้อมูลความจริงพื้นฐานที่ จำกัด อาจเป็นวิธีที่ดีกว่าในการใช้ GAN คือการใช้ลักษณนามที่ผ่านการฝึกอบรมมาแล้วเช่น VGG-19 หรือ Inception v5 แทนที่เลเยอร์ที่เชื่อมต่อเต็มแล้วและปรับ ปรับมันบนข้อมูลของคุณ นี่คือตัวอย่างของการทำเช่นนั้นโดยใช้ไลบรารี Keras ใน Python - ตัวอย่างอื่น ๆ สามารถพบได้กับการค้นหาเช่น "ตัวปรับแต่งภาพ CNN ปรับแต่ง"

* GAN ที่ทันสมัยได้ดีขึ้นตั้งแต่ฉันโพสต์คำตอบนี้ ทีมวิจัยที่ Nvidia ได้มีความสำเร็จที่โดดเด่นในการสร้างภาพ อย่างไรก็ตามนี่ไม่ได้เปลี่ยนประเด็นอื่น ๆ ในคำตอบของฉัน GAN ไม่ใช่แหล่งภาพที่เชื่อถือได้สำหรับงานการจัดหมวดหมู่ภาพยกเว้นงานย่อยของสิ่งที่ GAN ได้รับการฝึกอบรมมาแล้วและสามารถสร้างเงื่อนไข (หรืออาจเป็นเรื่องเล็กน้อยเพื่อให้แหล่งข้อมูลสำหรับหมวดหมู่ "อื่น ๆ " ใน ลักษณนาม)

ฉันมีปัญหาเดียวกันกับ DNN ที่ฉันกำลังสร้าง การใช้ชุดข้อมูลของฉันและสังเคราะห์ข้อมูลใหม่ด้วย GAN ดูเหมือนความคิดที่ดี แต่ GAN เองจะเรียนรู้ที่จะส่งออกภาพที่มีความแปรปรวนของภาพและส่วนเบี่ยงเบนมาตรฐานเดียวกับที่เรียนในชุดฝึกอบรมเท่านั้น ดังนั้นข้อมูลที่สร้างขึ้นใหม่ของคุณจะแสดงให้เห็นถึงวิธีเรียงสับเปลี่ยนที่มากขึ้นของการกระจายตัวอย่างเดียวกัน สิ่งนี้จะช่วยให้การฝึกอบรม NN ของคุณดีขึ้นในการกระจายตัวเดียวกันดังนั้นจึงอาจนำไปสู่การฝึกอบรมที่มากขึ้น

เพียงแค่จากมุมมองทางทฤษฎีล้วนๆสิ่งนี้เป็นไปไม่ได้

ชุดข้อมูลการฝึกอบรมใด ๆ ที่ระบุจะแสดงข้อมูลจำนวนหนึ่งเกี่ยวกับโครงสร้างของพื้นที่หนึ่ง ๆ หากคุณฝึกฝน GAN ในชุดข้อมูลนี้จะได้เรียนรู้จากข้อมูลที่แสดงโดยชุดข้อมูลนั้นเท่านั้น ข้อมูลที่สังเคราะห์โดย GAN ไม่สามารถมาจากพื้นที่ขนาดใหญ่กว่าข้อมูลดั้งเดิมได้ด้วยเหตุผลง่ายๆ: ข้อมูลนี้ควรมาจากไหน หากมันไม่ได้อยู่ในชุดข้อมูลดั้งเดิมก็จะไม่สามารถอยู่ในข้อมูลที่สังเคราะห์จาก GAN

หากคุณฝึกให้เครือข่ายประสาทเทียมมาบรรจบกันบนชุดข้อมูลเครือข่ายประสาทนั้นจะได้เรียนรู้โครงสร้างของชุดข้อมูลใด ๆ ข้อมูลการฝึกอบรมที่สังเคราะห์โดย GAN จะไม่มีการเพิ่มข้อมูลใหม่ ความคิดนั้นควรตรงไปตรงมา

จริงๆแล้วมันเป็นไปได้ที่จะขยายชุดข้อมูลขนาดเล็กที่มี Gans ที่จะปรับปรุงมันและยังจะเพิ่มประสิทธิภาพการทำงานของเครือข่ายการจัดหมวดหมู่ตามที่คุณสามารถอ่านได้ที่นี่https://arxiv.org/pdf/1803.01229.pdf GANs มีความสามารถในการเรียนรู้เช่นรูปทรงกลางซึ่งไม่ได้มีส่วนร่วมในชุดวันที่ดั้งเดิม แต่ยังคงถูกต้อง ภาพสังเคราะห์จึงสามารถปรับปรุงขนาดชุดข้อมูลและปรับปรุงความแม่นยำในการจัดหมวดหมู่ของ CNN