เป็นไปได้ไหมที่จะฝึกโครงข่ายประสาทเทียมเพื่อวาดภาพในบางสไตล์?

เป็นไปได้ไหมที่จะฝึกโครงข่ายประสาทเทียมเพื่อวาดภาพในบางสไตล์? (ดังนั้นจึงใช้รูปภาพและวาดใหม่ในสไตล์ที่ฝึกมา)

มีเทคโนโลยีใดที่ได้รับการรับรองสำหรับสิ่งนั้นหรือไม่? ฉันรู้เกี่ยวกับอัลกอริทึม DeepArt มันเป็นการดีที่จะเติมภาพหลักด้วยรูปแบบบางอย่าง (ตัวอย่างเช่นรูปภาพ vangoghify) แต่ฉันกำลังมองหาบางอย่างที่แตกต่าง - ตัวอย่างเช่นทำให้การ์ตูนในสไตล์ที่แน่นอนจากแนวตั้งอินพุท

machine-learning neural-networks deep-learning

— zavg
แหล่งที่มา

อุปสรรคหนึ่งในการฝึกฝนโครงข่ายประสาทเทียมจากภาพถ่ายถึงการ์ตูนอาจเป็นการค้นหาชุดข้อมูลการฝึกอบรม ดูเหมือนว่าชุดข้อมูลจะต้องมีภาพถ่ายและการ์ตูนที่มนุษย์วาดตามภาพถ่ายเหล่านั้น ฉันไม่ได้ตระหนักถึงชุดข้อมูลดังกล่าว

— แทนเนอร์ Swett

@TannerSwett คุณคิดว่าภาพมีความจำเป็นสำหรับการฝึกอบรมประเภทนี้มากแค่ไหน?

— zavg

ฉันไม่มีความชำนาญดังนั้นฉันสามารถเดาได้เท่านั้น ฉันคิดว่าคุณต้องการภาพอย่างน้อยหนึ่งพันภาพ คุณอาจต้องการมากกว่านั้น อย่างไรก็ตามฉันขอแนะนำให้ดูเครื่องมือนี้: github.com/hardmaru/sketch-rnnเครื่องมือดังกล่าวถูกใช้เพื่อสร้างเลียนแบบตัวอักษรจีน อาจเป็นเครื่องมือที่คล้ายกันสามารถสร้างเลียนแบบของการ์ตูน

— แทนเนอร์ Swett

ฉันอาจจะล้าสมัยเล็กน้อยเมื่อการฝึกอบรม NN ของฉันเกิดขึ้นเมื่อไม่นานมานี้ แต่หากคุณกำลังคิดที่จะฝึกอบรมเครือข่ายที่มีภาพไม่กี่พันภาพและคาดหวังว่ามันจะสามารถแสดงภาพในสไตล์ที่คุณอาจเข้าถึงได้ หากคุณกำลังคิดว่านี่เป็นโครงการเริ่มต้นที่ดีแล้วล่ะก็ เพื่อให้บรรลุสิ่งที่คุณอธิบายจะต้องมีการเล่นซอด้วยตนเอง คิดเกี่ยวกับความรู้ที่จำเป็นในการตีความภาพไม่ใช่แค่จับคู่รูปแบบ

— ปีเตอร์สกอตต์

นอกจากนี้ยังควรดูที่vox.com/2016/6/1/11787262/blade-runner-neural-network-encoding

— Peter Scott

คำตอบ:

มีกระดาษที่เกี่ยวข้องคือ: LA Gatus, AS Ecker, M Bethge 2015ประสาทอัลกอริทึมของรูปแบบศิลปะ อ้างจากนามธรรม

ที่นี่เราแนะนำระบบประดิษฐ์ที่อิงจากเครือข่าย Deep Neural ที่สร้างภาพศิลปะที่มีคุณภาพการรับรู้สูง ระบบนี้ใช้ระบบประสาทในการแยกและรวมเนื้อหาและรูปแบบของภาพใหม่เข้าด้วยกันเพื่อสร้างอัลกอรึทึมสำหรับการสร้างภาพศิลปะ

นี่คือรูปที่ 2 จากบทความนี้:

นอกจากนี้ยังมีความนิยมอย่างมากการดำเนินการเปิดแหล่งที่มาขึ้นอยู่กับไฟฉายที่นี่ซึ่งใช้งานง่าย ดูลิงค์สำหรับตัวอย่างเพิ่มเติม

โปรดจำไว้ว่าการคำนวณนั้นหนักมากดังนั้นการประมวลผลภาพเดียวจึงเป็นขอบเขตของงานนี้

แก้ไข:หลังจากตรวจสอบโครงการ DeepArt ที่คุณกล่าวถึงดูเหมือนว่าใช้เทคนิคเดียวกัน ฉันไม่แน่ใจว่าทำไมสิ่งนี้ถึงไม่ใช่สิ่งที่คุณต้องการเพราะแนวคิดของการถ่ายโอนสไตล์เป็นเรื่องธรรมดาตามที่ได้รับ

— sascha
แหล่งที่มา

การ์ตูนพูดเกินจริงและลดความซับซ้อนของสิ่งที่มันเป็นภาพวาดการผลิตรูปร่างที่แตกต่างจากรูปร่างในภาพถ่าย ฉันไม่เชื่อว่าอวนแบบโครงข่ายประสาทการถ่ายโอนที่มีอยู่เคยทำอย่างนั้น

— แทนเนอร์ Swett

ดู @TannerSwett ที่ตัวอย่างที่นี่: imgur.com/a/ue6ap บางคนก็ค่อนข้างเป็นการ์ตูน

— อะมีบา

@ amoeba พวกเขาดูเป็นการ์ตูนใช่ แต่ไม่มีพวกเขาที่มีสัดส่วนที่บิดเบี้ยวซึ่งการ์ตูนที่แท้จริงส่วนใหญ่มี

— แทนเนอร์ Swett

เรากำลังพูดถึงการถ่ายโอนสไตล์ที่นี่ ตัวอย่างทั้งหมดใช้บางสไตล์ที่เลือกก่อนที่ไม่ใช่สิ่งเหล่านี้เป็นการ์ตูน (ทำไมผลลัพธ์ควรดูการ์ตูนเมื่อมันเรียนรู้เกี่ยวกับแวนโก๊ะ) บางทีคุณอาจได้รับโครงการโอเพ่นซอร์สให้ทำงาน (ฉันไม่เคยมีปัญหาในอดีต) และลองใช้การป้อนข้อมูลแบบการ์ตูน

— sascha

นี่เป็นปัญหาที่แก้ยาก คุณสามารถดูตัวอย่างที่นี่เกี่ยวกับลักษณะการ์ตูนเช่นจาก Simpson's ถูกนำไปใช้กับภาพ

โดยทั่วไปแล้วภาพการ์ตูนไม่มีโครงสร้างที่ให้ศิลปะนี้ฟเฟ็กต์นี้ วิธีที่ง่ายที่สุดในการพยายามใช้สิ่งนี้ในบางวิธีคือการมีตัวติดตามใบหน้าจากนั้นพยายามจัดตำแหน่งใบหน้าสองหน้าเช่นใบหน้าการ์ตูนและใบหน้ามนุษย์แล้วใช้สิ่งนี้ นั่นอาจจะพาคุณไปที่ไหนสักแห่ง แต่มันอาจดูแปลก ๆ จากนั้นคุณอาจใส่คำอธิบายสถานที่สำคัญในภาพเพื่อช่วยเพิ่มเติมและทำการลงทะเบียนแบบไม่เข้มงวดก่อนหน้านี้ นี่ยังคงเป็นวิธีแก้ปัญหา shitmix แต่สิ่งที่ใกล้เคียงที่สุดที่ฉันสามารถนึกได้คือสามารถใช้กับใบหน้าได้

แก้ไข:

ความคิดเห็นโดย @TannerSwett เพิ่มบางอย่างลงในนี้มันเป็นไปได้ที่จะเข้าสู่หน้าเว็บของศิลปินบางคนและพยายามค้นหาภาพประกอบและพยายามเรียนรู้สไตล์ "ของพวกเขา" ฉันยังไม่คิดว่าจะพอใจหรือให้ข้อมูลเพียงพอ แต่จะเป็นสิ่งที่น่าสนใจในการทดสอบ ไม่มีวิธีแก้ปัญหาที่ใช้กันทั่วไปในขณะนี้ แต่ฉันคิดว่านั่นเป็นงานที่คนบางคนกำลังทำอยู่และเราจะเห็นผลลัพธ์ที่ดีขึ้นในไม่ช้า

ฉันคิดว่าบางทีวิธีที่จะไปไม่ใช่เครือข่ายศิลปะประสาท อาจเป็นการดีกว่าที่จะมีเครือข่ายที่สามารถจัดประเภทวัตถุในภาพแล้วเรียนรู้การติดต่อระหว่างวัตถุและคู่การ์ตูนของพวกเขาจากนั้นผสมผสานผลลัพธ์ด้วยวิธีที่มีความหมายบางอย่าง

— Gumeo
แหล่งที่มา

ตัวอย่าง Simpson นั้นดูยอดเยี่ยมมากสำหรับฉัน @Gumeo

— FabricioG

ไม่ควรซับซ้อนเกินไปที่จะทำ ยังไม่ได้อ่านบทความที่กล่าวถึงนี่เป็นสูตรของฉัน:

ระบบเข้ารหัสอัตโนมัติแบบ Variational

การสาธิตออนไลน์ด้วย morphing faces: http://vdumoulin.github.io/morphing_faces/online_demo.html

และhttps://jmetzen.github.io/2015-11-27/vae.htmlสำหรับ teh codez

โดยทั่วไปสิ่งนี้จะช่วยให้คุณสามารถกำหนด 'สไตล์' ในกรณีของคุณตัวอย่างเช่นสมมติว่าแปรงปัดกว้างหรือเลือน สิ่งที่ขึ้นอยู่กับสไตล์เฉพาะที่คุณพยายามเลียนแบบ

ในตัวอย่างข้างต้นใบหน้า 'morphed' หรือ 'นึกภาพ' ที่แตกต่างกันเป็นฟังก์ชันของพารามิเตอร์ในพื้นที่แฝง ในภาพด้านล่างจะเป็นสิ่งที่คุณจะได้รับจากการเปลี่ยนสิ่งต่าง ๆ ในระดับ 'รหัส'

ต่อไปนี้เป็นแนวคิดพื้นฐาน: ภาพต้นฉบับเหลืออยู่, รูปแบบเฉพาะตัวของภาพเดียวกันทางด้านขวา:

ตามทฤษฏีแล้วถ้าคุณฝึกรูปแบบดังกล่าวในภาพปกติและภาพที่มีสไตล์เป็นเป้าหมายและเพิ่มความเชื่อมั่นคุณควรจะสามารถเรียนรู้ตัวกรองเคอร์เนลที่สอดคล้องกับประเภทของ "ฝีแปรง" ที่ศิลปินใช้ .

แน่นอนนั่นหมายความว่าคุณต้องมีตัวอย่างบางส่วนของรูปภาพทั้งในรุ่นดั้งเดิมและรุ่นที่เก๋ไก๋ ชุดข้อมูลดังกล่าวน่ายินดีที่ได้บริจาคให้กับชุมชน - ถ้าคุณทำสิ่งนี้ฉันก็อยากเห็นงานประเภทนี้มาก

โชคดี!

บทความ wiki เกี่ยวกับโปรแกรมเปลี่ยนไฟล์อัตโนมัติจะเป็นจุดเริ่มต้นที่ดี: https://en.wikipedia.org/wiki/Autoencoder

— ซูริเคน x สีน้ำเงิน
แหล่งที่มา