จุดเน้นของคำถามนี้
"... เราจะประมวลผลข้อมูลจากการแจกแจงที่แท้จริงและข้อมูลจากตัวแบบกำเนิดในการวนซ้ำเดียวกันได้อย่างไร?
การวิเคราะห์สิ่งพิมพ์พื้นฐาน
ในหน้าอ้างอิงทำความเข้าใจกำเนิดเครือข่ายขัดแย้ง (2017) , แดเนียลผู้สมัครระดับปริญญาเอก Sieta อย่างถูกต้องอ้างอิงกำเนิดขัดแย้งเครือข่าย Goodfellow, Pouget-Abadie ร์ซาเสี่ยว, Warde-ลี่ย์ Ozair, Courville และ Bengio, มิถุนายน 2014 "เราเสนอกรอบการทำงานใหม่สำหรับการประเมินโมเดลทั่วไปผ่านกระบวนการที่เป็นปฏิปักษ์ซึ่งเราได้ฝึกอบรมทั้งสองโมเดลพร้อมกัน ... " บทความต้นฉบับนี้กำหนดสองโมเดลที่กำหนดเป็น MLPs (Multilayer Perceptrons)
- รุ่นทั่วไป, G
- แบบจำลองที่จำแนกได้ D
แบบจำลองทั้งสองนี้ได้รับการควบคุมในลักษณะที่รูปแบบหนึ่งแสดงความคิดเห็นเชิงลบต่ออีกรูปแบบหนึ่ง
- G ได้รับการฝึกฝนให้จับการกระจายข้อมูลของชุดตัวอย่างที่ดีพอที่จะหลอกลวง D.
- D ได้รับการฝึกฝนให้ค้นพบว่าอินพุตนั้นเป็น mocks ของ G หรือชุดตัวอย่างสำหรับระบบ GAN
(ชุดตัวอย่างสำหรับระบบ GAN บางครั้งเรียกว่าตัวอย่างจริง แต่อาจไม่จริงมากกว่าตัวอย่างที่สร้างขึ้นทั้งคู่เป็นอาร์เรย์ตัวเลขในคอมพิวเตอร์หนึ่งชุดที่มีแหล่งกำเนิดภายในและอีกชุดหนึ่งมีภายนอก จุดกำเนิดไม่ว่าวัตถุภายนอกนั้นมาจากกล้องที่ชี้ไปยังบางฉากไม่เกี่ยวข้องกับการทำงานของ GAN)
Probabilistically, การหลอกลวง D หมายถึงการเพิ่มความน่าจะเป็นที่ D จะสร้างผลบวกปลอมให้มากที่สุดและเชิงลบที่ผิดพลาดเช่นเดียวกับการจัดหมวดหมู่ที่ถูกต้องแต่ละครั้ง 50% ในวิทยาการสารสนเทศนี่เป็นการบอกว่าขีด จำกัด ของข้อมูล D มีของ G เข้าใกล้ 0 เมื่อ t เข้าใกล้อนันต์ มันเป็นกระบวนการของการเพิ่มเอนโทรปีของ G จากมุมมองของ D ดังนั้นคำว่าข้ามเอนโทรปี
การบรรจบกันของความสำเร็จเป็นอย่างไร
เนื่องจากฟังก์ชั่นการสูญเสียทำซ้ำจากการเขียนในปี 2560 ของ Sieta ซึ่งเป็นคำถามของ D ซึ่งออกแบบมาเพื่อลดการข้ามเอนโทรปี (หรือสหสัมพันธ์) ระหว่างการแจกแจงทั้งสองเมื่อนำไปใช้กับคะแนนเต็มชุดสำหรับสถานะการฝึกอบรมที่กำหนด
H( ( x1, y1) , D ) = 1D ( x1)
มีฟังก์ชั่นการสูญเสียแยกต่างหากสำหรับ G ที่ออกแบบมาเพื่อเพิ่มค่าเอนโทรปีของค่าไขว้ ขอให้สังเกตว่ามีสองระดับของเมล็ดการฝึกอบรมในระบบ
- เกมเคลื่อนไหวในเกมที่มีผู้เล่นสองคน
- จากตัวอย่างการฝึกอบรม
เหล่านี้สร้างการวนซ้ำแบบวนซ้ำด้วยการวนซ้ำด้านนอกดังนี้
- การฝึกอบรมของ G ดำเนินการโดยใช้ฟังก์ชั่นการสูญเสียของกรัม
- รูปแบบการป้อนข้อมูลจำลองถูกสร้างขึ้นจาก G ที่สถานะปัจจุบันของการฝึกอบรม
- การฝึกอบรมวิธีการ D โดยใช้ฟังก์ชั่นการสูญเสียของ D
- ทำซ้ำถ้าเอนโทรปีของการไขว้ยังไม่ขยายใหญ่พอ D สามารถแยกแยะได้
ในที่สุดเมื่อ D แพ้เกมเราก็บรรลุเป้าหมายของเราแล้ว
- G กู้คืนการกระจายข้อมูลการฝึกอบรม
- D ถูกลดความไม่มีประสิทธิภาพ ("ความน่าจะเป็น 1/2 ทุกๆที่")
เหตุใดจึงจำเป็นต้องมีการฝึกอบรมพร้อมกัน
หากทั้งสองรุ่นไม่ได้รับการฝึกฝนในแบบไปมาเพื่อจำลองการเกิดพร้อมกันการบรรจบกันในระนาบฝ่ายตรงข้าม (การทำซ้ำรอบด้านนอก) จะไม่เกิดขึ้นกับการแก้ปัญหาเฉพาะที่อ้างถึงในเอกสารปี 2014
ข้อมูลมากกว่านี้
นอกเหนือจากคำถามแล้วสิ่งต่อไปที่น่าสนใจในบทความของ Sieta ก็คือ "การออกแบบฟังก์ชั่นการสูญเสียของเครื่องกำเนิดไฟฟ้าไม่ดี" สามารถนำไปสู่ค่าการไล่ระดับสีไม่เพียงพอที่จะนำพาเชื้อสายและผลิตสิ่งที่เรียกว่าอิ่มตัว ความอิ่มตัวเป็นเพียงการลดลงของสัญญาณความคิดเห็นที่นำโคตรในการถ่ายทอดกลับไปสู่เสียงอึกทึกที่เกิดจากการปัดเศษจุดลอยตัว คำนี้มาจากทฤษฎีสัญญาณ
ฉันแนะนำให้ศึกษาบทความปี 2014 โดย Goodfellow et alia (นักวิจัยที่มีประสบการณ์) เพื่อเรียนรู้เกี่ยวกับเทคโนโลยี GAN มากกว่าหน้า 2017