จะทำการแยกข้อมูลและตรวจสอบความถูกต้องของรถไฟได้อย่างไร?


14

ฉันกำลังจำแนกภาพโดยใช้การเรียนรู้ของเครื่อง

สมมติว่าฉันมีข้อมูลการฝึกอบรม (ภาพ) และจะแบ่งข้อมูลออกเป็นชุดการฝึกอบรมและการตรวจสอบความถูกต้อง และฉันยังต้องการที่จะเพิ่มข้อมูล (สร้างภาพใหม่จากภาพต้นฉบับ) โดยการหมุนแบบสุ่มและการฉีดสัญญาณรบกวน augmentaion ทำแบบออฟไลน์

วิธีใดที่ถูกต้องในการเพิ่มข้อมูล?

  1. ขั้นแรกให้แบ่งข้อมูลออกเป็นชุดฝึกอบรมและตรวจสอบความถูกต้องจากนั้นทำการเพิ่มข้อมูลทั้งชุดฝึกอบรมและชุดตรวจสอบ

  2. ขั้นแรกให้แบ่งข้อมูลออกเป็นชุดฝึกอบรมและตรวจสอบความถูกต้องจากนั้นทำการเพิ่มข้อมูลในชุดฝึกอบรมเท่านั้น

  3. ก่อนอื่นทำการเพิ่มข้อมูลบนข้อมูลจากนั้นแบ่งข้อมูลออกเป็นชุดฝึกอบรมและตรวจสอบความถูกต้อง


1
"การเพิ่มข้อมูล" มีความหมายมากกว่าหนึ่ง มันจะช่วยแก้ไขคำถามของคุณเพื่ออธิบายให้ชัดเจนว่าเป็นของคุณหรือเพียงแค่ให้ตัวอย่าง
Scortchi - Reinstate Monica

หากคุณวางแผนที่จะทำ TTA ดังนั้นการเติมควรนำไปใช้กับชุดการตรวจสอบความถูกต้องสำหรับชุดทดสอบ
abby yorker

คำตอบ:


18

ขั้นแรกให้แบ่งข้อมูลออกเป็นชุดฝึกอบรมและตรวจสอบความถูกต้องจากนั้นทำการเพิ่มข้อมูลในชุดฝึกอบรม

คุณใช้ชุดการตรวจสอบความถูกต้องของคุณเพื่อพยายามประเมินว่าวิธีการทำงานของคุณกับข้อมูลในโลกแห่งความเป็นจริงดังนั้นจึงควรมีข้อมูลโลกแห่งความจริงเท่านั้น การเพิ่มข้อมูลที่เติมจะไม่ช่วยเพิ่มความแม่นยำในการตรวจสอบความถูกต้อง ที่ดีที่สุดจะพูดอะไรบางอย่างเกี่ยวกับวิธีการที่ดีของคุณตอบสนองต่อการเพิ่มข้อมูลและที่เลวร้ายที่สุดทำลายผลลัพธ์การตรวจสอบและการตีความ


ฉันอยากรู้เกี่ยวกับบางสิ่งบางอย่างในคำตอบของคุณ หากเกณฑ์ของฉันที่จะหยุดการฝึกอบรม CNN กำลังลดการสูญเสียการตรวจสอบคุณเชื่อหรือไม่ว่าการเพิ่มข้อมูลในข้อมูลการตรวจสอบเป็นทางเลือกที่ดี?
mad

1
ไม่ฉันยังคงคิดว่าจะ "ทำลายผลการตรวจสอบและการตีความ" เนื่องจากความแม่นยำในการตรวจสอบไม่ได้เป็นพร็อกซีที่ดีอีกต่อไปสำหรับความถูกต้องของข้อมูลที่มองไม่เห็นใหม่หากคุณเพิ่มข้อมูลการตรวจสอบ
burk

ดังนั้นเราไม่จำเป็นต้องใช้การเพิ่มข้อมูลในการตรวจสอบและทดสอบข้อมูลเลย?
Aadnan Farooq A

@AadnanFarooqA ไม่ปกติคุณควรดำเนินการแบบเดียวกันกับข้อมูลการทดสอบและการตรวจสอบความถูกต้องตามที่คุณตั้งใจจะทำกับคุณโดยมองไม่เห็นข้อมูลเมื่อคุณใช้แบบจำลองของคุณเพื่อการคาดการณ์
burk

1
@AadnanFarooqA โดยปกติคุณควรใช้การเพิ่มข้อมูลการฝึกอบรมหลังจากการแยก
burk

4

ไม่เคยทำ 3 ตามที่คุณจะได้รับการรั่วไหล เช่นสมมติว่าการเพิ่มคือการเลื่อน 1 พิกเซลที่เหลือ หากการแบ่งโดยไม่ทราบเพิ่มคุณอาจได้รับตัวอย่างข้อมูลที่คล้ายกันมากทั้งในรถไฟและการตรวจสอบ


0

การเพิ่มข้อมูลหมายถึงการเพิ่มข้อมูล / ข้อมูลภายนอกไปยังข้อมูลที่มีอยู่ซึ่งกำลังถูกวิเคราะห์

ดังนั้นเนื่องจากข้อมูลที่เพิ่มขึ้นทั้งหมดจะถูกใช้สำหรับการเรียนรู้ของเครื่องดังนั้นกระบวนการต่อไปนี้จะเหมาะสมกว่า:

ทำการเพิ่มข้อมูล -> แยกข้อมูล


ขอบคุณสำหรับการตอบกลับ. มันเป็นสิ่งที่ถูกต้องหรือไม่ที่ตัวอย่างและตัวอย่างเติมซึ่งค่อนข้างคล้ายกับตัวอย่างดั้งเดิมจะถูกกระจายในชุดที่แตกต่างกันหรือไม่?
yangjie

คุณหมายถึงข้อมูลที่มีอยู่เป็นชุดการฝึกอบรมและข้อมูลที่เพิ่มขึ้นเป็นชุดการตรวจสอบหรือไม่ จากนั้นไม่
Dawny33

การแยกเป็นแบบสุ่มดังนั้นฉันหมายความว่าถ้าฉันทำการเพิ่มข้อมูลและแยกข้อมูลเป็นไปได้ว่าข้อมูลที่มีอยู่บางส่วน (ไม่ใช่ทั้งหมด) แบ่งออกเป็นชุดฝึกอบรมในขณะที่ข้อมูลที่เติมจะไปที่ชุดการตรวจสอบความถูกต้อง
yangjie

คุณหมายถึงการต่อท้ายหรือไม่ ข้อมูลที่เพิ่มขึ้นเป็นข้อมูลที่รองรับข้อมูลปัจจุบันในทุกจุด ดังนั้นหากการแยกเป็นแบบสุ่มการแบ่งจะส่งผลให้มีปริมาณข้อมูล augmente ในทั้งสองชุดเท่ากันกับข้อมูลที่มีอยู่
Dawny33

มีการอ้างอิงของกระดาษสำหรับสิ่งนี้หรือไม่?
Aadnan Farooq
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.