เครือข่ายประสาทเทียมสามารถใช้เป็นภาพอินพุตที่มีขนาดต่างกันได้หรือไม่?

ฉันกำลังทำงานบนเครือข่ายการสนทนาเพื่อการจดจำรูปภาพและฉันสงสัยว่าฉันสามารถใส่ภาพที่มีขนาดต่างกันได้หรือไม่

ในโครงการนี้: https://github.com/harvardnlp/im2markup

พวกเขาพูดว่า:

and group images of similar sizes to facilitate batching

ดังนั้นแม้หลังจากประมวลผลล่วงหน้าภาพยังคงมีขนาดแตกต่างกันซึ่งเหมาะสมเนื่องจากไม่ตัดบางส่วนของสูตร

มีปัญหาในการใช้ขนาดที่แตกต่างกันหรือไม่? หากมีฉันจะแก้ไขปัญหานี้ได้อย่างไร (เนื่องจากสูตรจะไม่พอดีกับขนาดภาพเดียวกัน)

การป้อนข้อมูลใด ๆ จะได้รับการชื่นชมมาก

มีปัญหาในการใช้ขนาดที่แตกต่างกันหรือไม่? หากมีฉันจะแก้ไขปัญหานี้ได้อย่างไร (เนื่องจากสูตรจะไม่พอดีกับขนาดภาพเดียวกัน)

มันขึ้นอยู่กับสถาปัตยกรรมของเครือข่ายประสาท สถาปัตยกรรมบางอย่างสมมติว่ารูปภาพทั้งหมดมีขนาดเท่ากันส่วนอื่น ๆ (เช่น im2markup) จะไม่สร้างสมมติฐานดังกล่าว ความจริงที่ว่า im2markup อนุญาตให้ใช้ภาพที่มีความกว้างแตกต่างกันไม่ได้ทำให้เกิดปัญหาใด ๆ ที่ฉันเชื่อว่าเนื่องจากพวกเขาใช้ RNN ที่สแกนผ่านเอาต์พุตของเลเยอร์ Convolution

ภาพกลุ่มที่มีขนาดใกล้เคียงกันเพื่ออำนวยความสะดวกในการแบทช์

ซึ่งโดยทั่วไปจะเพิ่มความเร็วให้มากขึ้นโดยหลีกเลี่ยงการเพิ่มการเติมมากเกินไป

คุณได้พิจารณาปรับขนาดภาพในระยะก่อนการประมวลผลหรือไม่? โดยสังเขปมนุษย์ที่เผชิญกับภาพที่ปรับขนาดแล้วจะยังสามารถรับรู้คุณสมบัติและวัตถุเดียวกันได้และไม่มีเหตุผลที่ชัดเจนว่าเหตุใดซีเอ็นเอ็นจึงไม่สามารถทำสิ่งเดียวกันกับภาพที่ปรับขนาดได้

ฉันคิดว่าการปรับขนาดของภาพให้มีขนาดเท่ากันอาจจะง่ายกว่าการพยายามสร้างเครือข่ายที่มีความซับซ้อนในการจัดการภาพในขนาดต่าง ๆ ซึ่งฉันคิดว่าน่าจะอยู่ที่นั่นในดินแดน 'การวิจัยดั้งเดิม' แน่นอนว่าคุณสามารถสร้างเลเยอร์ Conv ของ Convnet จัดการกับรูปภาพทุกขนาดโดยไม่ต้องฝึกซ้ำ อย่างไรก็ตามโดยทั่วไปแล้วเอาต์พุตของ convnet จะเป็นลักษณนามบางประเภทและนี่อาจจะทำงานได้ไม่ดีนักหากคุณป้อนอินพุตที่มีขนาดแตกต่างกันฉันจะจินตนาการ

อีกวิธีหนึ่งก็คือการอัดภาพด้วยศูนย์ แต่ลองนึกภาพโดยสังหรณ์ใจว่าคุณกำลังดูภาพถ่ายขนาดเล็กที่มีขอบสีดำหรือคุณสามารถซูมเข้าได้ดังนั้นมันจึงรองรับส่วนโค้งที่เหมาะสมในฟิลด์ภาพของคุณ คุณจะทำอะไร ไหนจะเห็นง่ายกว่า