ในกระดาษ Faster RCNN ที่เร็วขึ้นเมื่อพูดถึงการทอดสมอสิ่งที่พวกเขาหมายถึงอะไรโดยใช้ "ปิรามิดของกล่องอ้างอิง" และสิ่งนี้จะทำอย่างไร นี่หมายความว่าแต่ละจุดยึด W * H * k แต่ละจุดจะถูกสร้างขึ้นหรือไม่?

โดยที่ W = ความกว้าง, H = ความสูง, และ k = จำนวนอัตราส่วนกว้างยาว * num scale

เชื่อมโยงไปยังกระดาษ: https://arxiv.org/abs/1506.01497

จุดยึดอธิบาย

แองเคอ

ในขณะนั้นให้เพิกเฉยต่อคำศัพท์แฟนซีของ "ปิรามิดแห่งกล่องอ้างอิง" จุดยึดไม่ใช่อะไรนอกจากรูปสี่เหลี่ยมผืนผ้าขนาดคงที่เพื่อป้อนเข้าสู่เครือข่ายข้อเสนอภูมิภาค แองเคอร์ถูกกำหนดไว้ในแผนผังคุณสมบัติของ Convolutional ล่าสุดซึ่งหมายความว่ามีของพวกมัน แต่ตรงกับรูปภาพ สำหรับสมอแต่ละอัน RPN จะทำนายความน่าจะเป็นของการบรรจุวัตถุโดยทั่วไปและพิกัดการแก้ไขสี่ค่าเพื่อย้ายและปรับขนาดสมอให้อยู่ในตำแหน่งที่เหมาะสม แต่เรขาคณิตของแองเคอร์ต้องทำอะไรกับ RPN ได้อย่างไร $(H_{featuremap}*W_{featuremap})*(k)$

จุดยึดปรากฏขึ้นจริงในฟังก์ชันการสูญเสีย

เมื่อฝึกอบรม RPN อันดับแรกของคลาสฉลากจะถูกกำหนดให้กับแต่ละจุดยึด จุดยึดที่มีIntersection-over-Union ( IoU ) ทับซ้อนกันกับกล่องความจริงพื้นดินซึ่งสูงกว่าขีด จำกัด ที่กำหนดจะได้รับป้ายกำกับที่เป็นบวก (เช่นจุดยึดที่มี IoUs น้อยกว่าขีด จำกัด ที่กำหนด ป้ายเหล่านี้ถูกใช้เพื่อคำนวณฟังก์ชันการสูญเสียเพิ่มเติม:

$p$คือผลลัพธ์การจัดประเภทหัวของ RPN ที่กำหนดความน่าจะเป็นของสมอที่มีวัตถุ สำหรับจุดยึดที่ติดป้ายว่าเป็นค่าลบจะไม่มีการสูญเสียใด ๆ เกิดขึ้นจากการถดถอย -ฉลากความจริงภาคพื้นดินเป็นศูนย์ กล่าวอีกนัยหนึ่งเครือข่ายไม่สนใจเกี่ยวกับพิกัดเอาท์พุทสำหรับจุดยึดเชิงลบและมีความสุขตราบใดที่มันจำแนกอย่างถูกต้อง ในกรณีของจุดยึดที่เป็นบวกจะพิจารณาการสูญเสียการถดถอย คือเอาท์พุทหัวถดถอยของ RPN เวกเตอร์ที่แสดงถึงพิกัด 4 พารามิเตอร์ของกล่องขอบเขตที่ทำนาย การกำหนดพารามิเตอร์ขึ้นอยู่กับเรขาคณิตของสมอและเป็นดังนี้:$p^*$$t$

โดยที่และ h แสดงถึงพิกัดกึ่งกลางของกล่องและความกว้างและความสูง ตัวแปรและสำหรับกล่องที่คาดการณ์กล่องยึดและกล่องภาคพื้นจริงตามลำดับ (เช่นเดียวกับ )$x, y, w,$$x, x_a,$$x^*$$y, w, h$

แจ้งให้ทราบถึงจุดยึดที่ไม่มีป้ายกำกับไม่ได้ถูกจัดประเภทหรือปรับเปลี่ยนใหม่และ RPM เพียงแค่โยนออกจากการคำนวณ เมื่องานของ RPN เสร็จสิ้นและมีการสร้างข้อเสนอส่วนที่เหลือจะคล้ายกับ Fast R-CNNs มาก

ฉันอ่านเอกสารนี้เมื่อวานนี้และตั้งแต่แรกเห็นฉันก็สับสนเช่นกัน หลังจากอ่านอีกครั้งฉันมาถึงข้อสรุปนี้:

• เลเยอร์สุดท้ายของเครือข่ายดั้งเดิม (ZF หรือ VGG-16) ทำหน้าที่เป็นอินพุตสำหรับเครือข่ายข้อเสนอภูมิภาคและการรวมกำไร RoI ในกรณีของ VGG-16 7x7x512 (HxWxD)ชั้นแปลงสุดท้ายนี้เป็น
• ชั้นนี้ถูกแมปไปยังชั้น 512 มิติพร้อม3x3ชั้น Conv ขนาดเอาต์พุตคือ7x7x512(หากใช้การแพ็ดดิง)
• เลเยอร์นี้ถูกแมปกับเลเยอร์7x7x(2k+4k)(เช่น7x7x54) พร้อม1x1ชั้น Conv สำหรับkกล่องสมอแต่ละอัน

ตอนนี้ตามรูปที่ 1 ในกระดาษคุณสามารถมีปิรามิดของภาพอินพุต (รูปภาพเดียวกันที่มีสเกลต่างกัน) ปิรามิดของฟิลเตอร์ (ฟิลเตอร์ของสเกลต่าง ๆ ในเลเยอร์เดียวกัน) หรือปิรามิดของกล่องอ้างอิง หนึ่งหลังอ้างถึงkกล่องยึดที่ชั้นสุดท้ายของเครือข่ายข้อเสนอภูมิภาค แทนที่จะเป็นตัวกรองที่มีขนาดแตกต่างกันซึ่งซ้อนกันอยู่ด้านบน (ตัวพิมพ์กลาง) ตัวกรองที่มีขนาดและอัตราส่วนต่างกันจะซ้อนกันที่ด้านบนของกันและกัน

กล่าวโดยย่อสำหรับแต่ละจุดยึด ( HxWเช่น7x7) ใช้ปิรามิดของกล่องอ้างอิง ( kเช่น9)