บทบาทของ“ Flatten” ใน Keras คืออะไร?

ฉันพยายามที่จะเข้าใจบทบาทของFlattenฟังก์ชั่นใน Keras ด้านล่างนี้คือรหัสของฉันซึ่งเป็นเครือข่ายสองชั้นที่เรียบง่าย ใช้ข้อมูล 2 มิติของรูปร่าง (3, 2) และส่งออกข้อมูลรูปร่าง 1 มิติ (1, 4):

model = Sequential()
model.add(Dense(16, input_shape=(3, 2)))
model.add(Activation('relu'))
model.add(Flatten())
model.add(Dense(4))
model.compile(loss='mean_squared_error', optimizer='SGD')

x = np.array([[[1, 2], [3, 4], [5, 6]]])

y = model.predict(x)

print y.shape

สิ่งนี้จะพิมพ์ออกมาที่yมีรูปร่าง (1, 4) อย่างไรก็ตามถ้าฉันลบFlattenเส้นมันก็จะพิมพ์ออกมาที่yมีรูปร่าง (1, 3, 4)

ฉันไม่เข้าใจเรื่องนี้ จากความเข้าใจของฉันเกี่ยวกับโครงข่ายประสาทเทียมmodel.add(Dense(16, input_shape=(3, 2)))ฟังก์ชันนี้กำลังสร้างเลเยอร์ที่เชื่อมต่อเต็มรูปแบบที่ซ่อนอยู่โดยมี 16 โหนด แต่ละโหนดเหล่านี้เชื่อมต่อกับแต่ละองค์ประกอบอินพุต 3x2 ดังนั้นโหนด 16 โหนดที่เอาต์พุตของเลเยอร์แรกนี้จึง "แบน" อยู่แล้ว ดังนั้นรูปร่างผลลัพธ์ของเลเยอร์แรกควรเป็น (1, 16) จากนั้นเลเยอร์ที่สองจะใช้สิ่งนี้เป็นอินพุตและเอาต์พุตข้อมูลของรูปร่าง (1, 4)

ดังนั้นหากผลลัพธ์ของเลเยอร์แรกเป็น "แบน" และมีรูปร่างอยู่แล้ว (1, 16) ทำไมฉันจึงต้องทำให้แบนลงอีก?

หากคุณอ่านรายการเอกสาร Keras สำหรับDenseคุณจะเห็นว่าสายนี้:

Dense(16, input_shape=(5,3))

จะส่งผลให้Denseเครือข่ายมี 3 อินพุตและ 16 เอาต์พุตซึ่งจะถูกนำไปใช้อย่างอิสระสำหรับแต่ละขั้นตอน 5 ขั้นตอน ดังนั้นถ้าD(x)แปลงเวกเตอร์ 3 มิติ 16-D เวกเตอร์สิ่งที่คุณจะได้รับเป็นผลผลิตจากชั้นของคุณจะเป็นลำดับของเวกเตอร์: ที่มีรูปร่าง[D(x[0,:]), D(x[1,:]),..., D(x[4,:])] (5, 16)เพื่อให้มีลักษณะการทำงานที่คุณระบุก่อนอื่นคุณอาจFlattenป้อนข้อมูลให้กับเวกเตอร์ 15 มิติจากนั้นจึงใช้Dense:

model = Sequential()
model.add(Flatten(input_shape=(3, 2)))
model.add(Dense(16))
model.add(Activation('relu'))
model.add(Dense(4))
model.compile(loss='mean_squared_error', optimizer='SGD')

แก้ไข: เนื่องจากบางคนพยายามที่จะเข้าใจ - ที่นี่คุณมีภาพอธิบาย:

นี่คือวิธีการทำงานของ Flatten ในการแปลงเมทริกซ์เป็นอาร์เรย์เดี่ยว

_{อ่านสั้น ๆ :}

การแบนเทนเซอร์หมายถึงการลบมิติทั้งหมดยกเว้นมิติเดียว นี่คือสิ่งที่เลเยอร์ Flatten ทำ

_{อ่านยาว:}

หากเราใช้โมเดลดั้งเดิม (ที่มีเลเยอร์ Flatten) ที่สร้างขึ้นในการพิจารณาเราจะได้รับสรุปโมเดลต่อไปนี้:

Layer (type)                 Output Shape              Param #   
=================================================================
D16 (Dense)                  (None, 3, 16)             48        
_________________________________________________________________
A (Activation)               (None, 3, 16)             0         
_________________________________________________________________
F (Flatten)                  (None, 48)                0         
_________________________________________________________________
D4 (Dense)                   (None, 4)                 196       
=================================================================
Total params: 244
Trainable params: 244
Non-trainable params: 0

สำหรับบทสรุปนี้ภาพถัดไปหวังว่าจะช่วยให้เข้าใจขนาดอินพุตและเอาต์พุตสำหรับแต่ละเลเยอร์ได้มากขึ้น

(None, 48)รูปร่างการส่งออกสำหรับชั้นแบนในขณะที่คุณสามารถอ่านได้ นี่คือเคล็ดลับ คุณควรอ่าน(1, 48)หรือ(2, 48)หรือ ... หรือ(16, 48)... หรือ(32, 48)...

ในความเป็นจริงNoneในตำแหน่งนั้นหมายถึงขนาดแบทช์ใด ๆ สำหรับอินพุตที่จะเรียกคืนมิติแรกหมายถึงขนาดแบทช์และที่สองหมายถึงจำนวนคุณสมบัติอินพุต

บทบาทของเลเยอร์ Flatten ใน Keras นั้นง่ายมาก:

การดำเนินการเรียบในเมตริกซ์ reshapes เมตริกซ์ที่จะมีรูปร่างที่เท่ากับจำนวนขององค์ประกอบที่มีอยู่ในเมตริกซ์ที่ไม่รวมถึงมิติชุด

หมายเหตุ: ฉันใช้model.summary()วิธีนี้เพื่อระบุรูปร่างผลลัพธ์และรายละเอียดพารามิเตอร์

แผ่ให้ชัดเจนว่าคุณจัดอนุกรมเทนเซอร์หลายมิติอย่างไร สิ่งนี้ช่วยให้การแมประหว่างเทนเซอร์อินพุต (แบน) และเลเยอร์แรกที่ซ่อนอยู่ หากเลเยอร์ที่ซ่อนอยู่แรก "หนาแน่น" แต่ละองค์ประกอบของเทนเซอร์อินพุต (ต่อเนื่องกัน) จะเชื่อมต่อกับแต่ละองค์ประกอบของอาร์เรย์ที่ซ่อนอยู่ หากคุณไม่ได้ใช้ Flatten วิธีที่เทนเซอร์อินพุตถูกจับคู่กับเลเยอร์ที่ซ่อนอยู่แรกจะไม่ชัดเจน

ฉันเพิ่งเจอสิ่งนี้เมื่อไม่นานมานี้มันช่วยให้ฉันเข้าใจได้อย่างแน่นอน: https://www.cs.ryerson.ca/~aharley/vis/conv/

ดังนั้นจึงมีอินพุต Conv2D, MaxPooling2D และอื่น ๆ เลเยอร์ Flatten อยู่ที่ส่วนท้ายและแสดงให้เห็นอย่างชัดเจนว่าพวกมันถูกสร้างขึ้นอย่างไรและพวกเขาจะกำหนดประเภทสุดท้ายอย่างไร (0-9)