วิธีการต่อสองชั้นใน keras?


96

ฉันมีตัวอย่างของโครงข่ายประสาทเทียมที่มีสองชั้น เลเยอร์แรกรับสองอาร์กิวเมนต์และมีหนึ่งเอาต์พุต ข้อที่สองควรใช้อาร์กิวเมนต์หนึ่งอันเนื่องจากเลเยอร์แรกและอาร์กิวเมนต์เพิ่มเติมอีกหนึ่งอาร์กิวเมนต์ ควรมีลักษณะดังนี้:

x1  x2  x3
 \  /   /
  y1   /
   \  /
    y2

ดังนั้นผมต้องการสร้างรูปแบบที่มีสองชั้นและพยายามที่จะตัดพวกเขา แต่มันกลับข้อผิดพลาด: ในบรรทัดThe first layer in a Sequential model must get an "input_shape" or "batch_input_shape" argument.result.add(merged)

รุ่น:

first = Sequential()
first.add(Dense(1, input_shape=(2,), activation='sigmoid'))

second = Sequential()
second.add(Dense(1, input_shape=(1,), activation='sigmoid'))

result = Sequential()
merged = Concatenate([first, second])
ada_grad = Adagrad(lr=0.1, epsilon=1e-08, decay=0.0)
result.add(merged)
result.compile(optimizer=ada_grad, loss=_loss_tensor, metrics=['accuracy'])

คำตอบ:


123

คุณได้รับข้อผิดพลาดเนื่องจากresultกำหนดให้Sequential()เป็นเพียงคอนเทนเนอร์สำหรับโมเดลและคุณไม่ได้กำหนดอินพุตไว้

ให้สิ่งที่คุณกำลังพยายามที่จะสร้างชุดที่จะใช้การป้อนข้อมูลที่สามresultx3

first = Sequential()
first.add(Dense(1, input_shape=(2,), activation='sigmoid'))

second = Sequential()
second.add(Dense(1, input_shape=(1,), activation='sigmoid'))

third = Sequential()
# of course you must provide the input to result which will be your x3
third.add(Dense(1, input_shape=(1,), activation='sigmoid'))

# lets say you add a few more layers to first and second.
# concatenate them
merged = Concatenate([first, second])

# then concatenate the two outputs

result = Concatenate([merged,  third])

ada_grad = Adagrad(lr=0.1, epsilon=1e-08, decay=0.0)

result.compile(optimizer=ada_grad, loss='binary_crossentropy',
               metrics=['accuracy'])

อย่างไรก็ตามวิธีที่ฉันต้องการในการสร้างโมเดลที่มีโครงสร้างอินพุตประเภทนี้คือการใช้API ที่ใช้งานได้

นี่คือการนำข้อกำหนดของคุณไปใช้เพื่อเริ่มต้น:

from keras.models import Model
from keras.layers import Concatenate, Dense, LSTM, Input, concatenate
from keras.optimizers import Adagrad

first_input = Input(shape=(2, ))
first_dense = Dense(1, )(first_input)

second_input = Input(shape=(2, ))
second_dense = Dense(1, )(second_input)

merge_one = concatenate([first_dense, second_dense])

third_input = Input(shape=(1, ))
merge_two = concatenate([merge_one, third_input])

model = Model(inputs=[first_input, second_input, third_input], outputs=merge_two)
ada_grad = Adagrad(lr=0.1, epsilon=1e-08, decay=0.0)
model.compile(optimizer=ada_grad, loss='binary_crossentropy',
               metrics=['accuracy'])

ในการตอบคำถามในความคิดเห็น:

  1. ผลลัพธ์และการผสานเชื่อมต่อกันอย่างไร? สมมติว่าคุณหมายถึงวิธีการเชื่อมต่อกัน

การเชื่อมต่อทำงานในลักษณะนี้:

  a        b         c
a b c   g h i    a b c g h i
d e f   j k l    d e f j k l

เช่นแถวเพิ่งเข้าร่วม

  1. ตอนนี้x1คืออินพุตเป็นอันดับแรกx2คืออินพุตเป็นวินาทีและx3อินพุตเป็นอันดับที่สาม

ชั้นresultและmerged(หรือmerged2) เชื่อมโยงกันอย่างไรในส่วนแรกของคำตอบของคุณ
rdo

และคำถามที่สอง ตามที่ผมเข้าใจx1และx2เป็นอินพุตสำหรับfirst_input, สำหรับx3 third_inputเกี่ยวกับsecond_inputอะไร?
rdo

1
second_inputถูกส่งผ่าน Denseเลเยอร์และเชื่อมต่อกันfirst_inputซึ่งส่งผ่านDenseเลเยอร์ด้วย third_inputถูกส่งผ่านชั้นที่หนาแน่นและเชื่อมต่อกับผลลัพธ์ของการเรียงต่อกันก่อนหน้านี้ ( merged)
พาร์เซทนี้

2
@putonspectacles วิธีที่สองที่ใช้ Functional API ได้ผลอย่างไรก็ตามวิธีแรกที่ใช้ Sequential-model ไม่ได้ผลสำหรับฉันใน Keras 2.0.2 ฉันได้ตรวจสอบการใช้งานโดยคร่าวๆแล้วและการเรียก "Concatenate ([... ])" ไม่ได้ทำอะไรมากและยิ่งไปกว่านั้นคุณไม่สามารถเพิ่มลงในโมเดลต่อเนื่องได้ ที่จริงฉันคิดว่ายังต้องใช้เมธอด "Merge ([... ], 'concat')" ที่ไม่มีราคาจนกว่าพวกเขาจะอัปเดต Keras คุณคิดอย่างไร?
LFish

2
ความแตกต่างระหว่างConcatenate()และconcatenate()เลเยอร์ใน Keras คืออะไร?
Leevo

9

การเพิ่มคำตอบที่ยอมรับข้างต้นเพื่อช่วยให้ผู้ที่ใช้งานอยู่ tensorflow 2.0


import tensorflow as tf

# some data
c1 = tf.constant([[1, 1, 1], [2, 2, 2]], dtype=tf.float32)
c2 = tf.constant([[2, 2, 2], [3, 3, 3]], dtype=tf.float32)
c3 = tf.constant([[3, 3, 3], [4, 4, 4]], dtype=tf.float32)

# bake layers x1, x2, x3
x1 = tf.keras.layers.Dense(10)(c1)
x2 = tf.keras.layers.Dense(10)(c2)
x3 = tf.keras.layers.Dense(10)(c3)

# merged layer y1
y1 = tf.keras.layers.Concatenate(axis=1)([x1, x2])

# merged layer y2
y2 = tf.keras.layers.Concatenate(axis=1)([y1, x3])

# print info
print("-"*30)
print("x1", x1.shape, "x2", x2.shape, "x3", x3.shape)
print("y1", y1.shape)
print("y2", y2.shape)
print("-"*30)

ผลลัพธ์:

------------------------------
x1 (2, 10) x2 (2, 10) x3 (2, 10)
y1 (2, 20)
y2 (2, 30)
------------------------------

7

คุณสามารถทดลองกับmodel.summary()(สังเกตขนาดเลเยอร์ concatenate_XX (Concatenate))

# merge samples, two input must be same shape
inp1 = Input(shape=(10,32))
inp2 = Input(shape=(10,32))
cc1 = concatenate([inp1, inp2],axis=0) # Merge data must same row column
output = Dense(30, activation='relu')(cc1)
model = Model(inputs=[inp1, inp2], outputs=output)
model.summary()

# merge row must same column size
inp1 = Input(shape=(20,10))
inp2 = Input(shape=(32,10))
cc1 = concatenate([inp1, inp2],axis=1)
output = Dense(30, activation='relu')(cc1)
model = Model(inputs=[inp1, inp2], outputs=output)
model.summary()

# merge column must same row size
inp1 = Input(shape=(10,20))
inp2 = Input(shape=(10,32))
cc1 = concatenate([inp1, inp2],axis=1)
output = Dense(30, activation='relu')(cc1)
model = Model(inputs=[inp1, inp2], outputs=output)
model.summary()

คุณสามารถดูรายละเอียดสมุดบันทึกได้ที่นี่: https://nbviewer.jupyter.org/github/anhhh11/DeepLearning/blob/master/Concanate_two_layer_keras.ipynb


3
ความแตกต่างระหว่างConcatenate()และconcatenate()เลเยอร์ใน Keras คืออะไร?
Leevo

1
คุณเข้าใจความแตกต่างหรือไม่อันหนึ่งคือคลาส Keras และอีกวิธีหนึ่งคือวิธี
เทนเซอร์โฟลว์
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.