keras.layers.add()和keras.layer.conatenate()

在网络结构的设计上，经常说DenseNet和Inception中更多采用的是concatenate操作，而ResNet更多采用的add操作，那么这两个操作有什么异同呢？

add对张量执行求和运算
concatenate对张量进行串联运算

在深度神经网络中，经常会遇到需要把张量结合在一起的情况，比如Inception网络。add（）和conetenate（）经常出现，用来将两个张量结合在一起。
那么这两个函数有什么区别呢？

add（）：直接对张量求和
例如：

import keras

input1 = keras.layers.Input(shape=(16,))
x1 = keras.layers.Dense(8, activation='relu')(input1)
input2 = keras.layers.Input(shape=(32,))
x2 = keras.layers.Dense(8, activation='relu')(input2)
added = keras.layers.add([x1, x2])

out = keras.layers.Dense(4)(added)
model = keras.models.Model(inputs=[input1, input2], outputs=out)
model.summary()

输出结果为：

add层将dense_1层的输入和dense_2层的输入加在了一起，是张量元素内容相加。

conatenate（）：串联一个列表的输入张量。
例如：

import keras

input1 = keras.layers.Input(shape=(16,))
x1 = keras.layers.Dense(8, activation='relu')(input1)
input2 = keras.layers.Input(shape=(32,))
x2 = keras.layers.Dense(8, activation='relu')(input2)
conatenated = keras.layers.conatenate([x1, x2])

out = keras.layers.Dense(4)(conatenated)
model = keras.models.Model(inputs=[input1, input2], outputs=out)
model.summary()

输出结果为：

可以看到conatenate对最后一维进行了串联，通道数变成了8+8=16，可以指指定axis=x来指定空间的第x维串联。

总结：
add对张量执行求和运算
concatenate对张量进行串联运算