Maskrcnn训练RGB-D四通道图片

网上的开源的Mask R-CNN代码是以RGB图像作为默认输入图像的，如果需要处理4通道图像，需要对源码进行一定的修改，参考github以为大神的解决方案，Github地址。

1、在子类中Config，设置IMAGE_CHANNEL_COUNT为4

2、在Config中，将MEAN_PIXEL从3个值更改为4个值，需要对数据集的深度图求解均值。（平均像素值是根据你的训练集数据求出）

3、将utils.py中的Dataset类中的load_image方法进行修改。

将下图的红色区域直接删掉

4、由于更改了网络的输入，需要在输入端更改自己的输入通道数，我更改为了4，即在model.py的MaskRCNN类中的build函数进行更改

在更改前红色框的部分断点调试为[1024，1024，3]，然后右击跳转到IMAGE_SHAPE声明的地方，将下面红框里的3改为4

5、更改了网络的输入后，由于后面是全卷积神经网络，我们只需要更改第一层的参数，保留剩余层的参数进行Finetuning训练即可。要解决此问题，请exclude在加载权重时使用该参数以排除第一个图层。这允许您加载除了之外的所有图层的权重conv1，这将被初始化为随机权重。在主文件中，加入‘conv1’,即可不加载第一层参数，否则会出现tensor不匹配的问题。

6、在训练过程中由于conv1层是随机初始化的，因此需要进行参数调整，可以通过调整"heads"包含的网络层来将conv1层添加至训练层。"heads"或者其他层数的定义位于model.py文件的MaskRCNN类的train()方法中。

这样就可以使得Mask R-CNN在RGB-D数据集上进行训练了。