什么是图像分割？

• What is image segmentation task？
  
  

图像分割在CV领域的研究

• Why image segmentation task is import ？

图像语义分割用到的技术

• 编程语言：Python，OOP（面向对象）
• 深度学习框架：TensorFlow、PyTorch、PaddlePaddle
• 其他Python包：Numpy，OpenCV，PIL
• 深度学习算法：FCN，U-Net，PSP Net，DeepLab，etc

FCN

• Feature Map上采样操作

U-Net&PSPNet

DeepLab系列

Graph-based 分割

• 基于图卷积的分割网络
• GloRe算法
• GlNet算法
  

实例分割

• Mask R-CNN，Panopic Deeplab
  

图像分割的类型

• 根据不同的任务和数据类型：
  • 图像分割（Image Segmentation）
  • 图像语义分割（Image Semantic Segmentation）
  • 图像实例分割（Image Instance Segmentation）
  • 图像全景分割（Image Panoptic Segmentation）
  • 视频目标分割（Video Object Segmentation）
  • 视频实例分割（Video Instance Segmentation）
• 语义分割、实例分割、全景分割：
  • 语义分割：给每个像素（pixel）分类
  • 实例分割：给每个框里的Object分mask
  • 全景分割：背景pixel分类+框里mask

• 视频目标分割（VOS）

• 视频实例分割（VIS）

图像分割的应用场景

• 人脸分割：头发分割、人脸分割、背景分割

• 自动驾驶：行人、车辆分割、车道线检测

• 医学图像：病理、CT、MRI

• 工业质检、分拣机器人

语义分割算法的基本概念

语义分割算法的根本目的：像素级分类。

语义分割算法的基本流程

• 输入：图像（RGB）
• 算法：深度学习模型
• 输出：分类结果（与输入大小一致的单通道图）
• 训练过程：
  • 输入：image+label
  • 前向计算：out=model(image)
  • 计算损失：loss=loss_func(out,label)
  • 反向传播：loss.backward()
  • 更新权重：optimizer.minimize(loss)

语义分割的性能指标

• mIoU：Mean Intersection over Union
• mAcc：Mean Accuracy

• 分割网络的评价指标：mAcc，Pred和GT对应位置的分类准确率

• 分割网络的评价指标：mIoU，分割每一类别的交并比（IOU）