semantic segmentation,instance segmentation ,Panoptic Segmentation(全景分割)与detection的关系
1.什么是semantic segmentation?
label each pixel in the image with a category.(把每一个像素点都分为一个类别)
2.semantic segmentation的局限
如图,两个牛相互靠近,导致label无法清晰分辨(not distinguished)。通常而言,肯定有多个人在图像中,比如人行道上。因为这个不可分的特点,学者提出了instance segmentation。
3.segmentation和detection简要关系
detection 通常的做法是localization(找出包含物体的bbox),之后做classification,看这个bbox里面包含了什么objects。instance segmentation是更像是将detection粗略的bbox细化,换句话说,detection只用一个框圈住物体,具体物体什么姿势他不管,但是instance segmentation做到了。
4.semantic ,instance,Panoptic Segmentation(全景分割)区别
Panoptic Segmentation(全景分割)就是前景使用instance segmentation,背景使用semantic segmentation。他的动机就是海洋,森林,我知道他们在哪里就行了,但是前景(比如人)我想知道人1,人2,人3,...,所以就利用instance segmentation分割前景实例。
借鉴传送门与上述知识,semantic segmentation效果就是左图,Panoptic Segmentation就是中图(分清了同一个类别:人的不同实例),最后就是instance segmentation(细化了detection的bbox)。