在之前的文章中介绍过了目标检测经典模型（R-CNN、FastR-CNN、FasterR-CNN），目标检测一般是为了实现以下效果：
在R-CNN、FastR-CNN、FasterR-CNN中，实现了对目标的识别和定位，如下图所示：
为了更加精确地识别目标，实现在像素级场景中识别不同目标，利用“图像分割”技术定位每个目标的精确像素，如下图所示（精确分割出人、汽车、红绿灯等）：
MaskR-CNN便是这种“图像分割”的重要模型。
MaskR-CNN的思路很简洁，既然FasterR-CNN目标检测的效果非常好，每个候选区域能输出种类标签和定位信息，那么就在FasterR-CNN的基础上再添加一个分支从而增加一个输出，即物体掩膜（objectmask），也即由原来的两个任务（分类+回归）变为了三个任务（分类+回归+分割）。如下图所示，MaskR-CNN由两条分支组成：
MaskR-CNN的这两个分支是并行的，因此训练简单，仅比FasterR-CNN多了一点计算开销。
分类和定位在FasterR-CNN中有介绍过了（详见文章：白话目标检测经典模型RCNN、FastRCNN、FasterRCNN），在此就不再重复介绍，下面重点介绍一下第二条分支，即如何实现像素级的图像分割。
如下图所示，MaskR-CNN在FasterR-CNN中添加了一个全卷积网络的分支（图中白色部分），用于输出二进制mask，以说明给定像素是否是目标的一部分。所谓二进制mask，就是当像素属于目标的所有位置上时标识为1，其它位置标识为0
从上图可以看出，二进制mask是基于特征图输出的，而原始图像经过一系列的卷积、池化之后，尺寸大小已发生了多次变化，如果直接使用特征图输出的二进制mask来分割图像，那肯定是不准的。这时就需要进行了修正，也即使用RoIAlign替换RoIPooling
如上图所示，原始图像尺寸大小是x，经过卷积网络之后的特征图变为尺寸大小变为25x25。这时，如果想要圈出与原始图像中左上方15x15像素对应的区域，那么如何在特征图中选择相对应的像素呢？
从上面两张图可以看出，原始图像中的每个像素对应于特征图的25/像素，因此，要从原始图像中选择15x15像素，则只需在特征图中选择2.93x2.93像素（15x25/=2.93），在RoIAlign中会使用双线性插值法准确得到2.93像素的内容，这样就能很大程度上，避免了错位问题。
修改后的网络结构如下图所示（黑色部分为原来的FasterR-CNN，红色部分为MaskR-CNN修改的部分）
从上图可以看出损失函数变为
损失函数为分类误差+检测误差+分割误差，分类误差和检测（回归）误差是FasterR-CNN中的，分割误差为MaskR-CNN中新加的。
对于每个MxM大小的ROI区域，mask分支有KxMxM维的输出（K是指类别数量）。对于每一个像素，都是用sigmod函数求二值交叉熵，也即对每个像素都进行逻辑回归，得到平均的二值交叉熵误差Lmask。通过引入预测K个输出的机制，允许每个类都生成独立的mask，以避免类间竞争，这样就能解耦mask和种类预测。
对于每一个ROI区域，如果检测得到属于哪一个分类，就只使用该类的交叉熵误差进行计算，也即对于一个ROI区域中KxMxM的输出，真正有用的只是某个类别的MxM的输出。如下图所示：
例如目前有3个分类：猫、狗、人，检测得到当前ROI属于“人”这一类，那么所使用的Lmask为“人”这一分支的mask。
MaskR-CNN将这些二进制mask与来自FasterR-CNN的分类和边界框组合，便产生了惊人的图像精确分割，如下图所示：
MaskR-CNN是一个小巧、灵活的通用对象实例分割框架，它不仅可以对图像中的目标进行检测，还可以对每一个目标输出一个高质量的分割结果。另外，MaskR-CNN还易于泛化到其他任务，比如人物关键点检测，如下图所示：
从R-CNN、FastR-CNN、FasterR-CNN到MaskR-CNN，每次进步不一定是跨越式的发展，这些进步实际上是直观的且渐进的改进之路，但是它们的总和却带来了非常显著的效果。
最后，总结一下目标检测算法模型的发展历程，如下图所示：
墙裂建议
年，KaimingHe等人发表了关于MaskR-CNN的经典论文《MaskR-CNN》，在论文中详细介绍了MaskR-CNN的思想、原理和测试效果，建议阅读该论文以进一步了解该模型。
想要阅读完整版本MaskR-CNN论文内容，请乌鲁木齐治白癜风最好的医院白癜风初期是什么症状