医学图像实例分割（图像分割算法总结）

本文目录

• 图像分割算法总结
• 解释图像分割的概念，医学图像分割有什么应用价值
• 数字图像处理~图像分割
• 图象分割有哪三种不同的途径
• 全局信息对医学图像分割的作用
• 图像分割的实际应用价值和现实意义
• 图像分割在ct中的意义
• 图像分割

图像分割算法总结

       图像处理的很多任务都离不开图像分割。因为图像分割在cv中实在太重要(有用)了，就先把图像分割的常用算法做个总结。

        接触机器学习和深度学习时间已经不短了。期间看过各种相关知识但从未总结过。本文过后我会尽可能详细的从工程角度来总结，从传统机器学习算法，传统计算机视觉库算法到深度学习目前常用算法和论文，以及模型在各平台的转化，量化，服务化部署等相关知识总结。

        图像分割常用算法大致分为下面几类。由于图像的能量范函，边缘追踪等方法的效果往往只能解决特定问题，效果并不理想，这里不再阐述。当然二值化本身也可以分割一些简单图像的。但是二值化算法较多，我会专门做一个文章来总结。这里不再赘述。

        1.基于边缘的图像分割算法：

            有利用图像梯度的传统算法算子的sobel，roberts，prewitt,拉普拉斯以及canny等。

            这些算法的基本思想都是采用合适的卷积算子，对图像做卷积。从而求出图像对应的梯度图像。(至于为什么通过如图1这样的算子卷积，即可得到图像的梯度图像，请读者复习下卷积和倒数的概念自行推导)由于图像的边缘处往往是图像像素差异较大，梯度较大地方。因此我们通过合适的卷积核得到图像的梯度图像，即得到了图像的边缘图像。至于二阶算子的推导，与一阶类似。优点：传统算子梯度检测，只需要用合适的卷积核做卷积，即可快速得出对应的边缘图像。缺点：图像边缘不一定准确，复杂图像的梯度不仅仅出现在图像边缘，可以能出现在图像内部的色彩和纹理上。

             也有基于深度学习方法hed，rcf等。由于这类网络都有同一个比较严重的**，这里只举例hed网络。hed是基于FCN和VGG改进，同时引出6个loss进行优化训练，通过多个层输出不同scale的粒度的边缘，然后通过一个训练权重融合各个层的边缘结果。hed网络结构如下：

可以得到一个比较完整的梯度图像，可参考github的hed实现。优点：图像的梯度细节和边缘完整性，相比传统的边缘算子要好很多。但是hed对于边缘的图像内部的边缘并不能很好的区分。当然我们可以自行更改loss来尝试只拟合外部的图像边缘。但最致命的问题在于，基于vgg的hed的网络表达能力有限，对于图像和背景接近，或者图像和背景部分相融的图片，hed似乎就有点无能为力了。

        2.基于区域分割的算法：

            区域分割比较常用的如传统的算法结合遗传算法，区域生长算法，区域分裂合并，分水岭算法等。这里传统算法的思路是比较简单易懂的，如果有无法理解的地方，欢迎大家一起讨论学习。这里不再做过多的分析。

            基于区域和语意的深度学习分割算法，是目前图像分割成果较多和研究的主要方向。例如FCN系列的全卷积网络，以及经典的医学图像分割常用的unet系列，以及rcnn系列发展下的maskrcnn，以及18年底的PAnet。基于语意的图像分割技术，无疑会成为图像分割技术的主流。

            其中，基于深度学习语意的其他相关算法也可以间接或直接的应用到图像分割。如经典的图像matting问题。18年又出现了许多非常优秀的算法和论文。如Deep-Image-Matting，以及效果非常优秀的MIT的 semantic soft segmentation(sss).

            基于语意的图像分割效果明显要好于其他的传统算法。我在解决图像分割的问题时，首先尝试用了hed网络。最后的效果并不理想。虽然也参考github，做了hed的一些fine-tune,但是还是上面提到的原因，在我多次尝试后，最终放弃。转而适用FCN系列的网络。但是fcn也无法解决图像和背景相融的问题。图片相融的分割，感觉即需要大的感受野，又需要未相融部分原图像细节，所以单原FCN的网络，很难做出准确的分割。中间还测试过很多其他相关的网络，但都效果不佳。考虑到感受野和原图像细节，尝试了resnet和densenet作为图像特征提取的底层。最终我测试了unet系列的网络：

                unet的原始模型如图所示。在自己拍照爬虫等手段采集了将近1000张图片。去掉了图片质量太差的，图片内容太过类似的。爬虫最终收集160多张，自己拍照收集200张图片后，又用ps手动p了边缘图像，采用图像增强变换，大约有300*24张图片。原生unet网络的表现比较一般。在将unet普通的卷积层改为resnet后，网络的表达能力明显提升。在将resnet改为resnet101，此时，即使对于部分相融的图像，也能较好的分割了。但是unet的模型体积已经不能接受。

                在最后阶段，看到maskrcnn的实例分割。maskrcnn一路由rcnn,fasterrcnn发展过来。于是用maskrcnn来加入自己的训练数据和label图像进行训练。maskrcnn的结果表现并不令人满意，对于边缘的定位，相比于其他算法，略显粗糙。在产品应用中，明显还不合适。                

        3.基于图的分割算法

            基于深度学习的deepgrab,效果表现并不是十分理想。deepgrab的git作者backbone采用了deeplabv2的网络结构。并没有完全安装原论文来做。

***隐藏网址***

整体结构类似于encode和decoder。并没有太仔细的研究，因为基于resent101的结构，在模型体积，速度以及deeplab的分割精度上，都不能满足当前的需求。之前大致总结过计算机视觉的相关知识点，既然目前在讨论移动端模型，那后面就分模块总结下移动端模型的应用落地吧。

由于时间实在有限。这里并没有针对每个算法进行详细的讲解。后续我会从基础的机器学习算法开始总结。

解释图像分割的概念，医学图像分割有什么应用价值

就是将目标特征从背景中分割出来。医学图像分割，可以查看感兴趣的区域，从而忽略不需要的区域的干扰。如看骨折，只需要将骨头所表示的特征图像（一般是一定会度值的一块区域）从背景（如肌肉，另一种灰度值）分割出来，而其它的肌肉等则不显示（为黑色）。可以更有利于医生分析病情而减少误判。

数字图像处理~图像分割

从学术角度讲图像分割主要分成3大类，一是基于边缘的，二是基于区域的，三是基于纹理的。由于基于纹理的也可以看成是基于区域的，所以有些专家也把分割方法分成基于边缘和基于区域两大类。

选择算法的时候主要参考你要分割的图像样本的特点。

如果图像的边界特别分明，比如绿叶和红花，在边界处红绿明显不同，可以精确提取到边界，这时候用基于边缘的方法就可行。但如果是像医学图像一样，轮廓不是特别明显，比如心脏图像，左心房和左心室颜色比较接近，它们之间的隔膜仅仅是颜色比它们深一些，但是色彩上来说很接近，这时候用基于边缘的方法就不合适了，用基于区域的方法更好。再比如带纹理的图像，例如条纹衫，如果用基于边缘的方法很可能就把每一条纹都分割成一个物体，但实际上衣服是一个整体，这时候用基于纹理的方法就能把纹理相同或相似的区域分成一个整体。

不过总体来说，基于区域的方法近些年更热一些，如Meanshift分割方法、测地线活动轮廓模型、JSEG等。

图象分割有哪三种不同的途径

图象分割有三种不同的途径，其一是将各象素划归到相应物体或区域的象素聚类方法即区域法，其二是通过直接确定区域间的边界来实现分割的边界方法，其三是首先检测边缘象素再将边缘象素连接起来构成边界形成分割。早期的图像分割方法可以分为两大类。一类是边界方法，这种方法假设图像分割结果的某个子区域在原来图像中一定会有边缘存在；一类是区域方法，这种方法假设图像分割结果的某个子区域一定会有相同的性质，而不同区域的像素则没有共同的性质。这两种方法都有优点和缺点，有的学者考虑把两者结合起来进行研究。现在，随着计算机处理能力的提高，很多方法不断涌现，如基于彩色分量分割、纹理图像分割。所使用的数学工具和分析手段也是不断的扩展，从时域信号到频域信号处理，小波变换等等。
图像分割主要包括4种技术：并行边界分割技术、串行边界分割技术、并行区域分割技术和串行区域分割技术。下面是分别对每一项做简单的介绍。

全局信息对医学图像分割的作用

全局信息对医学图像分割的作用包括帮助确定感兴趣区域、辅助图像预处理、优化分割结果、提高算法的效率。
1、帮助确定感兴趣区域：全局信息可以帮助医学图像分割算法从整体上确定感兴趣的区域，从而更精确地定位目标区域，减少算法的搜索范围，提高分割的精确度。
2、辅助图像预处理：全局信息可以帮助医学图像分割算法进行图像预处理，例如图像去噪、图像平滑、图像增强等，从而减少噪声的影响，提高算法的鲁棒性。
3、优化分割结果：全局信息可以帮助医学图像分割算法优化分割结果，通过全局信息的分析和处理，可以更加准确地识别目标区域的形状、大小和分布，从而对分割结果进行优化和调整，提高分割的准确度和稳定性。
4、提高算法的效率：全局信息可以帮助医学图像分割算法提高效率，通过对全局信息的分析和处理，可以减少算法的计算量和时间复杂度，从而提高算法的运行速度和效率。

图像分割的实际应用价值和现实意义

在数字图像处理的大部分领域中，图像分割有着广泛的应用，如工业自动化、生产过程控制、在线产品检验、图像编码、文档图像处理、遥感和生物医学图像分析、保安监视，以及军事、体育等方面。在医学图像的处理与分析中，图像分割对于人们身体中发生病变的器官的三维显示或者对病变位置的确定与分析都起着有效地辅导作用；在对路面交通情况的分析应用中，可用图像分割技术从监控或航拍等模糊复杂背景中分出要提取的目标车辆；遥感图像分割在军事领域的应用也非常广泛，如战略战术的侦查、军事海洋领域的测绘等，高分辨率的遥感图像分割数据可以为自然灾况的监测与评估、地图的绘制与更新、森林资源及环境的监测与管理、农产品的长势的检测与产量估计、城乡的建设与规划、海岸区域的环境的监测、考古和旅游资源的开发等提供详细的地面信息，目标房屋、道路的分割在城市建设、土地规划中都扮演着不可或缺的角色，在实现数据转化为信息过程中，遥感图像的分割都起着非常重要的作用。

图像分割在ct中的意义

图像分割意义是医学CT图像处理定量分析的关键技术，是配准，三维重建后续研究的基础。根据查询相关资料显示，图像分割便于医学CT图像的分析和识别。不同形式或来源的医学图像配准与融合，解剖结构的定量度量、细胞的识别与计数、器官的运动跟踪及同步。

图像分割

一、图像分割任务介绍

定义： 通过对 像素点分类 ， 把图像分成若干个具有独特性质的区域 并 提取感兴趣目标 的技术，是图像处理到图像分析的主要步骤。
难点：

*标准难度大，成本高，数据量少

*显存和算力要求高

*边缘部分区分难度大
二、图像分割解决方案之深度学习方法

图像分类到语义分割 ：FCN

U-Net （轻量级模型，参数少，计算快）、

DeepLab （PASCAL VOC SOTA效果，支持多种Backbone特征提取）、

ICNet （实时轻量化语义分割，适用于高性能预测场景）

实例分割、全景分割
三、评级指标

准确率、召回率 、IOU

Kappa系数 ：用于 一致性检验 / 衡量分类精度 ，计算基于混淆矩阵。
四、一个好的分割网络需要考虑的点

上采样： 反卷积

底层特征融合： 跳跃连接（ 以一定比例引入底层特征 ，增加其决策权，可加可乘）

感受野： 空洞卷积（增大卷积核的“可触达”区域 增加感受野 ）

多尺度： ASPP（把 不同尺度目标 交给 不同感受野的卷积层 来解决，大感受野解决大目标，小感受野解决小目标）

算力及显存： Depthwise卷积（对 卷积层分组 ，减少计算压力）

 

五、丰富的数据扩充

旋转、Crop、颜色空间扰动、模糊比例控制