首先在前处理模块，目前主要通过归一化、迁移学习方面的方法来实现对于不同X光厂商设备适配的这个过程。在进行了设备适配后，我们会对其进ROI提取。在前端处理之后就到了核心部分：学习模型由于乳腺钼靶的特殊性，我们没有办法直接用目前市面上已经有的神经网络来解决这个问题。于是我们就单独设计了这个模型。它有四大优点，第一个优点就是相对于传统的网络的单图输入，TMuNet模型采取了四图（ MLO-CC位）输入，左乳有两张，右乳有两张，因为X光拍摄的角度有CC位和MLO位两种方式。CC位是水平方式的拍摄，MLO的话是一个侧斜位的拍摄方式。通过左右乳进行对比，可以极大提升诊断的精准度。尽可能地解决同影异病和同病异影的问题。
第二点我们采用了一种多尺度网络，通常在自然图像处理中图片在输入网络之前，会对其进行缩放，缩放之后再输入固定的网络。由于医学影像中的病灶对于同一个形态不同的尺寸，可能意味着良恶性的不同，如果单纯的做缩放有可能做出不一致的判断，所以采取了通过网络结构的设计来适配图片的方式。
第三点就是渐进式的网络构建，这种方式有点相似于我们大脑进行学习的过程，对于一个复杂的问题，它不是一次性解决的，它是把问题分解成若干个相对简单的问题然后一层一层去解答。
这个网络也是基于这样的思想，首先我们会使用一个浅层网络对局部的病灶，比如说肿块、钙化进行病灶的分类。在此基础上逐步加深网络层次，实现对单幅图片的一个诊断，然后我们再进一步的对网络进行加深，从而实现四张图片诊断的功能。所以说我们的训练是一层一层的，我们的网络也是逐渐加深的过程。
第四点是自步学习的训练方式。人脑它在学习新的知识的时候通常是由易到难的，所以在样本训练的过程中，并不是一次性把所有的样本都投入网络进行训练。我们将这些样本按从易到难顺序分成了多个类别，然后我们在训练的过程当中也按由易到难的顺序逐步地把样本加进去，对模型进行训练。实验表明通过这样的过程，模型可以达到一个最好的效果。
在采用前面四种这种方式得到了这样一个基础模型之后，我们还会根据医生的反馈以及一些新接入医院新的数据对我们的模型进行迁移学习，并做动态更新。在工程实践的过程当中我们总结发现AI见过的疑难病例的数量和种类很大程度上决定了这个AI系统的上限。因此我们非常注重我们这个数据集的运营。我们数据集会定期的从数据库和线上数据当中挖掘有价值的疑难病例，对其进行标注。同时对于这其中的一部分我们会请专家三甲医院特别知名的专家让他们来跟我们进行讨论，利用病理或者其他数据进行交叉确认。将这些数据加入到我们训练样本之后我们的模型就可以远远的超过那些没有这些数据的网络。
然后最终我们的这个模型达到了下面的精度，肿块探测方面可以在0.2误检率的情况下达到92%的敏感度。钙化检测精度更高，对于良恶性分类可以达到87%的敏感度和96%的特异度。
除了这些内容之外我们在病理和磁共振方向也开展了研究，目前已经取得了一些阶段性的成果。在超声方向我们也是投入了人力的，目前我们对超声还处在数据的准备过程当中。当然就像开始所提到的我们的终极目标是把这几种多模态的数据有机地结合起来，为患者跟医生提供我们力所能及的帮助。这就是我今天的报告，谢谢大家！
Q&A
Q：我想问一下四张图是怎么放到网络里的？还有一个问题就是MLO位和CC位是否对同一个病灶做了匹配？
A：我们是做了的。然后放进去的话主要是通过网络的增广来解决的，这方面里面具体的细节的话现在还不太方便透露。
Q：还有一个问题就是钙化点的标记和肿块的标记是分开标记的还是？
A：这个是需要分开的，因为他们的特征是不一样的。根据我们的经验来说对于钙化分类的话，它是比肿块更容易的。
问答AI开发的语言要求？
相关阅读安全报告 | 2018上半年互联网恶意爬虫分析：从全景视角看爬虫与反爬虫
安全报告 | SSH 暴力破解趋势：从云平台向物联网设备迁移
给你的CVM安装一个面板吧！
此文已由作者授权腾讯云+社区发布，原文链接：https://cloud.tencent.com/developer/article/1178384?fromSource=waitui
欢迎大家前往腾讯云+社区或关注云加社区微信公众号（QcloudCommunity），第一时间获取更多海量技术实践干货哦~
海量技术实践经验，尽在云加社区！