先独立地训练CNN和CAE学习特殊的特征
之后，被训练的卷积层和池化层被固定，最后的卷积层和上部全连接层的参数被联合微调，以将特征与softmax层结合用于任务特定分类
为最后的集成分类微调最后几个层的优点有
通过固定前几个层，从3D CNN和3D CAE中学习的信息将被保留以提取精细的特征。通过微调后几个层，模型可以更好地适应分类任务。因此成像变量和分类任务中的信息可以被集成以帮助提高分类精度
与训练整个网络相比，微调最后几个层可以减少计算量和降低过拟合问题
实验
使用5折交叉验证策略来训练和测试深度学习模型以评估分类性能
该方法的优势
不需要在MR图像的预处理中进行分割，这将减少计算花费，和减少由于分割导致的错误
通过单独训练多模型，并对最后几层进行微调，以集成之前学习的不同特征，所提出的方法可以更好地适应全局分类任务，获得更好的性能
总结
本文提出了一种基于3D CNN和CAE的多模型卷积网络相结合的MR脑图像AD分类方法。通过建立3D CNNs模型和多尺度3D CAE，从MR脑图像中提取各种特征。将模型学习到的特征与上部全连通层相结合，用于AD诊断中的图像分类。在图像预处理中不需要分割
原文链接
摘要
本文提出用多层卷积神经网络（CNN）逐步学习和结合MRI和PET图像的多模态特征来进行AD分类
首先，构造3D CNNs来将整个大脑信息转换成每个模式的紧凑的高级特征
之后，级联一个2D CNNs以集成高级特征用于图像分类
该方法能够从MRI和PET成像数据中自动学习AD分类的一般特征。在脑图像上不需要进行刚性图像配准和分割
介绍
本文提出了一种基于级联CNNs的新的分类框架，利用MRI和PET图像学习多级、多模态的成像特征，并将它们结合起来对AD和NC对象进行分类
首先，构建一个深度3D CNN模型来逐层地、渐进地将整个脑图像变换为每个模式的更紧凑、更可区分的特征
之后，将一个高级的2DCNN级联，以结合从多个CNN学习的多模态特征用于图像分类
对每个模态图像分别学习下部3D CNN，并对上部2D卷积层进行微调，以组合用于图像分类的多模态特征
该方法能够很好地从高维成像数据中自动提取一般特征，并将多模态特征结合起来进行图像分类
架构图
对单一模式提取特征的深度3D CNN
结构图
激活函数为tanh，使用最大池化层，在CNN结尾，加入softmax分类层，用负对数似然微调反向传播预测分类概率，4个卷积层核地个数分别为15，25，50，50。利用沙维尔均匀化初始化方法(xavier uniform initializer method)初始化三维卷积核，通过使交叉熵损失最小，利用Adadelta的反向传播来调整提出的网络的这些参数。批大小设置为64。此外，通过随机和暂时断开输入和输出神经元来实现丢弃策略，可以减少过拟合问题，提高模型的泛化能力
用于多模态分类的级联CNNs
该研究将每个单模态神经图像训练的多个深层CNN组合形成多模态分类。3D-CNN的下层可以提取鉴别特征，上层用这些特征训练用于任务特定分类。因此，所提出的多模态分类的训练包括单个CNN的预训练和用于最终分类的特定于任务的微调
首先，通过直接将全连接层的输出映射到所有类标签的概率得分来分别训练每个模态的深度CNN，提出学习二维CNN来组合多模态特征并进行最终分类。将三维CNN输出的特征映射平面化为一维，然后将MRI和PET的一维特征向量组合成二维特征映射，进行二维CNN
在二维CNN的学习过程中，初始训练后的3D CNN的前三个卷积层和池化层的参数固定，同时对最后一个卷积层和上部CNN层的参数进行联合微调，以结合多模态特征。用softmax最高级输出层进行任务特定分类
对最后几层进行微调有两个优点
通过固定前几层，可以保留从每个模态中学习的知识以提取特定特征。通过微调最后几层，模型可以更好地适应全局分类任务。因此，可以将图像变化和分类任务中的知识进行集成，有助于提高分类精度
与微调整个网络相比，微调最后几层显著降低了计算成本和减轻了过拟合问题
使用深度CNNs有三个主要优点
深层复杂结构可以从大量的训练图像中提取从低层到高层的特征学习
由于不同的神经图像具有不同的解剖和功能特征，深层CNN能够充分利用图像的空间关系，有效地学习这些局部3D滤波器，完成最终的分类任务
通过叠加多模态CNN，可以提取代表阿尔茨海默病状态的更复杂特征的层次结构，最终提供全局分类预测概率