当模型达到期望的分类性能时，一个自然而然的想法是：分类器究竟使用了什么信息实现分类？是图像中具体位置的像素值，还是图像中的上下文。我们试图回答这个问题，图7中使用了一个灰色矩阵对输入图像的每个部分进行遮挡，并测试在不同遮挡情况下，分类器的输出结果，可以清楚地看到：当关键区域发生遮挡时，分类器性能急剧下降。图7还展示了最上层卷积网的最强响应特征，展示了遮挡位置和响应强度之间的关系：当遮挡发生在关键物体出现的位置时，响应强度急剧下降。该图真实的反映了输入什么样的刺激，会促使系统产生某个特定的输出特征，用这种方法可以一一查找出图2和图4中特定特征的最佳刺激是什么。
与其他许多已知的识别模型不同，深度神经网络没有一套有效理论来分析特定物体部件之间的关系（例如：如何解释人脸眼睛和鼻子在空间位置上的关系），但深度网络很可能非显式的计算了这些特征。为了验证这些假设，本文随机选择了5张狗狗的正面图片，并系统性地挡住狗狗所有照片的一部分（例如：所有的左眼，参见图8）。对于每张图I，计算：
其中 xil 和 xilhat 分别表示原始图片和被遮挡图片所产生的的特征，然后策略所有图片对（i, j）的误差向量 epsilon 的一致性：
其中，H 是 Hamming distance， Δl 值越小，对应操作对狗狗分类的影响越一致，就表明这些不同图片上被遮挡的部件越存在紧密联系。表1 中我们对比了遮挡 左眼，右眼，鼻子的 Δ 比随机遮挡的 Δ 更低，说明眼睛图片和鼻子图片内部存在相关性。第5层鼻子和眼睛的得分差异明显，说明第5层卷积网对部件级（鼻子，眼睛等等）的相关性更为关注；第7层各个部分得分差异不大，说明第7层卷积网络开始关注更高层的信息（狗狗的品种等等）。
图3 本文使用8层卷积网络模型。输入层为 224*224 的3通道 RGB图像，从原始图像裁剪产生。层1 包含了 96个卷积核（红色表示），每个核大小为 7*7 ，x和 y方向的跨度均为2。获得的卷积图进行如下操作：1 通过矫正函数 relu(x) = max(0, x)，使所有卷积值均不小于0（图中未显示）；2 进行 max pooling 操作（3*3 区域，跨度为2）；3 对比度归一化操作。最终产生 96个不同的特征模板，大小为 55*55。层2， 3， 4， 5都是类似操作，层5输出 256个 6*6 的特征图。最后两层网络为全连接层，最后层是一个 C类softmax函数，C为类别个数。所有的卷积核与特征图均为正方形。
图4 模型特征逐层演化过程。从左至右的块，依次为层1到层5的重构特征。块展示在随机选定一个具体输出特征时，计算所得的重构输入特征在第 1， 2， 5， 10， 20， 30， 40， 64 次迭代时（训练集所有图片跑1遍为1次迭代），是什么样子（1列为1组）。显示效果经过了人工色彩增强。