从数据中学习一个分类器或者相似性度量是另一个提升人脸识别系统的关键部件。许多文献中提出的方法本质上是使用人脸图片或者人脸对中的标签信息。Hu[72]用DNN结构去学习一个判别性度量。Schroff[62]和Parkhi[17]基于triplet loss优化了DCNN的参数，可以直接将DCNN特征嵌入到一个判别性子空间，从而提升了人脸验证的结果。在[73]中，通过一个概率模型去学习判别性的低秩向量用于人脸验证和聚类。宋 [74]提出了一种通过考虑样本之间的逐对距离来批量充分的利用训练数据的方法。
不同于基于DCNN的有监督人脸识别，Yang[75]提出在循环结构中联合深度表征和图像聚类。每个图像在开始时被视为单独的簇，并且使用该初始分组训练深度网络。深度表征和类别成员随后通过迭代方式不断修改，知道聚类个数达到了预定的值。该无监督方法学到的表征被证明可以用在各种任务上，如人脸识别，数据分类等等。Zhang[76]提出通过在深度表示自适应和聚类之间交替来聚类视频中的人脸图像。Trigeorgis[77]提出一个深度半监督的非负矩阵分解方式去学习隐藏的表征，这些表征允许他们自身根据给定人脸数据集不同的未知属性（例如姿势，情绪和身份）来解释聚类。他们的方法同样给予了困难人脸数据集上的解决希望。另一方面，Lin[78]提出了一种无监督聚类算法，该算法利用样本之间的邻域结构，隐式执行域自适应，以改进聚类性能。他们同样用该方法制作了一个大规模噪音人脸数据集，如MS-Celeb-1M[79]。
4.3 实现人脸识别可以划分成2个任务：
人脸验证；
人脸识别
对于人脸验证来说，就是给定2张人脸图片，系统去验证这两个人脸是不是来自同一个人。对于人脸识别，就是给定一个未知ID的人脸图片，然后系统通过特征匹配的方式决定该图片的ID是数据库中的哪一个。
对于这两个任务，获得判别性和鲁棒性的特征是十分重要的。对于人脸验证，人脸首先需要通过人脸检测检测出来，然后通过检测到的人脸关键点，采用相似性变换归一化到规范的坐标上。然后每个人脸图片再通过DCNN去获取它的人脸表征，一旦该特征生产，就可以通过相似性度量去计算度量的得分。大多数使用的相似性度量有:
人脸特征之间的L2距离；
cosine相似性，可以表示在angular 空间中特征之间相隔的距离。
同样可以使用多个DCNN去融合网络特征或者相似性得分，如DeepID架构[59-61]或者融合网络[71]。对于人脸识别任务，训练集中的人脸图像会通过DCNN，然后每个ID的特征会存在数据库中。当一个新的人脸图片过来，先计算它的特征表征，然后计算与数据库中每个特征的相似性得分。
4.4 人脸识别的训练数据集在表1中，我们总结了用来测试算法性能和训练DCNN模型的公开数据集
MS-Celeb-1M[79]是当前最大的的公开人脸识别数据集，包含超过10百万个标记的人脸图像，这1百万个名人列表的前100000个ID有明显的姿态，光照，遮挡和其他变化。因为该数据集同样包含大量的标签噪音，感兴趣的读者可以阅读[78]。
对于其他数据集，如CelebA数据集[80]，是包含了40个人脸属性和5个关键点的数据集，其是通过专业的标注公司对202599个人脸图片和10000个ID进标注的。
CASIA-WebFace[13]同样是一个主流的公开数据集，其包含484414张人脸图片和10575个ID，都是来自IMDB网站。
VGGFace[17]包含2.6百万张人脸和2600个ID。
MegaFace[14,15]可以用来测试人脸识别算法的鲁棒性，其包含了1百万个干扰在。该数据集包含了2个部分，第一个允许使用外部的训练数据进行扩充，另一个提供了4.7百万张人脸图片和672000个ID。
LFW[81]数据包含13233个人脸图片和5749个ID，都来自网络，其中1680个ID有两个甚至更多的图片。该数据集主要用来评估静态人脸识别算法性能，大多数都是正脸。
IJB-A[69]数据集包含500个ID和5397个图片，其中2042个视频划分成了20412帧。该数据集设计用来测试基于较大姿态，光照和图像视频质量变化的基础上的鲁棒性。
YTF[82]数据集包含3425个视频，涉及1595个iD，是用来测试视频人脸识别算法的标准数据集。
PaSC[83]数据集包含2802个视频，涉及293个ID，被用来测试基于大的姿态，光照和模糊变化下视频人脸算法的性能，这些视频都来自受控情况下抓取的。
Celebrities in Frontal-Profile(CFP)[84]数据集包含7000个图像和500个ID，用来测试极端姿态变化下的人脸验证算法。