图三，用于逻辑分类P的二进制分类的简单两层孪生网络。网络的结构在顶部和底部进行复制，以形成双胞胎网络，每一层都有共享的权重矩阵。
孪生网络是由两个完全相同的神经网络组成，每个都采用两个输入图像中的一个。然后将两个网络的最后一层馈送到对比损失函数，用来计算两个图像之间的相似度。它具有两个兄弟网络，他们是具有完全相同权重的相同神经网络。图像对中的每个图像将被馈送到这些网络中的一个。使用对比损失函数优化网络，我们将获得确切的函数。
孪生网络由Bromley 和 LeCun 于 1990年代首次引入，以解决作为图像匹配问题的签名验证（Bromley等， 1993）。孪生神经网络由双胞胎网络组成，该双胞胎网络接受不同的输入，但是在顶部由能量函数连接。此函数在每侧的最高层特征表示之间计算一些度量（图3）。双网之间的参数是绑定的，加权绑定保证了两个及其相似的图像可能无法通过各自的网络映射到特征空间中非常不同的位置，因为每个网络都计算相同的功能。而且，网络是对称的，因此每当我们向双胞胎网络呈现两个不同的图像时，最上层的连接层将计算相同的度量，就像我们要呈现相同的两个图像但像相对的双胞胎一样。
在LeCun等人中，作者使用了包含两个项的对比能力函数，以减少相似对的能力并不相似对的能量（2005年）。但是，在本文中，我们使用双特征向量h1和h2之间的加权L1距离结合S型激活，将其映射到区间 [0, 1]。因此，交叉熵目标是训练网络的自然选择。请注意，在LeCun等人中，他们直接学习了相似性指标，该相似性指标由能量损失隐式定义，而我们按照 Facebook DeepFace论文中的方法（Taigman等人，2014）固定了上述指标。我们性能最佳的模型在完全连接的层和顶级能量函数之前使用多个卷积层。在许多大型计算机视觉应用中，特别是在图像识别任务中，卷积神经网络已经取得了优异的成绩（Bengio，2009； Krizhevsky等，2012； Simonyan＆Zisserman，2014； Srivastava，2013）。
有几个因素使卷积网络特别有吸引力。局部连通性可以大大减少模型中的参数数量，从而固有的提供某种形式的内置正则化，尽管卷积层在计算上比标准非线性要贵。同样，在这些网络中使用的卷积运算具有直接过滤的解释，其中每个特征图都与输入特征进行卷积，以将模式识别为像素分组。因此，每个卷积层的输出对应于原始输入控件中的重要控件特征，并为简单变换提供了一定的鲁棒性。最后，现在可以使用非常快的CUDA库来构建大型卷积网络，而无需花费大量的训练时间（Mnih，2009年； Krizhevsky等人，2012年； Simonyan＆Zisserman，2014年）。
现在，我们详细介绍了孪生网络的结构以及实验中使用的学习算法的细节。
我们的标准模型时一个孪生卷积神经网络，每个L层都具有 N1 个单位，其中h1，l 代表第一个双胞胎在 l 层中的隐藏矢量， h2，l 代表第二队双胞胎的相同。我们在前 L-2 层中仅使用整流线性（ReLU）单元，而在其余层中使用 S型单元。
该模型由一系列卷积层组成，每个卷积层使用单个通道，并具有大小可变且固定步长为1的滤波器。将卷积滤波器的数量指定为16的倍数以优化性能。网络将ReLU激活功能应用于输出特征图，还可以选择在最大池化之后使用过滤器大小和跨度为2。因此，没层中的第K个过滤器采用如下形式：