上述几个问题可以被建模为整数线性规划问题（ILP，链接：https://en.wikipedia.org/wiki/Integer_programming），从而被一起解决。考虑二值随机变量的三元组 (x,y,z)，其中的二值变量的域如下图所示：
考虑候选集 D 中的两个候选关节 d 和 d’，以及类别集 C 中的两个类 c 和 c’。关节候选项是通过 Faster RCNN（https://arxiv.org/abs/1506.01497）或稠密 CNN 获得的。现在，我们有下述声明：
如果 x(d,c) = 1，代表候选关节 d 属于类别 c。
同样，x(d,d’) = 1 代表候选关节 d 和 d’属于同一人。
作者还定义了 z(d,d’,c,c’) = x(d,c) * y(d,d’)。如果上式值为 1，则代表候选关节 d 属于类别 c，候选关节 d’属于类别 c’，且候选关节 d 和 d’属于同一人。
最后一个声明可以用于划分不同人的姿态。显然，上述声明可以表示成关于 (x,y,z) 的线性方程组。这样一来，整数线性规划（ILP）的模型就建立好了，多人姿态估计就可以化为解这组线性方程的问题。想要了解线性方程组的具体形式和更详细的分析，请参见原论文（链接：https://arxiv.org/pdf/1511.06645.pdf）。
3.3 RMPE（AlphaPose）
RMPE（https://arxiv.org/abs/1612.00137）是一个流行的自顶向下姿态估计算法。该论文的作者认为，自顶向下方法的性能通常依赖于人体检测器的精度，毕竟人体姿态估计是在检测器检出的框的区域内进行的。因此，错误的定位和重复的候选框会使姿态检测算法的性能降低。
为解决这一问题，作者提出了使用对称空间变换网络（Symmetric Spatial Transformer Network，SSTN）来从不准确的候选框中抽取高质量的单人区域。然后，作者使用了一个单人的姿态估计器（Single Person Pose Estimator，SPPE）来从抽取到的区域中估计此人的姿态骨架。接着，作者用一个空间逆变换网络（Spatial De-Transformer Network，SDTN），将估计出的姿态重新映射到图像坐标系下。最后，用一个参数化的姿态非极大抑制（Non-Maximum Suppression，NMS）方法来处理重复预测的问题。
另外，作者还引入了一种姿态候选生成器（Pose Guided Proposals Generator），来增广训练样本，以便更好地训练 SPPE 和 SSTN 网络。RMPE 的显著特征是，该方法可以推广到任意的人体检测算法和 SSPE 的组合。
3.4 Mask RCNN
Mask RCNN（https://arxiv.org/abs/1703.06870）是一个非常流行的语义和实例分割架构。该模型可以同时预测图像中多个物体的候选框位置及分割其语义信息的 mask。该模型的基础架构很容易被扩展到人体姿态估计上来。
其基本架构首先使用 CNN 从图像中提取特征图。这些特征接着被用于一个区域候选网络（Regin Proposal Network, RPN）来为各个对象生成候选框。候选框会从 CNN 提取出的特征图中选取一个区域。由于候选框可能会有多种尺寸，网络接下来会采用一个层，称为 RoIAlign，用来减小特征图的尺寸，使它们具有相同的尺寸。现在，抽取出的特征被传给平行的 CNN 分支，用来输出候选框和分割 mask 的最终预测。