目标检测是单帧处理，视频帧是连续的，如何将前后帧中的目标一一关联起来就叫目标跟踪。目标跟踪的作用是为了后面的轨迹分析，通过轨迹分析得出目标的行为。目标跟踪的算法有很多，最简单最好理解的是IOU方法，通过计算前后帧每两目标区域之间的IOU来关联目标，并赋予该目标唯一ID（标识符），之后的轨迹分析全部基于该ID。目标跟踪环节的输入输出如下：
上图左边输入前后两帧的目标（M*N），经过跟踪环节后，将M和N个目标一一关联，赋予目标ID。
属性分类（二级推理）
对于检测得到的目标，有可能需要进一步对某些感兴趣的属性进行推理，比如我们检测到了一辆车，我们需要进一步确认它是什么车（轿车、SUV还是皮卡）？还需要知道该车什么颜色（白色、黑色还是黄色）？因此，对于每个检测得到的目标，我们需要根据该目标位置（left、top、width、height）裁剪出目标图像，输入到第二个模型中进行推理，我们称之为二次推理。二次推理环节的输入输出如下：
上图左边输入检测到的车辆（根据尺寸位置裁剪，可以按batch输入，batch size可以为1），经过属性分类环节后，输出每个目标的各个属性值。注意：上图推理模型为多输出模型（multi-outputs），可以同时为多个属性分类。
结果分析
根据具体的业务逻辑，我们可以在这里做一些具体的数据分析，比如根据目标轨迹判断目标行为是否合法（车辆逆行、车辆停车），根据进入画面行人特征（年龄、性别、穿着、交通工具）来判断该目标是否是犯罪嫌疑人（自动告警）。这块的逻辑根据实际需要可以自行扩展，当然前提是前几个环节可以产生足够的数据，比如模型能检测出来充分的属性值。
数据持久化
该环节可以将前面产生的结构化数据存入数据库（可以将其与帧编号关联起来，或者与视频时间戳关联），后面方便快速检索。同时，通过行为分析环节，如果发现重要结果（比如发现嫌疑人、比如发现有车辆逆行），可以实时上报服务器。
图像叠加（OSD）
为了便于实时查看画面分析结果，我们需要在该环节将前面的结构化数据叠加到原始图片帧上。该环节很简单，按照数据格式使用opencv等图像库将其绘制到图片即可，同样我们还可以将目标轨迹叠加在图片上。
上图中将前面检测到的目标，跟踪轨迹，按照不同的颜色绘制到原始图片帧上。
编码 + RTMP推流
图像叠加之后，只能在本地看效果，实际工程中通常是将叠加之后的图片序列进行编码，然后通过rtmp等方式推送到nginx等流媒体服务器，其他用户可以通过rtmp地址查看实时叠加效果。
上图中，经过编码、rtmp推流后，其他用户可以使用对应地址播放叠加流。