CNTK原生支持多GPU和分布式，从官网公布的对比评测来看，性能非常不错。在多GPU方面，CNTK相对于其他的深度学习库表现得更突出，它实现了1-bit SGD和自适应的mini-batching。图2-8所示为CNTK官网公布的在2015年12月的各个框架的性能对比。在当时，CNTK是唯一支持单机8块GPU的框架，并且在分布式系统中可以超越8块GPU的性能。
官方网址：
GitHub: github.com/deeplearning4j/deeplearning4j
Deeplearning4J（简称DL4J）是一个基于Java和Scala的开源的分布式深度学习库，由Skymind于2014年6月发布，其核心目标是创建一个即插即用的解决方案原型。埃森哲、雪弗兰、博斯咨询和IBM等都是DL4J的客户。DL4J拥有一个多用途的n-dimensional array的类，可以方便地对数据进行各种操作；拥有多种后端计算核心，用以支持CPU及GPU加速，在图像识别等训练任务上的性能与Caffe相当；可以与Hadoop及Spark自动整合，同时可以方便地在现有集群（包括但不限于AWS，Azure等）上进行扩展，同时DL4J的并行化是根据集群的节点和连接自动优化，不像其他深度学习库那样可能需要用户手动调整。DL4J选择Java作为其主要语言的原因是，目前基于Java的分布式计算、云计算、大数据的生态非常庞大。用户可能拥有大量的基于Hadoop和Spark的集群，因此在这类集群上搭建深度学习平台的需求便很容易被DL4J满足。同时JVM的生态圈内还有数不胜数的Library的支持，而DL4J也创建了ND4J，可以说是JVM中的NumPy，支持大规模的矩阵运算。此外，DL4J还有商业版的支持，付费用户在出现问题时可以通过电话咨询寻求支持。
Chainer官方网址：chainer.org
GitHub：github.com/pfnet/chainer
Chainer是由日本公司Preferred Networks于2015年6月发布的深度学习框架。Chainer对自己的特性描述如下。
Powerful：支持CUDA计算，只需要几行代码就可以使用GPU加速，同时只需少许改动就可以运行在多GPU上。
Flexible：支持多种前馈神经网络，包括卷积网络、循环网络、递归网络，支持运行中动态定义的网络（Define-by-Run）。
Intuitive：前馈计算可以引入Python的各种控制流，同时反向传播时不受干扰，简化了调试错误的难度。
绝大多数的深度学习框架是基于“Define-and-Run”的，也就是说，需要首先定义一个网络，再向网络中feed数据（mini-batch）。因为网络是预先静态定义的，所有的控制逻辑都需要以data的形式插入网络中，包括像Caffe那样定义好网络结构文件，或者像Theano、Torch、TensorFlow等使用编程语言定义网络。而Chainer则相反，网络是在实际运行中定义的，Chainer存储历史运行的计算结果，而不是网络的结构逻辑，这样就可以方便地使用Python中的控制流，所以无须其他工作就可以直接在网络中使用条件控制和循环。
Leaf官方网址：autumnai.com/leaf/book
GitHub：github.com/autumnai/leaf
Leaf是一个基于Rust语言的直观的跨平台的深度学习乃至机器智能框架，它拥有一个清晰的架构，除了同属Autumn AI的底层计算库Collenchyma，Leaf没有其他依赖库。它易于维护和使用，并且拥有非常高的性能。Leaf自身宣传的特点是为Hackers定制的，这里的Hackers是指希望用最短的时间和最少的精力实现机器学习算法的技术极客。它的可移植性非常好，可以运行在CPU、GPU和FPGA等设备上，可以支持有任何操作系统的PC、服务器，甚至是没有操作系统的嵌入式设备，并且同时支持OpenCL和CUDA。Leaf是Autumn AI计划的一个重要组件，后者的目标是让人工智能算法的效率提高100倍。凭借其优秀的设计，Leaf可以用来创建各种独立的模块，比如深度强化学习、可视化监控、网络部署、自动化预处理和大规模产品部署等。
Leaf拥有最简单的API，希望可以最简化用户需要掌握的技术栈。虽然才刚诞生不久，Leaf就已经跻身最快的深度学习框架之一了。图2-9所示为Leaf官网公布的各个框架在单GPU上训练VGG网络的计算时间（越小越好）的对比（这是和早期的TensorFlow对比，最新版的TensorFlow性能已经非常好了）。