MXNet是DMLC（Distributed Machine Learning Community）开发的一款开源的、轻量级、可移植的、灵活的深度学习库，它让用户可以混合使用符号编程模式和指令式编程模式来最大化效率和灵活性，目前已经是AWS官方推荐的深度学习框架。MXNet的很多作者都是中国人，其最大的贡献组织为百度，同时很多作者来自cxxnet、minerva和purine2等深度学习项目，可谓博采众家之长。它是各个框架中率先支持多GPU和分布式的，同时其分布式性能也非常高。MXNet的核心是一个动态的依赖调度器，支持自动将计算任务并行化到多个GPU或分布式集群（支持AWS、Azure、Yarn等）。它上层的计算图优化算法可以让符号计算执行得非常快，而且节约内存，开启mirror模式会更加省内存，甚至可以在某些小内存GPU上训练其他框架因显存不够而训练不了的深度学习模型，也可以在移动设备（Android、iOS）上运行基于深度学习的图像识别等任务。此外，MXNet的一个很大的优点是支持非常多的语言封装，比如C++、Python、R、Julia、Scala、Go、MATLAB和JavaScript等，可谓非常全面，基本主流的脚本语言全部都支持了。在MXNet中构建一个网络需要的时间可能比Keras、Torch这类高度封装的框架要长，但是比直接用Theano等要快。MXNet的各级系统架构（下面为硬件及操作系统底层，逐层向上为越来越抽象的接口）如图2-6所示。
官方网址：developer.nvidia.com/digits
GitHub: github.com/NVIDIA/DIGITS
DIGITS（Deep Learning GPU Training System）不是一个标准的深度学习库，它可以算是一个Caffe的高级封装（或者Caffe的Web版培训系统）。因为封装得非常重，以至于你不需要（也不能）在DIGITS中写代码，即可实现一个深度学习的图片识别模型。在Caffe中，定义模型结构、预处理数据、进行训练并监控训练过程是相对比较烦琐的，DIGITS把所有这些操作都简化为在浏览器中执行。它可以算作Caffe在图片分类上的一个漂亮的用户可视化界面（GUI），计算机视觉的研究者或者工程师可以非常方便地设计深度学习模型、测试准确率，以及调试各种超参数。同时使用它也可以生成数据和训练结果的可视化统计报表，甚至是网络的可视化结构图。训练好的Caffe模型可以被DIGITS直接使用，上传图片到服务器或者输入url即可对图片进行分类。
CNTK官方网址：cntk.ai
GitHub：github.com/Microsoft/CNTK
CNTK（Computational Network Toolkit）是微软研究院（MSR）开源的深度学习框架。它最早由start the deep learning craze的演讲人创建，目前已经发展成一个通用的、跨平台的深度学习系统，在语音识别领域的使用尤其广泛。CNTK通过一个有向图将神经网络描述为一系列的运算操作，这个有向图中子节点代表输入或网络参数，其他节点代表各种矩阵运算。CNTK支持各种前馈网络，包括MLP、CNN、RNN、LSTM、Sequence-to-Sequence模型等，也支持自动求解梯度。CNTK有丰富的细粒度的神经网络组件，使得用户不需要写底层的C++或CUDA，就能通过组合这些组件设计新的复杂的Layer。CNTK拥有产品级的代码质量，支持多机、多GPU的分布式训练。
CNTK设计是性能导向的，在CPU、单GPU、多GPU，以及GPU集群上都有非常优异的表现。同时微软最近推出的1-bit compression技术大大降低了通信代价，让大规模并行训练拥有了很高的效率。CNTK同时宣称拥有很高的灵活度，它和Caffe一样通过配置文件定义网络结构，再通过命令行程序执行训练，支持构建任意的计算图，支持AdaGrad、RmsProp等优化方法。它的另一个重要特性就是拓展性，CNTK除了内置的大量运算核，还允许用户定义他们自己的计算节点，支持高度的定制化。CNTK在2016年9月发布了对强化学习的支持，同时，除了通过写配置文件的方式定义网络结构，CNTK还将支持其他语言的绑定，包括Python、C++和C#，这样用户就可以用编程的方式设计网络结构。CNTK与Caffe一样也基于C++并且跨平台，大部分情况下，它的部署非常简单。PC上支持Linux、Mac和Windows，但是它目前不支持ARM架构，限制了其在移动设备上的发挥。图2-7所示为CNTK目前的总体架构图。