8
2.2.2 CNN网络配置文件 Imagenet_solver.prototxt （包含全局参数的配置的文件） Imagenet.prototxt （包含训练网络的配置的文件） Imagenet_val.prototxt （包含测试网络的配置文件）1
2
3
1
2
3
2.3 教程Caffe教程系列之安装配置
Caffe教程系列之LeNet训练
Caffe教程系列之元素篇
Caffe教程系列之Proto元素
Caffe教程系列之LMDB
1
2
3
4
5
1
2
3
4
5
3.1 PyTorch优势 1.运行在 GPU 或 CPU 之上、基础的张量操作库， 2.内置的神经网络库 3.模型训练功能 3.支持共享内存的多进程并发（multiprocessing ）库。PyTorch开发团队表示：这对数据载入和 hogwild 训练十分有帮助。 4.PyTorch 的首要优势是，它处于机器学习第一大语言 Python 的生态圈之中，使得开发者能接入广大的 Python 库和软件。因此，Python 开发者能够用他们熟悉的风格写代码，而不需要针对外部 C 语言或 C++ 库的 wrapper，使用它的专门语言。雷锋网(公众号：雷锋网)获知，现有的工具包可以与 PyTorch 一起运行，比如 NumPy、SciPy 和 Cython（为了速度把 Python 编译成 C 语言）。 4.PyTorch 还为改进现有的神经网络，提供了更快速的方法——不需要从头重新构建整个网络1
2
3
4
5
6
1
2
3
4
5
6
3.2 PyTorch工具包 1.torch ：类似 NumPy 的张量库，强 GPU 支持 2.torch.autograd ：基于 tape 的自动区别库，支持 torch 之中的所有可区分张量运行。 3.torch.nn ：为最大化灵活性未涉及、与 autograd 深度整合的神经网络库 4.torch.optim：与 torch.nn 一起使用的优化包，包含 SGD, RMSProp, LBFGS, Adam 等标准优化方式 5.torch.multiprocessing： python 多进程并发，进程之间 torch Tensors 的内存共享。 6.torch.utils：数据载入器。具有训练器和其他便利功能。 Trainer and other utility functions for convenience 7.torch.legacy(.nn/.optim) ：处于向后兼容性考虑，从 Torch 移植来的 legacy 代码。1
2
3
4
5
6
7
1
2
3
4
5
6
7
3.3 教程PyTorch深度学习：60分钟入门(Translation)
4 MXNet框架 4.1 优缺点 4.1.1 优点 1.速度快省显存。在复现一个caffe 2.支持多语言 3.分布式1
2
3
1
2
3
4.1.2 缺点 1. API文档差。这个问题很多人也提过了，很多时候要看源码才能确定一个函数具体是做什么的，看API描述有时候并不靠谱，因为文档有点过时。 2. 缺乏完善的自定义教程。比如写data iter的时候，train和validation的data shape必须一致，这是我当时找了半天的一个bug。 3.代码小bug有点多。mxnet的大神们开发速度确实是快，但是有的layer真的是有bug，暑假我们就修了不少。1
2
3
1
2
3
4.2 MXNet架构从上到下分别为各种主语言的嵌入，编程接口（矩阵运算，符号表达式，分布式通讯），两种编程模式的统一系统实现，以及各硬件的支持。接下一章我们将介绍编程接口，然后下一章介绍系统实现。之后我们给出一些实验对比结果，以及讨论MXNet的未来。
##4.2 MXNet编程接口
1.Symbol ： 声明式的符号表达式
2.NDArray ：命令式的张量计算
3.KVStore ：多设备间的数据交互
4.读入数据模块
5.训练模块
##4.3 MXNet教程
安装GPU版mxnet并跑一个MNIST手写数字识别
用MXnet实战深度学习之二:Neural art