推荐程序员的数学系列，一共有三本（第一本稍微鸡肋，后两本干货较多），分别是程序员的数学1，线性代数（程序员的数学2）以及概率统计（程序员的数学3），这三本可以有效补充我们所需要的线性代数和概率统计知识。
《周志华-机器学习-清华大学出版社》，可以作为案头的参考书，类似于教材，如果一章一章看的话是比较枯燥的。建议有需求的时候看，书中有很多公式和基础知识：https://book.douban.com/subject/26708119/
《机器学习实战》，从名字中就可以看出来，这本书主要是将利用python程序来编写机器学习相关算法的，讲解公式比较少，更多的是实战代码：https://book.douban.com/subject/24703171/
《深度学习-人名邮电出版社》，同样作为案头的参考书，书中的内容很详实，前几章介绍了深度学习需要的机器学习只是基础，在之后开始讲解深度学习的一系列知识以及公式，基本现在所用的大部分深度学习基础算法上面都有讲，伪代码和公式并存：https://book.douban.com/subject/27087503/
李航教授的《统计学习方法》，这本书配合机器学习西瓜书看大概可以覆盖99%的机器学习基础知识，但同样这本书只是讲解一些原理和公式，最好还是结合实战来进行练习。
视频资料
吴恩达系列：网上所说吴恩达的课程一般是这两个：一个是Coursera上的machine-learning|Coursera，另一个则是斯坦福大学课程：s229:Maching Learning，这两门课都是对机器学习相关的数学知识进行讲解，前者比后者简单一些，这门课程涉及到的公式较多而工程实践讲解很少，可能看起来比价枯燥但是对于打基础还是很重要的。如果对英文不是很熟悉或者看视频加载慢（视频有时需要翻墙），可以考虑看国内的搬运：吴恩达给你的人工智能第一课、网易斯坦福机器学习吴恩达公开课。另外吴恩达最近打算新出一本结合工程实践和数学讲解的一本书，完全免费只需要订阅即可获取，有兴趣的可以看这里。
台大李宏毅机器学深度学习课程:~tlkagk/talk.html， 比较出名的中文机器学习课程，讲课很用心，讲解使用的例子也比较生动有趣，讲课幽默诙谐，知识点和兴趣并存，同样推荐。
cs231n:斯坦福大学的深度学习课程：， 可以说这是全网最好，干货最多的深度学习课程，从最基本的分类算法进行讲解，讲解了神经网络所需要的所有基础知识，也包含了深度学习中几个经典的神经网络架构（VggNet、ResNet）、几个比较出名的深度学习应用，并且对比多个深度学习框架，最重要的是，课后作业很值得做，有一定难度而且可以学到很多重点。总之这门课强烈推荐。
优达学城系列，优达学城的课以工程示例优秀著称，每个课程最后包含的工程大都有趣而且适用，例如预测房价、小狗品种分类、生成电影剧本等。课程数量多但是每节很短，每小节都有问题需要回答，也有很多附带知识供你学习，虽然有些知识讲解可能不是很深，但是很适合入门。只是有一点…这些课不是免费的，简单说一下，深度学习课程分两个学期：第一学期3299元，第二学期3999。
关于学习成本这个是老生常谈的问题，知乎上各路神仙说法纷纭，一千个读者一千个哈姆雷特。我当初也遇到过这样的问题，选择了一段时间，在这里总结一下。
以下是2018年的回答：
如果你的方向是机器学习部分（不涉及神经网络，或者神经网络的层数不是很高的时候）对计算机的要求不是很高，普通笔记本电脑即可。带不带显卡都无所谓。但是如果你主要方向是深度学习，需要处理图像或者视频信息，尤其当你设计的神经网络的层数比较多的时候（层数深即深度学习），显卡的作用就会体现出来，显卡跑深度学习代码是对于显卡的选择建议（前面是型号，后面是显存大小）：入门GTX 1060 6g、性价比最高GTX 1070 8g，需要深入研究GTX 1080ti 11g，当然你可以选泰坦显卡（3w+)或者多显卡，总之财富限制想象力。如果电脑上已经有Nvidia的显卡也是可以的，但要看计算能力是否足够（一般capacity大于4.0勉强入门）是否可以使用，在这里查看你的显卡的计算能力（compute capacity）够不够吧：https://developer.nvidia.com/cuda-gpus。
ps：因为挖矿等各种因素等显卡涨价较为厉害，该买还是得买，要将财富转化为生产力。
附一个cpu、gpu测试深度学习运算速度分析：https://github.com/jcjohnson/cnn-benchmarks。
2021年的看法：