推理部署就是将深度学习框架训练好的模型部署到PC或者端测设备进行推理，解决实际的业务问题。这个过程主要包括模型性能调优，GPU或者D芯片的适配，业务逻辑的实现。对于模型性能调优，主要是将模型推理原有的FP32量化成FP16或者int8，从而实现推理加速，实现实时推理。这里推荐英伟达的TensorRT和华为的D芯片加速模块，它们会对模型做更高阶的优化，除了量化，还会有模型网络层之间的算子融合、kennel优化等，具体资料可以到相应的官网去搜索。模型优化完成后，通过相应的推理引擎和业务逻辑实现去完成模型的在线推理，完成真正的工业化，解决实际问题，这也是AI真正为社会产生价值的部分。
通过这三个部分的学习，日积月累，相信你也会慢慢成为AI领域的资深算法工程师。
Hannah 既然我已经踏上这条道路，那么，任何东西都不应妨碍我沿着这条路走下去。——康德
大家好，在本文的五人组里，我是一个职场小白。作为一个没啥社会经历的小白，我的大部分人生是在学校度过的，我这边就主要介绍我上学的经历吧。
本科的时候，我选择了电子电气工程这个专业。当时对于专业和工作没有什么大的概念，只是觉得理科生就该选一个“带电”的专业，我就从长长的专业列表里选了这个最多“电”的专业，然后背着我的小书包，开开心心到了曼彻斯特开始我的大学生涯。
开学后，果然和我想象的不一样，这种工科类的专业对学生的动手实验能力要求很高，我在第一次上实验课，看到一堆的实验器材的时候就懵了。当时场景对我来说是挺可怕的，同组印度小哥听了实验老师给的要求后就咔咔一顿操作，我在旁边愣住了，连把他的操作录下来后面自己回去学习这么重要的事情都忘了。在他得出实验结果后，我才小心翼翼地求教这些操作是怎么一回事。小哥哥是热心肠，用快速的印度口音英语给我解释了一遍。但是我学的英语听力，只听过英音和美音，对于印式英语实在是陌生，我只能厚脸皮让小哥再说一次。他在第三次的时候，终于失去了耐心，指着教材的一段让我读。我这才意识到，他一直都在说这段话，只是我没听懂，包括他指着读的那一次。于是，第一节实验课我是在查各种仪器名称、和同组印度小哥的高速咖喱英语解释的过程中，度过的。感恩团队没有放弃我，让我顺利度过我的大一。
到本科选择毕设方向的时候，我灵机一动，选了DSP（数字信号处理）相关的一个降噪耳机的项目。用下面的图来解释下原理：
一般主动降噪耳机内部会有一个小的麦克风用来采集外界的声音，通过计算，可以生成一个完全相反的音波，然后和外界的噪音叠加，使得噪音消减。
整个项目只是按照老师的教材和给的参考书上面的操作，实现了一个FIR-LMS算法的滤波器。算法虽然简单，但是实现效果还蛮好的。我额外做了一套麦克风的小硬件用来演示成果，在麦克风旁边用手机播放白噪，同时说话，最后从音响出来的声音是有部分降低噪音的效果的。
在做这个项目的时候最大的感触就是，这种算法不仅是可以在科研界获得一些成果，更多的是，在应用到生活中的时候，可以给我们这些普通人很多的便利。