重新编译转换工具即可。不过其实我这样的修改方式严格来说不完全正确，因为还有可能是在推理过程中产生这样的小数，因此正确的方式是修改推理代码，在卷积算子计算前和计算后把非规格浮点数忽略掉，不过这个操作改起来工作量就会大些了，因为用上面的方式已经解决我的问题了，这种改法我没有去实施了，如果有兴趣的可参考OpenCV的方式：https://github.com/opencv/opencv/pull/17295
总结同样的模型结构若一个模型权重含有的非常小的权重太多，是会严重影响推理速度的（CUDA, OpenVino不影响），可以在训练时将这种权重置0，或者转换模型时处理，精度不会受到影响。