腾讯优图开源深度学习推断框架TNN

据悉，基于TNN，开发者能够轻松将深度学习算法移植到手机端高效的执行，开发出人工智能 APP，将 AI 带到指尖。

中国软件网了解到，TNN是腾讯优图针对手机端推出的高性能、轻量级移动端推理框架，其在设计之初便将移动端高性能作为核心理念。在开发上，TNN基于腾讯优图在深度学习方面的技术积累，并借鉴了业内主流框架优点，在2017年开源的ncnn框架进行了重构升级。

得益于在GPU深度调优、ARM SIMD深入汇编指令调优、低精度计算等技术手段上的提升，TNN在多款主流平台上的性能不凡。腾讯优图也公布了在骁龙845/835/615以及麒麟970平台上，TNN与MNN, ncnn框架的性能对比。

对此，腾讯优图表示，低精度计算的运用对TNN的性能提升发挥了重要作用。TNN引入了INT8、 FP16、 BFP16等多种计算低精度的支持，相比大部分仅提供INT8支持的框架，不仅能灵活适配不同场景，还让计算性能提升。

数据显示，TNN通过采用8bit整数代替float进行计算和存储，模型尺寸和内存消耗均减少至1/4，在计算性能上提升50%以上。同时引入arm平台BFP16的支持，相比浮点模型，BFP16使模型尺寸、内存消耗减少50%，在中低端机上的性能也提升约20%。

同时，腾讯优图表示通用、轻便是TNN的另一亮点。TNN设计了与平台无关的模型表示，为开发人员提供统一的模型描述文件和调用接口，支持主流安卓、iOS等操作系统，适配CPU、 GPU、NPU硬件平台。

此外，TNN通过ONNX可支持TensorFlow, PyTorch, MXNet, Caffe等多种训练框架，目前支持ONNX算子超过80个，覆盖主流CNN网络。TNN所有算子均为源码直接实现，不依赖任何第三方，接口易用，切换平台仅需修改调用参数即可。

中国软件网认为，人工智能落地难的很重要原因就是要求专业性高、算力充裕以及设施笨重。TNN很好地规避了这些，但也不难看出，TNN的场景更多适用于简单、入门级的人工智能。

（编辑：云计算网_宿迁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!