新闻动态
新闻动态
新手福利丨边缘AI推理框架Tengine入门指南
2020.08.31
新闻动态

随着边缘AI推理框架Tengine开源力度加大,越来越多的AI技术大咖陆续加入到Tengine开源生态建设中贡献自己的力量。同时,我们也遇到大量开发者朋友刚接触Tengine,除了已有的各类文档资料,还希望能够推出一些新手入门教程。


铛铛~福利来咯~OPEN AI LAB近期在知乎推出了Tengine入门系列教程,受到广大开发者欢迎,甚至有许多小伙伴不断催更。


戳下方点击直达教程↘

Tengine入门系列教程合集链接:

https://zhuanlan.zhihu.com/p/203079988



什么,还不知道Tengine是什么?

快来补课吧。



边缘人工智能推理框架Tengine


Tengine是OPEN AI LAB拥有自主知识产权的边缘人工智能推理框架,致力于解决AIoT产业所面临的碎片化问题,加速AI的部署和普及,惠及千行百业。Tengine基于纯C打造,将轻量化无依赖做到极致,适合在各种软硬件资源受限的嵌入式环境下使用部署轻量的AI算法模型用于语音、视觉等应用。
目前,Tengine是市面上唯一可在各种嵌入式操作系统上运行的AI推理框架。不但可以在FreeRTOS\RTT\Lite-OS等极简的实时操作系统或裸机Bare-matel上运行,还可以在MCU、RISC-V等低功耗、资源极为有限的IoT芯片主控上运行。


Tengine的核心能力


Tengine是一个嵌入式的AI推理框架,帮助算法开发者解决在AI快速产业化落地中遇到的各个瓶颈难题。有两个特点,一是物理位置层面,其所关注的重点是嵌入式设备,也就是海量的AIoT应用设备,而非服务器集群;二是业务模式层面,重点在于推理,并非训练。


对于开发者而言,训练只是第一步,训练后获得推理模型的有效部署才是解决场景问题的关键,快速的硬件平台迁移及高效部署已经成为AIoT产业快速发展的掣肘。 Tengine目前广泛支持市面上主流的模型格式,如TensorFlow、Caffe和MXNet,并且通过ONNX模型实现了对PyTorch和PaddlePaddle的支持,让开发者能更自由地选择训练框架,降低了面对不同硬件和场景而迁移平台的成本。 在操作系统层面,由于AIoT场景的差异化及非收敛性,Android、Ubuntu、RTOS等各有其适配的产品形态,Tengine同样在OS层面进行了兼容适配,以简化AI开发者的开发流程。


为了助力产业提速增效,Tengine为开发者提供跨硬件设备的统一开发平台,在不同硬件设备上的API都尽可能保持一致,帮助开发者以一致的方式实现对不同芯片的有效调用适配。


开发者仅仅需要通过Tengine API,就能充分调用包括MCU、Arm Cortex-A/M系列处理器、Arm中国周易AIPU,以及海思NNIE、瑞芯微RK3399ProNPU等等在内的芯片算力。


业务跑通是第一步,跑得快跑得好才是芯片优势的核心体现。Tengine通过异构计算技术,能够帮助开发者同时调用CPU、GPU、DSP、NPU等不同计算单元的运算资源,进一步提升芯片有效性,以完成AI网络计算。


在AIoT非常多场景中,考虑功耗、成本等要素,往往对于资源的分配极为苛刻,不依赖外部库很多时候会成为工程化场景的一大诉求。通过对框架设计进行一系列的简化和轻量处理,Tengine最小程序体积能达到300KB,在MCU上最小体积为20KB,并且自带视觉、语音的前后处理函数,对额外资源的占用进一步优化,提升芯片的适用范围和潜力。


Tengine从诞生至今,已开发出具备量化训练工具、调试工具、模型库、编译器等工具在内的完整工具链,能进一步满足开发者的各类高精度应用需求。