RDKS100量化部署,学妹都抢着学,你确定不试试?
摘要:作者:SkyXZ CSDN:SkyXZ~-CSDN博客 博客园:SkyXZ - 博客园 宿主机环境:Ubuntu22.04(192x CPU 8x NVIDIA GeForce RTX 4090)、D-Robotics-OE 3.2.0、U
作者:SkyXZ
CSDN:SkyXZ~-CSDN博客
博客园:SkyXZ - 博客园
宿主机环境:Ubuntu22.04(192x CPU 8x NVIDIA GeForce RTX 4090)、D-Robotics-OE 3.2.0、Ubuntu22.04 GPU Docker
端侧设备环境:RDKS100-RDK OS 4.0.2-Beta
买了RDK S100还只停留在RDKX5的使用思想?想部署模型但对着全新的工具链不知从何下手?好不容易学会X5上的HB_DNN结果面对S100的UCP只能一脸懵?我知道你很急,但你先别急!跟着这篇学妹吵着要学的模型量化部署教程包你30Min告别RDKS100模型量化部署小白!!!本篇文章为万字长文,学弟一看就会的RDKX5模型转换及部署,你确定不学?的姐妹篇,本篇侧重于基础模型的部署,后续会更新VLA等具身智能模型在RDKS100的部署教程,首先介绍一下我们本篇教程的参考资料:
RDKS100用户手册:https://developer.d-robotics.cc/rdk_doc/rdk_s/RDK/
RDKS100 OpenExplorer®算法工具链:https://toolchain.d-robotics.cc/
RDKS100—ModelZoo:https://github.com/D-Robotics/rdk_model_zoo_s/tree/s100
一、算法工具链介绍及环境安装
目前,我们在GPU上训练的模型通常采用浮点数格式,因为浮点类型能够提供较高的计算精度和灵活性,但是对于边缘式设备来说浮点类型模型所需的算力和存储资源远超其承载能力,因此一般边缘式设备上的AI加速芯片基本都只支持INT8(业内处理器的通用精度)定点模型,我们S100的BPU也不例外,因此我们需要将我们训练出来的浮点模型转化为定点模型,这一过程便叫做模型的量化,而我们要下载的OE包是Open Explorer的缩写简称,中文名为天工开物(以下简称OE),它是基于地平线自研计算平台打造的全生命周期开发平台, 主要包括模型编译优化工具集、算法仓库和应用开发SDK三大功能模块。
