Flutter ncnn如何应用于识别?

摘要:Flutter 实现手机端 App,如果想利用 AI 模型添加新颖的功能,那么 [ncnn](https:github.comTencentncnn) 就是一种可考虑的手机端推理模型的框架。 本文即是 Flutter 上使用 ncn
Flutter 实现手机端 App,如果想利用 AI 模型添加新颖的功能,那么 ncnn 就是一种可考虑的手机端推理模型的框架。 本文即是 Flutter 上使用 ncnn 做模型推理的实践分享。有如下内容: ncnn 体验:环境准备、模型转换及测试 Flutter 项目体验: 本文 demo_ncnn 体验 Flutter 项目实现 创建 FFI plugin,实现 dart 绑定 C 接口 创建 App,于 Linux 应用 plugin 做推理 适配 App,于 Android 能编译运行 demo_ncnn 代码: https://github.com/ikuokuo/start-flutter/tree/main/demo_ncnn ncnn 体验 ncnn 环境准备 获取 ncnn 源码,并编译。以下是 Ubuntu 上的步骤: # demo 用的预编译库,建议与其版本一致 export YYYYMMDD=20230517 git clone -b $YYYYMMDD --depth 1 https://github.com/Tencent/ncnn.git # Build for Linux # https://github.com/Tencent/ncnn/wiki/how-to-build#build-for-linux sudo apt install build-essential git cmake libprotobuf-dev protobuf-compiler libvulkan-dev vulkan-tools libopencv-dev cd ncnn/ git submodule update --init mkdir -p build; cd build # cmake -LAH .. cmake -DCMAKE_BUILD_TYPE=Release \ -DCMAKE_INSTALL_PREFIX=$HOME/ncnn-$YYYYMMDD \ -DNCNN_VULKAN=ON \ -DNCNN_BUILD_EXAMPLES=ON \ -DNCNN_BUILD_TOOLS=ON \ .. make -j$(nproc); make install 配置 ncnn 环境, # 软链,以便替换 sudo ln -sfT $HOME/ncnn-$YYYYMMDD /usr/local/ncnn cat <<-EOF >> ~/.bashrc # ncnn export NCNN_HOME=/usr/local/ncnn export PATH=\$NCNN_HOME/bin:\$PATH EOF # 测试 tools ncnnoptimize 测试 YOLOX 推理样例, # 下载 YOLOX ncnn 模型,解压进工作目录 ncnn/build/examples # 说明可见 ncnn/examples/yolox.cpp 的注释 # https://github.com/Megvii-BaseDetection/YOLOX/releases/download/0.1.1rc0/yolox_s_ncnn.tar.gz tar -xzvf yolox_s_ncnn.tar.gz # 下载 YOLOX 测试图片,拷贝进工作目录 ncnn/build/examples # https://github.com/Megvii-BaseDetection/YOLOX/blob/main/assets/dog.jpg # 进入工作目录 cd ncnn/build/examples # 运行 YOLOX ncnn 样例 ./yolox dog.jpg ncnn 模型转换 上述 YOLOX 推理,用的是已转换好的模型。实际推理某一个模型,得了解如何做转换。 这里还以 YOLOX 模型为例,体验 ncnn 转换、修改、量化模型的过程。步骤依照的 YOLOX/demo/ncnn 的说明。此外,ncnn/tools 下有各类模型转换工具的说明。
阅读全文