TensorRT 是什么？
摘要：TensorRT 是 NVIDIA 自家的高性能推理库，其 Getting Started 列出了各资料入口，如下： 本文基于当前的 TensorRT 8.2 版本，将一步步介绍从安装，直到加速推理自己的 ONNX 模型。 安装 进 Ten
TensorRT 是 NVIDIA 自家的高性能推理库，其 Getting Started 列出了各资料入口，如下：
本文基于当前的 TensorRT 8.2 版本，将一步步介绍从安装，直到加速推理自己的 ONNX 模型。
安装
进 TensorRT 下载页 选择版本下载，需注册登录。
本文选择了 TensorRT-8.2.2.1.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz，可以注意到与 CUDA cuDNN 要匹配好版本。也可以准备 NVIDIA Docker 拉取对应版本的 nvidia/cuda 镜像，再 ADD TensorRT 即可。
# 解压进 $HOME （以免 sudo 编译样例，为当前用户）
tar -xzvf TensorRT-*.tar.gz -C $HOME/
# 软链到 /usr/local/TensorRT （以固定一个路径）
sudo ln -s $HOME/TensorRT-8.2.2.1 /usr/local/TensorRT
之后，编译运行样例，保证 TensorRT 安装正确。
编译样例
样例在 TensorRT/samples，说明见 Sample Support Guide 或各样例目录里的 README.md。