TensorRT8.6 計算機視覺模型部署與加速教程

學(xué)習(xí)地址1：https://pan.baidu.com/s/1TrrCln2FAx4x11larCcXaA 提取碼: yzfc

學(xué)習(xí)地址2：https://share.weiyun.com/tXVACNni 密碼：6qc6k7

TensorRT8.6 計算機視覺模型部署與加速教程分享，2023新課，視頻+代碼+數(shù)據(jù)下載！

1、什么的TensorRT

TensorRT是nvidia家的一款高性能深度學(xué)習(xí)推理SDK。此SDK包含深度學(xué)習(xí)推理優(yōu)化器和運行環(huán)境，可為深度學(xué)習(xí)推理應(yīng)用提供低延遲和高吞吐量。在推理過程中，基于TensorRT的應(yīng)用程序比僅僅使用CPU作為平臺的應(yīng)用程序要快40倍。

2、cuda、cudnn和tensorrt的關(guān)系

CUDA是NVIDIA推出的用于自家GPU的并行計算框架，也就是說CUDA只能在NVIDIA的GPU上運行，而且只有當(dāng)要解決的計算問題是可以大量并行計算的時候才能發(fā)揮CUDA的作用。CUDA的主要作用是連接GPU 和 應(yīng)用程序，方便用戶通過 CUDA 的 API 調(diào)度 GPU 進行計算。

cuDNN（CUDA Deep Neural Network library）：是NVIDIA打造的針對深度神經(jīng)網(wǎng)絡(luò)的加速庫，是一個用于深層神經(jīng)網(wǎng)絡(luò)的GPU加速庫。它能將模型訓(xùn)練的計算優(yōu)化之后，再通過 CUDA 調(diào)用 GPU 進行運算.

當(dāng)然你也可直接使用 CUDA，而不通過 cuDNN ，但運算效率會低好多。因為你的模型訓(xùn)練計算沒有優(yōu)化。

TensorRT是英偉達針對自家平臺做的加速包，只負責(zé)模型的推理（inference）過程，一般不用TensorRT來訓(xùn)練模型的，而是用于部署時加速模型運行速度。

3、TensorRT部署

TensorRT 只需要知道網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)即可，它支持三種轉(zhuǎn)換入口：

TF-TRT，要求是 TensorFlow 模型

ONNX 模型格式

使用 TensorRT API 手動把模型搭起來，然后把參數(shù)加載進去

找到TensorRT的下載地址，我這邊選擇的是TensorRT8,TensorRT支持以下幾種方式安裝，分別是deb,tar,rpm。我這邊的系統(tǒng)是Ubuntu 22.04，CUDA版本是11.6，選擇的安裝方式是tar進行安裝。

關(guān)于tar的安裝方式，可以參考Nvidia官方文檔中關(guān)于tar的部分。NVIDIA Deep Learning TensorRT Documentation關(guān)于tar的安裝方式，可以參考Nvidia官方文檔中關(guān)于tar的部分。

所以整個邏輯就是：

把你的模型導(dǎo)出成 ONNX 格式。

把 ONNX 格式模型輸入給 TensorRT，并指定優(yōu)化參數(shù)。

使用 TensorRT 優(yōu)化得到 TensorRT Engine。

使用 TensorRT Engine 進行 inference。