解决问题技巧

直接看官方文档

去相应的github搜索是不是之前有人遇到类似的问题

提issue

TensorRT版本的PaddlePaddle

下载链接：
https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html

在线下载

wget https://paddle-inference-lib.bj.bcebos.com/2.2.2/python/Linux/GPU/x86-64_gcc8.2_avx_mkl_cuda10.1_cudnn7.6.5_trt6.0.1.5/paddlepaddle_gpu-2.2.2.post101-cp37-cp37m-linux_x86_64.whl

pip install paddlepaddle_gpu-2.2.2.post101-cp37-cp37m-linux_x86_64.whl

或者直接
pip install https://paddle-inference-lib.bj.bcebos.com/2.2.2/python/Linux/GPU/x86-64_gcc8.2_avx_mkl_cuda10.1_cudnn7.6.5_trt6.0.1.5/paddlepaddle_gpu-2.2.2.post101-cp37-cp37m-linux_x86_64.whl

gcc版本也需要匹配一致
gcc安装参考链接：https://blog.csdn.net/qq_15821487/article/details/122886625?spm=1001.2014.3001.5502

对应版本的TensorRT，cuda/cudnn也需要提取安装好

TensorRT是Nvidia公司出的能加速模型推理的框架，其实就是让你训练的模型在测试阶段的速度加快，比如你的模型测试一张图片的速度是50ms，那么用tensorRT加速的话，可能只需要10ms。当然具体能加速多少也不能保证，反正确实速度能提升不少。

注意，直接看对应的官方文档，是最有效，最准确的方式。

参考文章：
https://blog.csdn.net/feedinglife/article/details/120848119
https://zhuanlan.zhihu.com/p/88318324
https://tbr8.org/how-to-install-tensorrt-on-centos/
paddle官方文档：https://paddleinference.paddlepaddle.org.cn/product_introduction/inference_intro.html

TensorRT官方文档：
https://docs.nvidia.com/deeplearning/tensorrt/index.html
TensorRT官方github：
https://github.com/NVIDIA/TensorRT

安装步骤

下载

https://developer.nvidia.com/nvidia-tensorrt-download

离线下载

填个问卷，然后直接点击进来即可

在线下载不行

鼠标右键

1、

wget https://developer.download.nvidia.cn/compute/machine-learning/tensorrt/secure/6.0/GA_6.0.1.5/tars/TensorRT-6.0.1.5.CentOS-7.6.x86_64-gnu.cuda-10.1.cudnn7.6.tar.gz?bjNJHRorOM7wGWYqRC6WNq1Yc5t7qnfDjp0623k5RYOwiHURX7Wn4LGKTjbI_qGQxKPeyZW9uxElmQnnBibKtdNpFWRWcwcdmVKOiCqzXFdawKSqUWj6NlLAFOK8ipKe5XOG8QrgntKTRPsDtKVvlG-yL1BLkxj7KTcTCP5jmu3ezMgAisSZ4lGoNvONTME-wi3MnfXx0obnjy5iu_vmAg1sJohJnXwZ73Fxim-5p71edW_bSeKbzM9VPmU&t=eyJscyI6InJlZiIsImxzZCI6IlJFRi1kb2NzLm52aWRpYS5jb21cLyJ9

快速查找某个文件：

find / -name "TensorRT*"

2、

 tar xzvf TensorRT-6.0.1.5.CentOS-7.6.x86_64-gnu.cuda-10.1.cudnn7.6.tar.gz

3、下载完后，解压，接着 vi ~/.bashrc，添加如下内容
其中/home/andy/TensorRT替换成你自己实际的目录，cuda-9.0也是。

 vim ~/.bashrc

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/trt/TensorRT-6.0.1.5/lib:/usr/local/cuda-10.1/lib64

source ~/.bashrc

4、然后就是安装对应的python库，包括tensorRT，uff和graphsurgeon

cd /opt/trt/TensorRT-6.0.1.5/python
pip3 install tensorrt-6.0.1.5-cp37-none-linux_x86_64.whl

cd /opt/trt/TensorRT-6.0.1.5/uff
pip3 install uff-0.6.5-py2.py3-none-any.whl

cd /opt/trt/TensorRT-6.0.1.5/graphsurgeon
pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl

5、搞定后，进到python环境下，执行下import tensorrt，正常的话可以成功导入。

import tensorrt
tensorrt.__version__
'6.0.1.5

6、最后可以编译一下tensorRT提供的一些sample。进到tensorRT的sample目录下，执行make CUDA_INSTALL_DIR=/usr/local/cuda，完成后到tensorRT的bin目录下，可以看到已经生成了可执行的sample，执行./sample_mnist 就可以输出一副字符组成的数字图片，下面跟着mnist的预测结果。 ok整个安装搞定了。

cd /opt/trt/TensorRT-6.0.1.5/samples
make CUDA_INSTALL_DIR=/usr/local/cuda

cd /opt/trt/TensorRT-6.0.1.5/bin
./sample_mnist 

7、查看版本号

find / -name NvInferVersion.h

运行时间比对

服务预测，webservice

纯cpu

服务端：

python  web_service.py

客户端：

python rpc_client.py

时间 :0.15128087997436523s

纯gpu

服务端：

python  web_service.py

客户端：

python rpc_client.py

时间加速明显 :
第一次运行加载：3s
后面每次：0.028s

gpu + tensorrt

时间发现没有提速 :
第一次运行加载：3s
后面每次：0.028s

解决方案

https://hub.fastgit.org/PaddlePaddle/Serving/blob/v0.7.0/doc/Serving_Configure_CN.md#python-pipeline

非服务预测，直接运行predict函数，每次重新加载到内存

纯cpu

python predict.py  

时间：1.45s

cpu + enable_mkldnn

python predict.py  --enable_mkldnn=True

时间：1.45s 基本无变化

纯gpu

python predict.py  --device=gpu

时间：7.35 时间反而更长，时间花费在加载模型

gpu + tensorrt

python predict.py  --device=gpu --use_tensorrt=True

报错

Traceback (most recent call last):
  File "predict.py", line 282, in <module>
    args.cpu_threads, args.enable_mkldnn)
  File "predict.py", line 151, in __init__
    self.predictor = paddle.inference.create_predictor(config)
ValueError: (InvalidArgument) Pass trt_squeeze2_matmul_fuse_pass has not been registered.
  [Hint: Expected Has(pass_type) == true, but received Has(pass_type):0 != true:1.] (at /paddle/paddle/fluid/framework/ir/pass.h:240)

报错解决方案，需要安装特定版本的paddle带trt的paddle

报错2：

E0216 17:04:09.163729 30082 helper.h:111] Parameter check failed at: ../builder/Network.cpp::addInput::671, condition: isValidDims(dims, hasImplicitBatchDimension())

运行报错，查看日志

CRITICAL 2022-02-16 19:29:49,479 [operator.py:1315] [ernie|0] failed to init op: (InvalidArgument) Adding input reshape2_60.tmp_0 failed in TensorRT inference network. Please recheck your input.
  [Hint: input should not be null.] (at /paddle/paddle/fluid/inference/tensorrt/engine.cc:266)
Traceback (most recent call last):
  File "/data/mart/neural_search/venv/lib/python3.7/site-packages/paddle_serving_server/pipeline/operator.py", line 1308, in _run
    concurrency_idx)
  File "/data/mart/neural_search/venv/lib/python3.7/site-packages/paddle_serving_server/pipeline/local_service_handler.py", line 228, in get_client
    mkldnn_bf16_op_list=self._mkldnn_bf16_op_list)
  File "/data/mart/neural_search/venv/lib/python3.7/site-packages/paddle_serving_app/local_predict.py", line 235, in load_model_config
    self.predictor = paddle_infer.create_predictor(config)
ValueError: (InvalidArgument) Adding input reshape2_60.tmp_0 failed in TensorRT inference network. Please recheck your input.
  [Hint: input should not be null.] (at /paddle/paddle/fluid/inference/tensorrt/engine.cc:266)