TensorRT中的常见问题

TensorRT的最佳性能实践

TensorRT和DLA(Deep Learning Accelerator)

TensorRT之条件控制

TensorRT中的循环

1 简介

这里汇总了一些tensorRT与ONNX的关系和常用的一些转换工具。

1.手册简介

1 Plugin简介

网络模型就是很多层组成的，tensorRT基本上比较经典的层比如，卷积，反卷积，全连接，RNN，softmax等，在tensorRT中都是有对应的实现方式的，tensorRT是可以直接解析的。但是由于现在深度学习技术发展日新月异，各种不同结构的自定义层（比如：STN）层出不穷，所以tensorRT是不可能全部支持当前存在的所有层的。那对于这些自定义的层该怎么办？

1 简介

在之前的文章中7-TensorRT中的INT8介绍了TensorRT的量化理论基础，这里就根据理论实现相关的代码

1 简介

我们在使用Tensorrt的隐形量化时，需要生成一个cache文件，用于onnx生成engine文件使用。如果我们使用trtexec来将onnx文件生成为和我们的GPU相关的隐形量化后的engine文件时需要参数 参考A.2.1.2. Serialized Engine Generation A.2.1.4. Commonly Used Command-line Flags