1 Plugin简介

网络模型就是很多层组成的，tensorRT基本上比较经典的层比如，卷积，反卷积，全连接，RNN，softmax等，在tensorRT中都是有对应的实现方式的，tensorRT是可以直接解析的。但是由于现在深度学习技术发展日新月异，各种不同结构的自定义层（比如：STN）层出不穷，所以tensorRT是不可能全部支持当前存在的所有层的。那对于这些自定义的层该怎么办？

1 简介

在之前的文章中7-TensorRT中的INT8介绍了TensorRT的量化理论基础，这里就根据理论实现相关的代码

1 简介

我们在使用Tensorrt的隐形量化时，需要生成一个cache文件，用于onnx生成engine文件使用。如果我们使用trtexec来将onnx文件生成为和我们的GPU相关的隐形量化后的engine文件时需要参数 参考A.2.1.2. Serialized Engine Generation A.2.1.4. Commonly Used Command-line Flags

附录：

for QDQ documents and how tensorrt process QDQ nodes, pls ref our developer guide: https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#work-with-qat-networks
And TensorRT provide a tool to do PTQ and QAT in pytorch: https://github.com/NVIDIA/TensorRT/blob/release/8.5/tools/pytorch-quantization/examples/torchvision/classification_flow.py
Besides, our team develop a sample to guide how to got best perf on Yolov7: https://github.com/NVIDIA-AI-IOT/yolo_deepstream/tree/main/yolov7_qat
And the QDQ best placement guide is here: https://github.com/NVIDIA-AI-IOT/yolo_deepstream/blob/main/yolov7_qat/doc/Guidance_of_QAT_performance_optimization.md

1 简介

翻译自官网 https://github.com/NVIDIA/TensorRT/blob/main/tools/Polygraphy/README.md

1 简介

在 Linux 的 shell 中，重定向是将命令的输入和输出重定向到不同的位置（如文件、设备或其他命令）。这使得 shell 可以灵活地处理数据流和日志记录。重定向主要涉及以下几种类型：标准输入（stdin）、标准输出（stdout）和标准错误输出（stderr）。

2 定时任务调用串口

有一个需求是在定时任务中调用一个程序usart操作串口。程序usart操作的串口是/dev/ttyUSB0。

1 简介

本文对linux系统的调度进行简单的介绍，参考文章见下面附录

Nvidia diver是最基础的跟硬件直接交互的底层软件，cuda依赖于driver，cuDNN依赖于cuda，tensorRT最终模型的推理加速依赖于前面这些基础的加速环境。

搜索显卡
下面指令分别是查看集成显卡和查看NVIDIA显卡

nvidia-smi 命令详解

简介