1 简介

​ 目前使用TensorRT量化模型有两种方式，一种是使用TensorRT的黑盒模式，给出量化的数据集和量化方法隐形量化，另一种是修改模型结构，插入QDQ节点，再给定数据集或者重新训练模型来调整QDQ节点参数做到计算scales。具体的方式这里就不多说了，以后详谈。

简介

经常使用很多的Nvidia的相关指令，这里做一个简单的汇总，包括trtexec、nsight_systems、DLA等相关的指令。方便后面查询使用

说明

本文档记录了使用tensort过程中的琐碎知识点总结，因为没哟总的归类，就汇总到一起吧。

目录

• • 前言
  • 1. 课程介绍
  • 2. pytorch_quantization
  • • 2.1 initialize函数
    • 2.2 tensor_quant模块
    • 2.3 TensorQuantizer类
    • 2.4 QuantDescriptor类
    • 2.5 calib模块
  • 总结

目录

• • 注意事项
  • 一、2023/11/19更新
  • 二、2023/12/27更新
  • 前言
  • 1. YOLOv7-PTQ量化流程
  • 2. 模型标定
  • 3. 敏感层分析
  • 4. PTQ量化
  • 总结

目录

• • 注意事项
  • 一、2023/11/5更新
  • 前言
  • 1. YOLOv7-PTQ量化流程
  • 2. 准备工作
  • 3. 插入QDQ节点
  • • 3.1 自动插入QDQ节点
    • 3.2 手动插入QDQ节点
    • 3.3 手动initialize
  • 总结

背景

本文档是记录学习Nvidia官方B站的视频，参考对应的PDF文件 TensorRTTraining-TRT8.6.1-Part5-V1.1.pdf 的记录。对应的官方代码[trt-samples-for-hackathon-cn]

1 背景

本文档是记录学习Nvidia官方B站的视频，参考对应的PDF文件 TensorRTTraining-TRT8.6.1-Part5-V1.1.pdf 的记录。对应的官方代码[trt-samples-for-hackathon-cn]

1 背景

本文档是记录学习Nvidia官方B站的视频，参考对应的PDF文件 TensorRTTraining-TRT8.6.1-Part5-V1.1.pdf 的记录。对应的官方代码[trt-samples-for-hackathon-cn]

1 背景

本文档是记录学习Nvidia官方B站的视频，参考对应的PDF文件 TensorRTTraining-TRT8.6.1-Part5-V1.1.pdf 的记录。对应的官方代码[trt-samples-for-hackathon-cn]