1 前言

记录一次使用nsigth system来分析一个推理进程异步的内存拷贝耗时异常问题。

1 简介

该笔记参考深入理解 Nsight System 与 Nsight Compute 性能分析优化工具，并结合自己之前使用nsys的经验进行总结。

1 综述

理论看了很多，但是感觉脑袋空空，为什么？因为没有实际应用。那么这一节开始使用Nsight Compute来在orin上进行Kernel的分析。来真正的看看如何结合工具来优化一个kernel。

首先需要知道Nsight Compute都会告诉我们哪些内容。

前言

这一章讲的内容我暂时没有什么使用到，因此没有什么理解，除了原子操作。因此先给出一个看到的重点的大纲，需要的时候再补充吧。

前言

和上一节一样，我没有使用过CUDA库，因此这里先占位，后期再补充。

前言

我暂时还没有使用到多个GPU，因此先占位吧，等后面有机会再补充深入，这里只是一个大概的描述。

本文档翻译自官网：Nsight Compute

NVIDIA Nsight计算用户界面（UI）手册。有关工具UI中所有视图、控件和工作流的信息。Visual Profiler的转换指南。

6.3 重叠内核执行和数据传输

在前一节中，已经介绍了如何在多个流中并发执行多个内核。在本节中，将学习如何并发执行内核和数据传输。

6.2 并发内核执行

这一节使用几个例子来说明上一节的流、事件、同步的概念。介绍并发内核的几个基本问题。