LTW.YoloDotNet.Cuda.TensorRT.Execution.Provider 1.1.1-aotfix.1

信息

YoloDotNet 使用模块化执行器在不同硬件后端上运行推理。 每个执行器都针对特定平台或加速器，并且可能需要额外的系统级依赖（如运行时、驱动或 SDK）。

仅安装 NuGet 包并不总是足够——正确配置取决于所选执行器和目标系统。
本文档说明 CUDA 与 TensorRT 执行器 的安装、环境要求和使用方式。

核心库要求

所有执行器都依赖核心 YoloDotNet 包，其中包含共享的推理管线、模型和 API。

NuGet 包

dotnet add package YoloDotNet

执行器 - CUDA 与 TensorRT

CUDA 与 TensorRT 执行器通过 ONNX Runtime 的 CUDA 后端，在 NVIDIA GPU 上启用 GPU 加速推理。
可选启用 NVIDIA TensorRT，以进一步优化模型并获得更高吞吐和更低延迟。

⚠️ 注意
此执行器仅支持 Windows 和 Linux。
macOS 不支持 CUDA 和 TensorRT。

环境要求

• CUDA Toolkit 12.x
• cuDNN 9.x
• Windows 或 Linux（x64）

重要
此执行器依赖原生 CUDA 与 cuDNN 库。
仅安装 NuGet 包并不足够，必须正确安装系统级依赖。

安装（Windows）

• CUDA

  从 NVIDIA 官网下载并安装以下组件：

  • CUDA Toolkit 12.x
  • cuDNN 9.x

  安装 cuDNN 后，找到包含 cuDNN DLL 文件的目录。 通常路径为：

  C:\Program Files\NVIDIA\CUDNN\v9.x\bin\v12.x
  

  （请将 v9.x 和 v12.x 替换为你系统中的实际版本）

  将 cuDNN 添加到系统 PATH：

  1. 复制 cuDNN bin\v12.x 目录的完整路径

  2. 在 Windows 搜索中输入并打开 Edit the system environment variables

  3. 点击 Environment Variables

  4. 在 System variables 中选择 Path，点击 Edit

  5. 点击 New，粘贴刚才复制的 cuDNN 路径

  6. 点击 OK 保存并关闭所有窗口

  7. 重启系统

• TensorRT（可选）

  TensorRT 是 NVIDIA 的高性能推理引擎，可通过针对特定 GPU 优化模型显著提升性能。

  1. 下载 适用于 CUDA 12.x 的 TensorRT 10.13.3

  2. 解压压缩包到系统中的某个目录

  3. 找到解压后 TensorRT 目录中的 lib 文件夹

  4. 复制该 lib 文件夹的完整路径

  5. 将该路径加入系统 PATH 环境变量（流程同 CUDA 安装步骤）

  6. 重启系统

安装（Linux）

• CUDA

  1. 为你的 Linux 发行版安装 CUDA Toolkit 12.x

  2. 为你的 Linux 发行版安装 cuDNN 9.x

  3. 重启系统

• TensorRT（可选）

  1. 下载 适用于 CUDA 12.x 的 TensorRT 10.13.3

  2. 按照 NVIDIA 的 Linux TensorRT 安装说明 进行安装

NuGet 包

dotnet add package YoloDotNet.ExecutionProvider.Cuda

YoloDotNet.ExecutionProvider.Cuda v1.1 需要 YoloDotNet 4.1 版本。

使用示例：

using YoloDotNet;
using YoloDotNet.ExecutionProvider.Cuda;

using var yolo = new Yolo(new YoloOptions
{
 ExecutionProvider = new CudaExecutionProvider(
 model: "path/to/model.onnx",

 // GPU 设备索引（默认：0）
 gpuId: 0,

 // 可选 TensorRT 配置，用于获得更高性能
 trtConfig: new TensorRt
 {
 Precision = TrtPrecision.FP16,
 EngineCachePath = "path/to/cache/folder",
 EngineCachePrefix = "MyCachePrefix"
 }
 ),

 // ...其他选项
});

// 更多高级配置可参考 TensorRT 示例项目。

说明与建议

• 如果你只需要简单、低门槛的 GPU 加速，使用 CUDA 即可。
• 如果你追求极致性能并能管理引擎缓存，建议启用 TensorRT。
• TensorRT 引擎会按模型与配置首次生成，后续运行将复用缓存。
• macOS 不支持 CUDA 与 TensorRT。