概要提示针对深度学习推理训练环境搭建进行总结硬件对于RTX20系列、RTX30系列、RTX40系列都适用。软件(安装顺序见下)1、cuda_11.8.0_522.06_windows.exe2、536.67-desktop-win10- win11 -64bit-international-nsd-dch-whql3、cudnn-windows-x86_64-8.9.7.29_cuda11-archive4、TensorRT-8.6.1.6.Windows10.x86_64.cuda-11.8理解各软件功能和用途后其它版本类似。硬件以CUDA是否支持为基准软件以CUDA为核心其它软件均基于CUDA版本进行适配。使用模块1、 Python2、 Pytorch3、OpenCL4、YOLO整体架构流程1、安装CUDA下载好cuda_11.8.0_522.06_windows.exe后可以直接安装。2、安装536.67-desktop-win10-win11-64bit-international-nsd-dch-whqlCUDA安装完成后要再安装显卡驱动这里的顺序没反为的是优先安装CUDA的支持模块避免重复升级或降级。2、安装CUDNNCUDA安装完成后会在路径C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8创建文件夹将下载好的CUDNN压缩包直接解压覆盖到这个文件夹里就行。如下图3、安装TensorRT安装TensorRT时可以将下载好的压缩包解压到任意位置注意路径中不要有中文。解压完成后在系统环境变量Path中添加条目例如C:\TensorRT-8.6.1.6\lib。校验安装情况#测试CUDA及显卡驱动 nvcc --version # 查看CUDA版本 nvidia-smi # 查看显卡性能是否为最高的P0如果不是需要去显卡控制面板里修改电源策略为最佳性能 #导航到CUDA的示例目录 cd C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\extras\demo_suite #测试CUDA和cuDNN配置 bandwidthTest.exe deviceQuery.exe 如果这两个指令最后都显示Result PASS则表明CUDA和cuDNN安装配置正确至此就已经具备推理环境了如需转换模型或进行训练则需安装辅助模块。辅助模块安装这里主要以使用的AI模型来决定模块安装及版本确认示例将使用YOLO8Ultralytics 8.0.1091、安装Python这里使用python-3.9.13-amd64具体版本也需要根据 Ultralytics 来确认。2、如果需要转换模型则需要安装onnx版本1.12.0安装onnxsim版本0.4.17安装onnxruntime版本1.12.1。3、要联网安装 Torch 使用指令这里版本为xxxx。pip install torch2.1.1 torchvision0.16.1 torchaudio2.1.1 --index-url https://download.pytorch.org/whl/cu118如果要安装本地的的Torch可以使用指令pip install torch-2.1.1cu118-cp39-cp39-win_amd64.whl在用指令安装其它pip install torchvision0.16.1 torchaudio2.1.14、安装yolo8pip install ultralytics8.0.109安装numpypip uninstall numpy -y #先卸载旧版本 pip install numpy1.23.5再次检查并安装其它辅助包# 1. 安装 onnx pip install onnx1.12.0 # 2. 安装 onnxsim pip install onnxsim0.4.17 # 3. 安装 onnxruntime # CPU版本 pip install onnxruntime1.12.1 # 或者 GPU版本如果已安装CUDA pip install onnxruntime-gpu1.12.1至此已经搭建好模型转换或训练环境。