如何用 CUDA 12 GPU 容器启动 InsightFace Server 并确认 CUDA 执行提供者生效【免费下载链接】insightfaceState-of-the-art 2D and 3D Face Analysis Project项目地址: https://gitcode.com/GitHub_Trending/in/insightfaceInsightFace Server 是一个自带 Web UI、REST API 和 SQLite 的自托管人脸识别服务支持本地 CPU 或 NVIDIA GPU 推理。本任务是在装有 NVIDIA GPU 的 Linux x86_64 主机上用官方 CUDA 12 镜像启动它并确认推理确实运行在CUDAExecutionProvider上——该部署方式在 GPU、驱动或模型会话校验失败时会直接退出不会静默回退到 CPU所以启动后必须主动验证执行提供者。准备条件按 用户指南 的说明主机需要Linux x86_64已安装 Docker Engine 和 Docker Compose受支持的 NVIDIA GPU、NVIDIA 驱动和 NVIDIA Container Toolkit不需要在主机上安装 CUDA、cuDNN、ONNX Runtime、Python 或 OpenCV——这些都在镜像里。驱动版本有明确下限来自用户指南第 14 章GPU 架构驱动要求Turing、Ampere、Ada、HopperR535 或更新Blackwell 和 RTX 50 系列570.26 或更新新部署建议优先使用稳定的 R580 或更新驱动。架构兼容不代表所有 GPU 型号都经过正式认证。镜像为ghcr.io/deepinsight/insightface-server:0.2.0-cuda12见 server/README.md 的运行时表内部自带 CUDA Runtime 12.9.1、cuDNN 9.24.0、Python 3.11 和onnxruntime-gpu1.27.0。另外注意公开 InsightFace 预训练模型仅限非商业研究用途商业使用需单独授权。以下命令都在完整的 InsightFace 仓库检出目录的根目录下执行。安装模型镜像本身不含模型需要先通过一次性的models服务把模型包安装到server/.models目录Compose 文件会把它只读挂载到容器的/modelsmkdir -p server/.models docker compose -f server/deploy/compose.cuda12.yml pull docker compose -f server/deploy/compose.cuda12.yml \ run --rm models install buffalo_l --accept-license安装时会写入manifest.json和带签名的MODEL.LICENSE。如果不带--accept-license工具只会打印许可条款并退出、不下载。支持的公开模型包还有buffalo_m、buffalo_sc和antelopev2本任务以默认的buffalo_ldet_10g.onnxw600k_r50.onnx为例。装完可以用下面的命令校验包身份、签名许可和授权有效性docker compose -f server/deploy/compose.cuda12.yml \ run --rm models verify buffalo_l启动 CUDA 12 容器docker compose -f server/deploy/compose.cuda12.yml up -d curl -fsS http://127.0.0.1:18098/v1/healthcompose.cuda12.yml 中几个与 GPU 推理直接相关的关键配置解释了为什么 CUDA 会生效以及为什么失败时会退出INSIGHTFACE_EXECUTION_PROVIDER: CUDAExecutionProvider——显式指定 ONNX Runtime 执行提供者INSIGHTFACE_STRICT_CUDA: 1——开启严格 CUDA 模式校验失败即终止而不是回退 CPUgpus: all与NVIDIA_VISIBLE_DEVICES: all、NVIDIA_DRIVER_CAPABILITIES: compute,utility——把 GPU 暴露给容器NVIDIA_VISIBLE_DEVICES之外的INSIGHTFACE_SEARCH_DEVICE_ID默认0控制搜索使用的 GPU 索引端口映射18098:8080所以 CUDA 部署的访问地址是http://SERVER:18098/CPU 部署是 18097。文件还通过${INSIGHTFACE_AUTH_ENABLED:-false}等写法把认证开关、API key、日志级别、搜索 profile 等留成主机侧环境变量默认关闭认证以便隔离评估。如果要在对外网络启用认证在启动前导出INSIGHTFACE_AUTH_ENABLEDtrue和一个足够长的随机INSIGHTFACE_API_KEY再执行up -d。server/config/server.toml被只读挂载到/etc/insightface/server.toml其中的max_concurrency auto在 CUDA 下解析为 8 条并发模型流水线配置只在进程启动时读取一次改完需要重启容器才生效。确认 CUDA 执行提供者生效启动时的 fail-fast 校验每次 CUDA 启动时Server 会检查 GPU 型号、Compute Capability、驱动、实际的 CUDA/cuDNN/ONNX Runtime 版本、CUDAExecutionProvider是否存在、真实的检测与识别 Session并执行真实的 warm-up 推理它会审计 provider 分配任何一项失败就终止进程。因此容器还活着 health 就绪本身就说明启动校验通过了但仍建议按下述方式显式确认。用 API 验证health 检查是公开的返回 200 且status: ready表示启动完成且 SQLitequick_check通过curl -sS http://127.0.0.1:18098/v1/health文档示例响应api.md 中的示例request_id为占位说明{status:ready,auth_enabled:false,request_id:...}接下来用诊断端点确认实际加载的 provider。默认关闭认证时可直接调用如果启用了认证按 api.md 的约定追加Authorization: Bearer api_key头curl -sS http://127.0.0.1:18098/v1/system curl -sS http://127.0.0.1:18098/v1/models/v1/system返回 GPU、Compute Capability、NVIDIA 驱动、CUDA/cuDNN/ONNX Runtime 版本以及实际 providers/v1/models返回已验证的模型包和execution_provider字段。两处都应体现CUDAExecutionProvider。用户指南的判定标准是CUDA 部署必须报告CUDAExecutionProvider它永远不会静默回退到 CPU。用 Web UI 验证浏览器打开http://SERVER:18098/在录入数据前先查看Dashboard或System页面服务、数据库、模型和 provider 都应就绪System 页同样会展示CUDAExecutionProvider。完成确认后再创建 Collection、注册 Person 并执行 Search。启动失败时如何定位按用户指南第 10 章当驱动、GPU、模型会话、provider 或 warm-up 校验失败时CUDA 启动失败是有意为之的行为容器会退出排查入口是System页面、容器日志docker compose -f server/deploy/compose.cuda12.yml logs以及响应中的request_id。此外驱动不满足上文表格下限是最常见的前提性问题。以下能力当前版本0.2.0明确不支持属于排查时的边界CUDA 11、Jetson、ARM64、Windows 容器、TensorRT、Kubernetes见 README 的 phase-one scope 一节。停止与可选的源码构建停止服务时用不带-v的down保留命名数据卷中的 SQLite 数据库docker compose -f server/deploy/compose.cuda12.yml down加-v会永久删除命名数据卷除非确定要清库否则不要使用。如果需要基于本仓库源码构建镜像构建上下文是完整仓库可以改用make -C server build-cuda12 docker compose -f server/deploy/compose.cuda12.yml \ run --rm --pull never models install buffalo_l --accept-license docker compose -f server/deploy/compose.cuda12.yml \ up -d --no-build --pull never--pull never确保 Compose 使用本地构建的镜像构建过程仍会下载固定版本的基础镜像和依赖。官方固定标签是0.2.0-cuda12移动的cuda12标签指向该运行时族的最新稳定版仓库刻意不提供latest标签。【免费下载链接】insightfaceState-of-the-art 2D and 3D Face Analysis Project项目地址: https://gitcode.com/GitHub_Trending/in/insightface创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何用 CUDA 12 GPU 容器启动 InsightFace Server 并确认 CUDA 执行提供者生效？
如何用 CUDA 12 GPU 容器启动 InsightFace Server 并确认 CUDA 执行提供者生效【免费下载链接】insightfaceState-of-the-art 2D and 3D Face Analysis Project项目地址: https://gitcode.com/GitHub_Trending/in/insightfaceInsightFace Server 是一个自带 Web UI、REST API 和 SQLite 的自托管人脸识别服务支持本地 CPU 或 NVIDIA GPU 推理。本任务是在装有 NVIDIA GPU 的 Linux x86_64 主机上用官方 CUDA 12 镜像启动它并确认推理确实运行在CUDAExecutionProvider上——该部署方式在 GPU、驱动或模型会话校验失败时会直接退出不会静默回退到 CPU所以启动后必须主动验证执行提供者。准备条件按 用户指南 的说明主机需要Linux x86_64已安装 Docker Engine 和 Docker Compose受支持的 NVIDIA GPU、NVIDIA 驱动和 NVIDIA Container Toolkit不需要在主机上安装 CUDA、cuDNN、ONNX Runtime、Python 或 OpenCV——这些都在镜像里。驱动版本有明确下限来自用户指南第 14 章GPU 架构驱动要求Turing、Ampere、Ada、HopperR535 或更新Blackwell 和 RTX 50 系列570.26 或更新新部署建议优先使用稳定的 R580 或更新驱动。架构兼容不代表所有 GPU 型号都经过正式认证。镜像为ghcr.io/deepinsight/insightface-server:0.2.0-cuda12见 server/README.md 的运行时表内部自带 CUDA Runtime 12.9.1、cuDNN 9.24.0、Python 3.11 和onnxruntime-gpu1.27.0。另外注意公开 InsightFace 预训练模型仅限非商业研究用途商业使用需单独授权。以下命令都在完整的 InsightFace 仓库检出目录的根目录下执行。安装模型镜像本身不含模型需要先通过一次性的models服务把模型包安装到server/.models目录Compose 文件会把它只读挂载到容器的/modelsmkdir -p server/.models docker compose -f server/deploy/compose.cuda12.yml pull docker compose -f server/deploy/compose.cuda12.yml \ run --rm models install buffalo_l --accept-license安装时会写入manifest.json和带签名的MODEL.LICENSE。如果不带--accept-license工具只会打印许可条款并退出、不下载。支持的公开模型包还有buffalo_m、buffalo_sc和antelopev2本任务以默认的buffalo_ldet_10g.onnxw600k_r50.onnx为例。装完可以用下面的命令校验包身份、签名许可和授权有效性docker compose -f server/deploy/compose.cuda12.yml \ run --rm models verify buffalo_l启动 CUDA 12 容器docker compose -f server/deploy/compose.cuda12.yml up -d curl -fsS http://127.0.0.1:18098/v1/healthcompose.cuda12.yml 中几个与 GPU 推理直接相关的关键配置解释了为什么 CUDA 会生效以及为什么失败时会退出INSIGHTFACE_EXECUTION_PROVIDER: CUDAExecutionProvider——显式指定 ONNX Runtime 执行提供者INSIGHTFACE_STRICT_CUDA: 1——开启严格 CUDA 模式校验失败即终止而不是回退 CPUgpus: all与NVIDIA_VISIBLE_DEVICES: all、NVIDIA_DRIVER_CAPABILITIES: compute,utility——把 GPU 暴露给容器NVIDIA_VISIBLE_DEVICES之外的INSIGHTFACE_SEARCH_DEVICE_ID默认0控制搜索使用的 GPU 索引端口映射18098:8080所以 CUDA 部署的访问地址是http://SERVER:18098/CPU 部署是 18097。文件还通过${INSIGHTFACE_AUTH_ENABLED:-false}等写法把认证开关、API key、日志级别、搜索 profile 等留成主机侧环境变量默认关闭认证以便隔离评估。如果要在对外网络启用认证在启动前导出INSIGHTFACE_AUTH_ENABLEDtrue和一个足够长的随机INSIGHTFACE_API_KEY再执行up -d。server/config/server.toml被只读挂载到/etc/insightface/server.toml其中的max_concurrency auto在 CUDA 下解析为 8 条并发模型流水线配置只在进程启动时读取一次改完需要重启容器才生效。确认 CUDA 执行提供者生效启动时的 fail-fast 校验每次 CUDA 启动时Server 会检查 GPU 型号、Compute Capability、驱动、实际的 CUDA/cuDNN/ONNX Runtime 版本、CUDAExecutionProvider是否存在、真实的检测与识别 Session并执行真实的 warm-up 推理它会审计 provider 分配任何一项失败就终止进程。因此容器还活着 health 就绪本身就说明启动校验通过了但仍建议按下述方式显式确认。用 API 验证health 检查是公开的返回 200 且status: ready表示启动完成且 SQLitequick_check通过curl -sS http://127.0.0.1:18098/v1/health文档示例响应api.md 中的示例request_id为占位说明{status:ready,auth_enabled:false,request_id:...}接下来用诊断端点确认实际加载的 provider。默认关闭认证时可直接调用如果启用了认证按 api.md 的约定追加Authorization: Bearer api_key头curl -sS http://127.0.0.1:18098/v1/system curl -sS http://127.0.0.1:18098/v1/models/v1/system返回 GPU、Compute Capability、NVIDIA 驱动、CUDA/cuDNN/ONNX Runtime 版本以及实际 providers/v1/models返回已验证的模型包和execution_provider字段。两处都应体现CUDAExecutionProvider。用户指南的判定标准是CUDA 部署必须报告CUDAExecutionProvider它永远不会静默回退到 CPU。用 Web UI 验证浏览器打开http://SERVER:18098/在录入数据前先查看Dashboard或System页面服务、数据库、模型和 provider 都应就绪System 页同样会展示CUDAExecutionProvider。完成确认后再创建 Collection、注册 Person 并执行 Search。启动失败时如何定位按用户指南第 10 章当驱动、GPU、模型会话、provider 或 warm-up 校验失败时CUDA 启动失败是有意为之的行为容器会退出排查入口是System页面、容器日志docker compose -f server/deploy/compose.cuda12.yml logs以及响应中的request_id。此外驱动不满足上文表格下限是最常见的前提性问题。以下能力当前版本0.2.0明确不支持属于排查时的边界CUDA 11、Jetson、ARM64、Windows 容器、TensorRT、Kubernetes见 README 的 phase-one scope 一节。停止与可选的源码构建停止服务时用不带-v的down保留命名数据卷中的 SQLite 数据库docker compose -f server/deploy/compose.cuda12.yml down加-v会永久删除命名数据卷除非确定要清库否则不要使用。如果需要基于本仓库源码构建镜像构建上下文是完整仓库可以改用make -C server build-cuda12 docker compose -f server/deploy/compose.cuda12.yml \ run --rm --pull never models install buffalo_l --accept-license docker compose -f server/deploy/compose.cuda12.yml \ up -d --no-build --pull never--pull never确保 Compose 使用本地构建的镜像构建过程仍会下载固定版本的基础镜像和依赖。官方固定标签是0.2.0-cuda12移动的cuda12标签指向该运行时族的最新稳定版仓库刻意不提供latest标签。【免费下载链接】insightfaceState-of-the-art 2D and 3D Face Analysis Project项目地址: https://gitcode.com/GitHub_Trending/in/insightface创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考