FunASR + SenseVoice Small 在Nvidia上推理优化技术方案

1. 背景与目标模型SenseVoice Small (基于 FunASR 框架)场景大规模语音转写涉诈识别前置处理需处理至少 2 万条数据。痛点原始流程中 VAD 分段耗时较长且全精度FP32推理显存占用高、速度慢。目标在保持识别精度的前提下提升吞吐量QPS降低显存峰值。2. 方案详解方案一移除 VAD 预处理 (Direct Input)2.1 核心逻辑默认情况下FunASR 会先加载一个 VAD 模型将长音频切割成短片段再逐个送入 ASR 模型。方案一直接跳过 VAD将原始音频文件直接输入 SenseVoice。2.2 代码实现from funasr import AutoModel # 初始化模型时不加载 VAD model AutoModel( modelmodel_dir, # SenseVoice Small 路径 trust_remote_codeTrue, remote_coderemote_code_py, # vad_modelNone, # 关键不指定 vad_model 或注释掉 devicefcuda:{gpu}, # 指定具体 GPU 卡 disable_updateTrue, hubms # 建议从 ModelScope 加载避免 HuggingFace 网络问题 ) # 推理调用 res model.generate( inputsave_file_path, cache{}, languagezh, use_itnTrue, # 启用逆文本标准化数字转中文等 batch_size_s60, # 批处理大小秒根据显存调整 merge_vadFalse, # 因为没做 VAD此参数无效或设为 False )2.3 优缺点分析维度优势风险/劣势速度极快。省去了 VAD 模型的加载和前向计算时间。如果音频极长30s单次推理耗时可能增加。显存较低。无需额外加载 VAD 模型权重。显存峰值不可控。若直接输入长音频Transformer 的注意力机制会导致显存随序列长度平方级增长。精度避免了 VAD 误切导致的语义断裂。对于含大量静音的音频模型可能会产生幻觉或重复输出。适用性适合短音频15s或连续性强的通话录音。不适合长达数分钟且中间有大量静音的录音。方案二FP16 半精度自动混合精度推理 (AMP)2.1 核心逻辑利用 PyTorch 的torch.cuda.amp.autocast上下文管理器在支持的算子如 Conv, Linear上自动使用 Float16 进行计算不支持的算子保持 Float32。2.2 代码实现import torch from funasr import AutoModel # 1. 模型初始化保留 VAD 但优化参数并尝试指定 dtype model AutoModel( modelmodel_dir, vad_modelvad_model_dir, # 建议保留 VAD防止长音频显存爆炸 trust_remote_codeTrue, devicefcuda:{gpu}, disable_updateTrue, # 如果 FunASR 版本支持直接在这里设置半精度 # dtypefloat16 ) # 2. 推理函数 def optimized_infer(audio_path): 结合 FP16 和优化后的 VAD 参数 with torch.cuda.amp.autocast(dtypetorch.float16): res model.generate( inputaudio_path, cache{}, languagezh, use_itnTrue, batch_size_s60, # 根据显存剩余情况动态调整A10/V100 可设更大 merge_vadTrue, # 合并 VAD 切片减少模型调用次数 merge_length_s15, # 合并阈值15秒内的片段合并为一个推理请求 max_single_segment_time30000, # VAD 最大单段时长(ms)避免切得太碎 min_silence_duration_ms500 # 静音阈值适当提高以减少无效分段 ) return res为什么推荐保留 VAD显存安全涉诈录音有时长达几分钟。如果不做 VAD直接送入 Transformer序列长度过长会导致OOM (Out Of Memory)。并行效率merge_vadTrue可以将多个短片段合并成一个 Batch 送入模型比完全去掉 VAD 后串行处理长音频更高效。噪音过滤VAD 可以剔除开头的静音和中间的长时间停顿减少模型对噪音的误识别。4. 性能对比预估 (基于 A10/V100 32G)指标原始方案 (FP32 默认 VAD)方案 1 (去 VAD)方案 2 (FP16 优化 VAD)推荐方案单条耗时~1.5x~1.0x (短音频) / ~3.0x (长音频 OOM)~0.6x~0.7x显存峰值HighMedium (短) / Crash (长)LowLow识别稳定性HighMedium (长音频易出错)HighHigh工程复杂度LowLowMediumMedium5.实测使用方案2推理效率和速度翻倍针对普通话转写结果无明显差异方言等会不一样有时会更好有时不如全精度的。