从0到1搭建中文语音文本规范化系统：gh_mirrors/ch/chinese_text_normalization用户指南

从0到1搭建中文语音文本规范化系统gh_mirrors/ch/chinese_text_normalization用户指南【免费下载链接】chinese_text_normalizationChinese text normalization for speech processing项目地址: https://gitcode.com/gh_mirrors/ch/chinese_text_normalization中文语音文本规范化Text Normalization是语音处理 pipeline 中的关键环节它能将非标准文本如数字、日期、货币等转换为自然口语表达形式。本文将带你快速上手 gh_mirrors/ch/chinese_text_normalization 项目轻松实现中文语音文本的标准化处理。 为什么需要文本规范化在语音识别ASR和语音合成TTS系统中原始文本往往包含大量非标准表达324.75克 → 三百二十四点七五克86年8月18日 → 八六年八月十八日12块5 → 十二块五这些转换规则看似简单实则涉及语言特性、上下文理解等复杂问题。该项目提供了开箱即用的解决方案避免重复造轮子。✨ 核心功能与支持类型项目支持多种非标准词NSW的规范化处理覆盖语音处理常见场景类型原始文本示例规范化结果数字324.75三百二十四点七五日期86年8月18日八六年八月十八日分数7/12十二分之七货币34.5元三十四点五元百分比62百分之六十二电话号码0421-33441122零四二一三三四四一一二二此外还支持标点符号过滤和英文大小写转换可通过 python/cn_tn.py 脚本灵活配置。 快速开始3步实现文本规范化1️⃣ 准备环境确保系统已安装 Python 3Python 2.x 不兼容克隆项目代码库git clone https://gitcode.com/gh_mirrors/ch/chinese_text_normalization cd chinese_text_normalization2️⃣ 运行示例项目提供多种格式文本的处理脚本位于 python/run.sh处理纯文本文件默认格式cd python sh run.sh脚本会自动处理 example.txt 并生成output.txt通过diff命令对比原始文本与规范化结果。处理 Kaldi 格式文件python3 cn_tn.py --format ark example.ark output.ark处理表格格式文件python3 cn_tn.py --format tsv example.tsv output.tsv3️⃣ 查看结果规范化后的文本将保留原始语义但更符合口语表达习惯。例如输入电影中梁朝伟扮演的陈永仁的编号27149输出电影中梁朝伟扮演的陈永仁的编号二七一四九️ 高级配置与扩展支持的输入格式项目支持三种主流文本格式通过--format参数切换纯文本.txt每行一句文本如 example.txtKaldi 归档格式.ark含键值对的语音数据格式如 example.ark表格格式.tsv带表头的结构化数据仅处理 TEXT 字段如 example.tsv自定义规则若需扩展规范化规则可修改以下核心文件数字转换规则thrax/src/cn/number.grm日期处理逻辑thrax/src/cn/date.grm货币转换规则thrax/src/cn/amount.grm 项目结构与资源项目采用模块化设计主要包含两大功能模块chinese_text_normalization/ ├── python/ # Python实现的文本规范化 │ ├── cn_tn.py # 主程序入口 │ └── run.sh # 快捷运行脚本 └── thrax/ # Thrax实现的反向文本规范化 ├── src/cn/ # 中文规则文法 └── run_cn.sh # Thrax运行脚本更多技术细节可参考项目文档安装指南thrax/INSTALL.txt规则定义thrax/src/cn/ 常见问题解决Q: 运行脚本提示缺少依赖A: 确保已安装 Python 3 及相关库Thrax 模块需额外安装 Kaldi 工具链。Q: 如何处理特殊符号或领域术语A: 可修改 thrax/src/cn/hotfix.grm 添加自定义规则或通过 hotfix.list 补充例外情况。Q: 支持哪些语言A: 核心支持中文同时包含英文 thrax/src/en/ 和俄语 thrax/src/ru/ 的规范化规则。 总结gh_mirrors/ch/chinese_text_normalization 提供了 production 级别的中文语音文本规范化解决方案无需从零构建复杂规则系统。通过简单配置即可集成到 ASR/TTS pipeline显著提升语音处理系统的准确性和自然度。无论是学术研究还是工业应用都是值得尝试的实用工具。想要深入了解文本规范化原理可参考项目引用的学术论文thrax/papers/【免费下载链接】chinese_text_normalizationChinese text normalization for speech processing项目地址: https://gitcode.com/gh_mirrors/ch/chinese_text_normalization创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考