GigaAM Multilingual震撼发布：70+语言语音识别的革命性突破，2M小时训练打造220M/600M参数模型

GigaAM Multilingual震撼发布70语言语音识别的革命性突破2M小时训练打造220M/600M参数模型【免费下载链接】GigaAM-Multilingual项目地址: https://ai.gitcode.com/hf_mirrors/ai-sage/GigaAM-MultilingualGigaAM Multilingual是一个基于Conformer的基础模型系列220M/600M参数通过HuBERT风格的目标在70多种语言的200万小时语音上进行预训练并使用字符级CTC解码器在50K小时数据上进行语音识别微调。该模型在俄语、哈萨克语、吉尔吉斯语和乌兹别克语上提供了开源领域的最佳质量在英语上也有不错表现。 模型亮点重新定义多语言语音识别标准GigaAM Multilingual家族包含多个强大变体满足不同场景需求ssl— 220M参数自监督编码器ctc— 220M参数带字符级CTC解码器的ASR模型large_ssl— 600M参数自监督编码器large_ctc— 600M参数带字符级CTC解码器的ASR模型 核心技术架构该模型采用先进的Conformer架构结合了Transformer和CNN的优势特征提取使用Log-mel频谱图特征采样率16000Hz特征维度64编码器16层Conformer结构768维模型维度16头注意力机制解码器字符级CTC解码器支持71种字符集包含多语言字符 性能突破多语言识别能力全面领先在Common Voice、FLEURS和内部真实测试集上的词错误率%表现如下超过30秒的语音和含数字的参考文本已排除参考文本/假设文本均经过标准化处理使用贪婪解码语言数据集GigaAM MultilingualGigaAM Multilingual LargeOmnilingual 1B (LLM)Seamless M4T large v2Whisper large v3英语CV26.021.524.716.220.0英语FLEURS12.29.47.15.83.9俄语CV7.15.113.69.29.1俄语FLEURS4.43.06.44.63.1俄语内部7.66.014.616.110.1哈萨克语CV17.213.823.723.857.8哈萨克语FLEURS5.24.46.66.832.4哈萨克语内部18.815.832.262.965.2吉尔吉斯语CV12.510.221.614.395.2吉尔吉斯语FLEURS7.05.58.19.586.3吉尔吉斯语内部11.19.825.078.3102.2乌兹别克语CV11.39.232.825.1109.9乌兹别克语FLEURS10.07.315.411.9105.4乌兹别克语内部13.812.730.240.0120.6特别值得注意的是在俄语、哈萨克语、吉尔吉斯语和乌兹别克语等欠资源语言上GigaAM Multilingual Large模型显著优于其他开源方案部分场景错误率降低50%以上。 快速开始3行代码实现多语言语音识别环境准备推荐使用以下版本的依赖库torch2.10.*,torchaudio2.10.*transformers5.*hydra-core,omegaconf任意版本安装与使用克隆仓库git clone https://gitcode.com/hf_mirrors/ai-sage/GigaAM-Multilingual cd GigaAM-Multilingual基础使用示例from transformers import AutoModel revision ctc # 可选变体: ssl, ctc, large_ssl, large_ctc model AutoModel.from_pretrained( ai-sage/GigaAM-Multilingual, revisionrevision, trust_remote_codeTrue, ) transcription model.transcribe(example.wav) print(transcription)完整使用指南可参考example。 高级应用适应新语言的微调指南ssl/large_ssl骨干模型可以适应新的语言具体步骤请参考微调指南和示例笔记本。模型配置文件config.json中包含了完整的网络结构参数可根据需求进行调整。特征提取和模型定义的核心代码在modeling_gigaam.py中实现。 引用与致谢如果您在研究中使用了GigaAM Multilingual请引用以下论文misc{gigaam_multilingual, title{GigaAM Multilingual: Foundation Model for Underrepresented Languages}, author{Andrei Kuzmenko and Alexandr Maximenko and Aleksandr Kutsakov and Georgii Gospodinov and Dmitrii Bolotov and Oleg Kutuzov and Pavel Bogomolov and Fyodor Minkin}, year{2026}, eprint{2607.10371}, archivePrefix{arXiv}, primaryClass{eess.AS}, url{https://arxiv.org/abs/2607.10371} }GigaAM Multilingual模型为多语言语音识别领域带来了革命性突破特别是在欠资源语言方面。无论是学术研究还是商业应用它都提供了强大而高效的解决方案推动语音技术向更包容、更全面的方向发展。【免费下载链接】GigaAM-Multilingual项目地址: https://ai.gitcode.com/hf_mirrors/ai-sage/GigaAM-Multilingual创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考