文/陈根
你懂几国语言?据相关资料显示,世界上一共有7000多种语言。但是,我们懂的可能就只有几种或者几十种。而目前的计算机语音识别技术所能覆盖的则有100多种。这对于很多人来说,已经是天文级的数字了。但Meta新开源的语言模型却有着更大的突破。
自从和OpenAI、Google分道扬镳之后,Meta便在开源大模型方向上越走越深。日前,Meta在GitHub上新开源的AI语言模型——Massively Multilingual Speech ( MMS,大规模多语种语音)可以识别4000多种口头语言,是目前已知技术的40倍之多;还扩展了文本与语音之间的转化技术的涵盖范围,从大约100种语言到1100多种。不仅如此,Meta开源的MMS最突出的特点是不仅支持ASR,还支持TTS,也就是说不仅可以语音转文字,还可以文字转语音。
Meta的官网blog上特别提到的Tatuyo语,一种只有几百人在使用的小语种。虽然对于日常来说没什么用,但是对于研究来说却是一个很好的助手。那么,对于这种只有几百人使用的小语种,如何才能找到并有效的提炼数据集呢?
Meta介绍说,他们在数千种语言的音频数据收集过程中,使用了一种非常规的方法——宗教文本录音。“我们转向已被翻译成许多不同语言的宗教文本(例如《圣经》),并且其翻译已被广泛研究用于基于文本的语言翻译研究。而且,这些译本都有公开录音,记录了人们采用不同语言进行阅读的情景。”
同时,Meta 在 MMS 模型的训练中结合使用了公司的 “自监督语音表示学习”模型 wav2vec 2.0,使机器能够在不依赖标记训练数据的情况下进行学习;有了它,就可以在更少的数据上训练语音识别模型。
而对于此种方式可能导致的模型偏向性,Meta声称,“虽然这些数据来自特定领域,并且通常由男性阅读;但我们的分析表明,我们的模型在男性和女性声音方面表现同样出色。虽然录音的内容是宗教的,但我们的分析表明,这并不会使模型偏向于产生更多的宗教语言。”
在使用1B参数的wav2vec 2.0模型对1100多种语言进行多语言语音识别模型的训练的时候,研发人员发现,随着语言数量的增加,性能会有所下降,但非常轻微:从61种语言到1107种语言,字符错误率只增加约0.4%,但语言覆盖率却增加了17倍以上。”
就此问题,Meta还与OpenAI的Whisper做了详细的对比,在数据上训练的模型实现了一半的单词错误率,并且训练数据更少:Meta的训练数据只有45k小时的标注数据,要比Whisper少10倍,而语言支持却多了10倍,这是一个大的提高。不过,Meta亦表示它的新模型并不完美,“例如,语音转文本模型可能会错误转录选定的单词或短语,这存在一定风险。但是,我们仍然相信,整个 AI 社区的协作对于负责任地开发 AI 技术至关重要。”而目前,Meta 已经开源了相关的模型和代码,以便研究社区中的其他人可以在此工作基础上进行构建。
对于语音大模型的未来,Meta并没有完全做好设想,但他们希望可以通过称也做了设想,希望可以通过一个模型解决所有语言的多个语音任务。“我们为语音识别、语音合成和语言识别训练了不同的模型,但我们有理由相信在未来,一个模型将能够完成所有这些任务以及更多任务,从而带来更好的整体性能”,Meta 说道。
放眼未来,Meta希望扩大MMS的覆盖范围以支持更多语言,并改进其对方言的处理。进一步打破世界各地人群之间的语言障碍,让来自全球每个角落的人们都可以通过声音正常交流。这是一个美好的愿景,但我们相信这一天的迟早是要到来的。
以上就是陈根:Meta先下手为强推出AI大模型MMS的详细内容,更多请关注php中文网其它相关文章!