Mistral发布新开源语音生成模型 支持多语言与实时性能

法国AI公司Mistral于周四发布了一款新的开源文本转语音模型Voxtral TTS，可用于语音AI助手及企业客户支持等场景，使其与ElevenLabs、Deepgram、OpenAI等公司形成直接竞争。该模型支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语共九种语言。Mistral AI科学运营副总裁Pierre Stock在电话采访中表示，客户对语音模型有需求，因此公司开发了这款小型化模型，可适配智能手表、智能手机、笔记本电脑等边缘设备，成本仅为市场同类产品的一小部分，但性能达到行业领先水平。该模型基于Ministral 3B构建，能通过不足五秒的语音样本适配自定义声音，捕捉细微口音、语调、抑扬顿挫及语音流中的不规则特征，且可在不同语言间切换时保持声音特性，适用于配音或实时翻译等场景，旨在让声音听起来更自然而非机械。据介绍，模型针对实时性能设计，在处理500字符、10秒样本时，首音频输出时间（TTFA）为90毫秒，实时因子（RTF）为6倍，即渲染10秒音频仅需约1.6秒。今年早些时候，Mistral已推出两款转录模型，分别用于大批量处理和低延迟实时场景，此次新语音模型的发布或旨在为企业提供全套语音产品。Stock称公司计划打造端到端平台，处理音频、文本、图像等多模态输入输出，端到端智能体系统能通过音频输入输出获取更多信息。Mistral的定位是，其开源特性和可定制化优势将帮助企业选择其语音模型，因为企业可按自身需求进行调整。