网页
综合
更新时间 2026-11-16 03:28:02
最难方言温州话被攻克!中国电信语音大模型支持30种方言,这题GPT-4o可不会做啊 – 量子位
自动蜘蛛
www.qbitai.com
正文约 2166 字
来自中国电信人工智能研究院,AI领域Fellow大满贯科学家李学龙带队,发布首个能听懂30多种多方言混说的大模型。
号称最难方言、“魔鬼的语言”的温州话,也不在话下。
在2024智算云生态大会上,星辰语音大模型被官宣发布并开源。
要知道,当前语音模型开源开放本来就少,而针对方言更是特定方言特定模型。
开源且支持30种方言,有且只有星辰这么一个。
作为首个完成大语言模型的研发且开源的央企,中国电信现在又在语音模态领域秀起了肌肉。
那就来说道此次发布的能支持最多方言的语音大模型,核心功能主要体现在识别上——
它打破了单一模型只能识别特定单一方言的困境,可同时识别理解粤语、上海话、四川话、温州话等30多种方言。
实际上,它早已获得国际权威赛事的能力认证,以及多个实际场景中落地。
它在国际语音顶会INTERSPEECH2024离散语音单元建模挑战赛上,星辰语音识别大模型斩获了语音识别赛道冠军。
同时在NIST(美国国家标准与技术研究院)举办的低资源粤语电话Babel语音识别任务上,取得业内最优结果。
并且已经在智能客服、12345热线等场景中落地。
据介绍,星辰语音大模型已在北京、福建、江西、广西等地万号智能客服系统试点应用。它能秒懂方言然后服务用户,日均处理约200万通电话。
智能客服翼声平台也接入了星辰大模型的语音理解和分析能力,实现31省全覆盖,每天处理125万通客服电话。
传统语音识别模型的处理方式,是针对一种方言单独训练一个模型。
这样一方面对运营维护提出了不小的挑战。这就意味着通用语音客服场景下, 需要维护多个方言模型。
另一方面,很难触达更小众的方言,他们数据量本身比较少,标注成本非常高,增强合成挑战大,很难单独训练出比较好的识别效果。
但中国电信不仅发布并开源,性能水平位于业内前列,而且还十分落地,那么星辰语音大模型又是如何炼成的。
我们知道,这背后不仅是大模型训练,还有前期数据准备,后期推理加速等等一整套系统工程,对于企业是技术工程以及资源等综合能力体现。
首先在大模型训练上,采用了这两个关键技术:超大规模语音预训练和多方言联合建模。
Scaling Law成为共识,那么在大规模参数以及多样性数据集情下,很可能就会出现模型预训练坍缩问题,即输出生成质量下降,变得重复、无意义以及缺乏多样性。
为了解决这一问题,他们提出了“蒸馏+膨胀”联合训练算法,最终实现80层模型稳定训练。据介绍,这一算法是业内首创。
基于离散语音表征,语音识别大模型通过“从语音到token再到文本”的建模新范式,将推理时语音传输比特率降低数十倍。
另外,联合建模使得模型学习到了各个方言之间的共性,显著降低了对新方言标注数据的需求。实验显示,有标注数据需求量降低为1%。
这是星辰语音大模型能率先实现单一模型识别30种方言混说的关键。
这直接解决了部分方言语音难获得、标注成本高昂的难题。传统那种只针对单一方言的识别方言,可能需要十万小时的标注数据量才能实现比较好的效果。但这显然并不适合那些小众方言的识别场景。
而在数据准备上,中国电信AI研究院透露,他们已构建超30种、超30万小时的高质量方言数据库。
在算力基础设施上面,在官宣首个大模型开源时就曾披露过,中国电信作为国内最早进入云计算领域的运营商,积累了大量算力建设和算力调度的核心技术。
有数据算力资源、有技术能力和场景积累,再加上大佬把持,中国电信语音大模型由此得以炼成。
但是大模型多模态,视觉模型正热门的当下,中国电信为何选择方言这个看似“冷门”的赛道发力语音大模型呢?
在公开采访中,中国电信对这一问题做出了回应。
宏观上看,我国是当前世界上语言资源更丰富的国家之一,拥有五大语系130多种语言。但是当下很多方言正面临着濒危或消亡,有数据统计,有25种使用人口不足千人,有的语言只剩下十几个人甚至几个人会说,这对方言的保护、文化的传承提出更大挑战。
在具体到我们日常的沟通。有这样一组数据值得关注。当前全国仍有约20%的人口尚未普及普通话,沟通效率比较低。这当中甚至还更多聚集在老年人群体,他们还面临着无法触及信息化服务困境。
大模型的技术范式,面对这两大刚需场景,提供了天然的解决出口。
大模型本身就是数据驱动,它能够更高效、系统地对方言进行整理归纳,是方言保护和传承的天然容器,以及极强的泛化能力。一个通用语音模型能同时实现多个任务,比如多语言/多方言语音识别、跨语言语音翻译、语种/情绪识别等,能够轻松覆盖多语种沟通交流。
为了进一步让技术普惠的加速,电信选择了开源的方式。
中国电信人工智能研究院语音大模型负责人李杰进一步解释了这方面的原因。
我们已将语音大模型全面开源,希望联合开发者共建覆盖更多方言的大模型,打破沟通壁垒,让老少边穷地区人们、老人等每个人都能享受到AI时代便利,也呼吁更多专家、方言爱好者及大众用户一起加入守护方言计划,共同传承语言文化,推动AI普惠。
作为头部运营商,中国电信最核心的业务场景就是智能客服。“每天都能接到几百万通电话,其中很大比例是方言或者有方言口音的普通话。”真正实践中他们发现,人们都还是更喜欢用方言来进行沟通。
因此语音大模型一面世,就率先落地到这一场景中去创造价值,逐步覆盖更多更广的地区之中。
本页为82搜索生成的网页快照,内容来自站内索引;演示数据的原文链接仅作示例。