“你好,欢迎来到北京冬奥会。”在冬奥村,名叫“爱加”的志愿者随时提供咨询服务。与其他冬奥会志愿者不同,“爱加”是虚拟人,会中英日俄法西6种语言,不管是冬奥赛事、赛程查询,还是交通、文化、旅游问答,都能快速回应。
这是科大讯飞助力北京2022年冬奥会的代表产品之一。作为北京2022年冬奥会和冬残奥会官方自动语音转换与翻译独家供应商,科大讯飞围绕实现“沟通无障碍”,在北京、张家口赛区提供了翻译机、穿戴式翻译耳机等产品,为参加奥运会的人员提供语音识别、机器翻译等服务。
“奥运精神是更高、更快、更强、更团结,科大讯飞希望用科技力量让世界更美好。在冬奥赛场上,我们将通过技术实现沟通无障碍。”科大讯飞高级副总裁杜兰说。
提供智能化服务
做好面向全球的跨语言服务、多语种信息发布和传播,是办好冬奥会的基本保障之一。科大讯飞董事长刘庆峰介绍,凭借机器翻译和多语言语音转换技术,科大讯飞围绕“人和人之间沟通无障碍、人和组织之间沟通无障碍、人和赛事之间沟通无障碍”三大方向,加速应用场景落地。
基于智能语音新一代人工智能开放创新平台,科大讯飞研发定制了多语种智能语音及语言服务平台,提供面向冬奥场景定制优化的语音识别、语音合成、机器翻译、自动问答等功能,支持60个语种语音合成、69个语种语音识别、168个语种机器翻译和3个语种交互理解。
针对冬奥会特定的场景需求,科大讯飞构建了中英日俄法西6个语种的冬奥知识问答系统,知识范围包括冬奥常识、项目信息和人物信息等。同时,依托虚拟形象作为载体,融合手势、视线等多模感知交互技术,实现人与机器“同理共情”。“听障人士听不见比赛结果,但可以看见屏幕上同步的多国字幕;视障人士看不见文字,但可以‘听’得见文字。”刘庆峰说。
科大讯飞打造的智能服务机器人平台也在首钢园应用落地,在语言翻译、导航、酒店入住、赛事查询、旅游观光等环节,为运动员、赛事服务人员提供智能化、个性化服务。
应用多项新技术
要实现冬奥场景下沟通无障碍并非易事,要保证语种足够全、翻译足够准、反应足够快。比如,多语种语音语言技术涉及60种语音识别、合成、翻译等相关技术的研发,一些小语种语言体系复杂、数据资源稀缺。
对此,科大讯飞联合中国科学技术大学开展端到端建模,以及无监督、自监督训练技术的研发工作。在语音识别上,提出了基于形态聚类的分组端到端统一建模技术,相比基线独立建模平均错误率下降14.18%;在语音合成上,提出基于听感量化编码的多语种统一建模和迁移学习方法,实现多语种多话者端到端语音合成联合建模。
“我们推出的双屏翻译机,重点语种翻译准确率不低于95%,平均每句翻译响应时间不超过0.5秒。”科大讯飞AI研究院副院长刘俊华说。
不少参赛运动员表示:“北京冬奥会提供的双屏翻译机,让来自不同国家和地区的运动员可以随时随地实现无障碍交流,翻译得既准确又流畅,几乎没有出现卡顿情况。在拉进彼此距离的同时,也为大家提供充分沟通学习的机会。”
智能问答是当前人工智能领域研究的热点方向,面临口语化歧义性、意图理解识别准确度、对知识内容覆盖度等问题,在多语种研发过程中,由于语言人才不足,在知识构建和语言现象分析方面更为困难。
据介绍,科大讯飞采用系统组合方案,提高通用技术水平,提出基于片段语义提取和查询图构造的语义理解方案,减少对数据依赖,并利用多语种预训练模型和自有机器翻译模型,实现6个语种间的数据对齐,最终将6个语种交互的成功率均提升到85%以上。
为保障冬奥期间相关产品稳定性,科大讯飞技术团队在产品上实现自动切换功能以应对突发情况,并提供全天候服务应对措施。
满足多语种需求
“借助北京冬奥会这一契机,企业品牌影响力和品牌价值都得到大幅提升。”在刘庆峰看来,冬奥会不仅是企业展示技术的窗口,更是加速技术成熟的机遇期。
为服务冬奥会,科大讯飞拓展了多语种相关方向,系统性研发了多语种的语音识别、语音合成、机器翻译、图文识别等技术,推动公司转型升级。刘庆峰表示,未来,他们将向全球提供70个语种的语音交互、智能翻译能力,并形成整体解决方案。希望通过多语种语音语言核心技术创新和产业应用落地,满足国家和市场对多语种翻译的需求,让中国声音、中国故事传得更远。
“冬奥会犹如最前沿科技应用的‘试验田’,企业研发的新科技将在冬奥会后,应用到城市管理、智能制造等多个领域。”刘俊华说,企业将进一步拓展海外市场,陆续推出海外版本的讯飞翻译机、录音笔等智能硬件。