最新发布!查看 MagicData 成品数据集

新闻

press images

Magic DataCEO张晴晴:“情感”人机交互,要从底层数据开始

发布时间 : 2021-10-16     阅读量 : 502

“人类与虚拟世界之间的连接与沟通,必然要通过人机交互技术来完成,其实我们所做的事情最终会在元宇宙中体现出来,也会成为元宇宙基础设施建设的重要一环。” 在CNCC大会前AI科技评论的专访中,张晴晴说道。

第十八届中国计算机大会( CNCC 2021)将于10月28日-30日在深圳国际会展中心举行,CNCC由中国计算机学会(CFF)主办,国家超级计算深圳中心承办(深圳云计算中心),香港中文大学(深圳)协办,是中国计算领域首屈一指的年度盛会。

在111多场技术论坛中,AI科技评论注意到,Magic Data创始人兼CEO张晴晴联合产学各界大咖承办了一场【人机交互技术的机遇与挑战】分论坛。提到“人机交互”难免会让人想到最近风靡全球的一个新概念——元宇宙(MetaVerse)。

在1992年科幻小说《雪崩》中,元宇宙被描述为一个脱胎于现实世界,又平行于现实世界,且相互影响、始终在线的虚拟世界。“元宇宙并非遥不可及的人类幻象,随着人机交互技术的发展,也许未来人类能够在虚拟世界与真实世界之间自由穿梭”。张晴晴告诉AI科技评论,Magic Data之所以在CNCC大会上承办此次论坛,元宇宙的爆火也是一个契机。

“无论是真实世界,还是虚拟世界,未来人机交互技术终究会覆盖到人类生活的所有场景中”。希望通过这场论坛让更多人了解人机交互技术的发展现状,也希望通过产学结合的交流平台,为人机交互的未来发展拓展出更多的思路。

AI科技评论了解到,本次论坛邀请中科院声学所研究员、博士生导师颜永红;Magic Data创始人兼CEO张晴晴;美的集团IoT副总裁兼CTO向江旭;阿里巴巴达摩院语音实验室田彪、香港中文大学(深圳)数据科学学院教授宋彦出席,四位产学专家将就人机交互、智能语音技术的应用、对话式AI技术、语料库建设、多模态语音交互技术、自然语言处理等重点议题作主题报告。

作为论坛主席,张晴晴也将带来一场题为《多语种对话式AI技术及语料库建设》的主旨演讲,和与会嘉宾分享对话式AI技术的机遇以及Magic Data语料库建设成果。

在论坛开始前,AI科技评论有幸采访了张晴晴,与她聊了聊语音交互技术当前的机遇与挑战。

语音交互技术视角下的对话式AI

在张晴晴看来,人机交互也好,虚拟世界也好,所有的 AI 要解决的终极问题是人的情感诉求。“人与机器之间的交互不应该只是一问一答的简单对话或者命令控制,而是要理解语言的上下文,识别人的情感需求并做出相应的反馈”。

对话式的交互场景在我们的日常生活中无处不在。就目前的落地场景来看,人机对话模式仍处在机械、呆板的初级阶段,例如,当我们感觉室内气温很高时,通常会命令智能设备“打开空调”,而不是说一声“好热呀”,自然而真实的情感表达可能无法被AI所理解,并做出调低温度等反馈动作。

“对话式AI的精髓是让人类能够随心所欲地表达”,张晴晴强调。在技术层面,对话式 AI 涉及语音识别、自然语言理解和语音合成等核心技术。想要通过这些技术实现人和机器之间更自然的对话,张晴晴谈了两点技术挑战:

一是个体语言体系的差异化,由于所处地域、文化、教育背景的不同,每个人的语言表达都是独特的,这种个性化在人与人之间的沟通中都难免出现理解偏差,更何况是一台机器。对于AI而言,中文不是一种语言,而是13亿种语言。

二是对话式口语常常会有语序颠倒、犹豫、迟疑产生的停顿,在复杂的多人交互场景中,也不可避免会出现语句打断、抢话、交叠音等问题,这些语音特征为 AI 建模带来了很大困难。

在张晴晴看来,真实的对话数据和多语种语料库建设是解决上述问题的关键。“当前行业提供的大部分人工智能数据都以朗读式训练数据为主,而人与人自然的对话式数据对训练对话式 AI 有更加关键的作用;我们需要为机器注入知识图谱、中文、方言、外语等多种语料,才能让机器像人一样理解自然语言”。

据悉,Magic Data已拥有超过20万小时数据产品,涵盖超过60种语言,既有英语、日语等常用语种,也提供马来语、泰语、印尼语等特色语种。张晴晴于2016年创办人工智能数据公司Magic Data,面向智慧金融,智能出行、智能家居、智能社交、智慧终端等领域提供数据服务,包括数据的定向采集、数据的处理、标签化,以及高效的数据处理工具等。在她看来,“人工智能三驾马车中,数据是算法的食粮,数据好比原油,只有经过清洗、分类、标注、质检和筛选等结构化过程,才能用于AI模型训练。”

在本次主题报告中,张晴晴将从对话式AI出发,探讨对话式口语交互为语音识别带来哪些挑战,如何通过双语声学建模、发音词典如何构建双语识别系统,解决非母语发音的插入语问题,以及介绍多语种语料库建设对AI识别率提升起到积极的作用。

值得关注的是,为了满足日益多样化的场景需要,多模态取代单一人机交互成了产学界普遍关注的新方向。所谓多模态是指融合视觉、听觉、触觉、嗅觉甚至味觉的交互方式,其表达效率和信息都优于单一的视觉或听觉模式。张晴晴表示,在自然语言、视觉和语音技术日渐成熟的今天,多模态的兴起是人工智能向前发展的必然趋势。

“人类对世界的认知也并不是单模态的。在AI真正落入产业的过程中,我们发现语音、图像、文本之间的相互融合是一个不能避免的问题。”在人机交互过程中,机器要想感知人的情感色彩,光靠声音是不够的。人的情绪既可能体现在声音中,也可能蕴含在面部表情或语言内容中,情绪感知是一个多模态综合评价的结果。

在本次论坛中,美的集团IoT副总裁兼CTO向江旭、阿里巴巴达摩院研究员田彪、香港中文大学(深圳)数据科学学院教授宋彦都将带来有关多模态人机交互的主旨演讲。

即刻与 Magic Data 建立联系?

联系我们

TOP
联系我们