我们提出了“元家居”概念，在家居的环境下，通过多模态融合感知技术，可以为用户提供一种全新的虚实结合的智能家居操作体验。

物理空间、虚拟空间和互联网空间三大空间结合一起，让人们在家居生活中感受到三大空间的服务和核心功能。

通过视觉、嗅觉、听觉等多模态信息感知，提供主动智能服务能力，让家居和人进行更自然的交互。

设备不仅感知人的行为，还可以感知水、空气、食材等物理环境。

不同品牌设备之间做到互相协同，智能家居行业可能就会起飞了。

我们一直在做第一个吃螃蟹的人，我们呼唤行业开放，当然我们自己也要开放。

CNCC论坛开展前，Magic Data对美的集团IoT副总裁兼CTO向江旭进行专访，他表达了以上精彩观点。

第十八届中国计算机大会（CNCC 2021）将于10月28日在深圳国际会展中心举行，CNCC由中国计算机学会（CCF）主办，国家超级计算深圳中心承办（深圳云计算中心），香港中文大学（深圳）协办，是中国计算机领域最宏大的年度盛会。

值Magic Data五周年之际，Magic Data借助此次CNCC大会联合产业界大咖主办一场《人机交互的机遇与挑战》分论坛。美的集团IoT副总裁兼CTO参加此次论坛并做《多模感知和人机交互在智能家居的应用探索》的主题报告。

在论坛正式开展前，主办方Magic Data采访了演讲嘉宾美的集团IoT副总裁兼CTO向江旭，以下为采访整理，希望给大家带来启发。

向江旭：美的集团IoT副总裁兼CTO

以下为采访正文

首提“元家居”概念 提供智能家居新体验

Magic Data：最近美的IoT举行智能化成果发布会，您在发布会提出了“元家居”概念，您能否简单介绍一下什么是“元家居”，美的在这方面如何布局的？

向江旭：对。我们提出了“元家居”概念，在家居的环境下，通过多感知和交互，提供一个虚实结合的智能化家居操作体验。发布会上，美的主要发布了四大物联网平台，包括物联网操作系统、物联网中台、物联网开放平台和AI对话平台，以及发布了美的首个家电智能化分级标准。

我们把AI、物联网、通信、感知、大数据以及AR/VR技术结合起来，能够把物理空间、虚拟空间和互联网空间三大空间结合一起，让人们在家居生活中感受到三大空间的服务和核心功能，提升用户对智能服务的满意度。

相较“元宇宙”概念， “元家居”聚焦物理空间，把家居环境、人、家电和设备等元素都纳入进来，借助多模态感知技术将人、物和环境虚拟化之后，变成一个居家的虚拟空间。同时，元家居还连接外部世界，即家庭之外的互联网世界，互联网赛博空间纳入到元家居的范畴。从生活的角度看，用户能够感受到全方位的服务和交互体验。

举个例子，你因为疫情隔离在家，但很想去夏威夷度假，那么戴上美的元家居-VR头盔，就可以同时通过视觉、听觉、嗅觉等去感受到夏威夷的风景，你能够听到鸟叫、海浪的声音，感受到微风等等，美的智能家居可以帮助用户实现这些功能。为了实现这种功能，我们会采集夏威夷、迈阿密和三亚的空气成分，通过我们的空调、加湿器和除湿器等智能设备，把采集到的空气模拟出来，将真实物理设备采集的多源信息映射到全景视频中去，让用户可以轻松自定义联动场景，帮助用户营造这种“身临其境”的体验。 如果你不在家，通过VR将卧室、起居室、厨房等家中场景呈现出来，给你一种回到家的感觉。你可以通过VR头盔远程控制家电和环境，例如打开空调、打开冰箱等等，甚至远程手把手教家人做菜。这种打破虚拟空间和物理空间的距离的新体验就是“元家居”，可理解为是基于感知、通信、AI、大数据、虚拟现实等基础技术，实现数字家庭孪生，以一种全新的物联网应用与交互体验，让用户享受到更深入的智能服务。

我的理解，元家居概念比元宇宙范围更广一些，而且和家居环境密切相关，它打造的不仅仅是虚拟世界，除了对物理世界映射之外，还可以和物理世界互相交流和互动。 为了打造这样一个智能家居新世界，还推出了美的首个家电智能化分级，从L0到L4的分级对家电智能化技术应用水平进行分级，这是基于美的多年智能化探索、自身庞大的智能家电产品品类优势，以及对智能用户需求的理解形成的，“元家居”就是处在L4的级别，意味着家电可以实现完全智能，主动为人提供服务。

家居“主动智能” 赋能睡眠场景

Magic Data：刚才您在讲夏威夷的时候，会让人足不出门就像真的来到了夏威夷，吹着海风、也能闻着海水的味道。是不是未来我在任何一个酒店里，床虽然不是自己的，但是通过头盔也可以营造和家里一样的感受？

向江旭：对，卧室也是一个很重要的生活场景。每个人都想睡个好觉，我们就会采集一个月内睡得好的几天相关的参数，比如床的软硬、空气、窗户、光线等多源信息，用来建一个模型，把它们用数字虚拟化，变成一个数字孪生，然后把家里所有睡眠模式复制到酒店房间，用户就不存在“认床”一说，并且感受到和家里一样的睡眠体验。睡眠也是元家居的一个重要智能场景。

我们现在也在研究各种睡眠产品，人和家居交互方式多样化，可以语音也可以视觉。例如，居家场景下，当你感觉到热的时候，这个信息会被设备捕捉到，家电设备以防误操作，会主动询问你是否要打开空调，甚至不需要你说话就能调到适当温度，智能家居服务可以达到这样主动智能水平。

目前市场上大部分的家居智能设备都处在L1级别，也就是通过语音进行命令控制，尚未达到通过视觉、体感或者红外感知人的需求然后做出适当反应。这就是美的IoT要做的事情，通过视觉、嗅觉、听觉等多模感知技术的研究，提供主动智能，让家居和人进行更自然的交互。这些场景我会在CNCC论坛上做详细介绍。

在实现这些功能上，我们硬件设备上有各种传感器，从听觉到触觉，从嗅觉到味觉，都是依靠这些传感器来获取多源信息。例如，有一种儿童空调，它可以根据儿童所需要温度自动调节，如果儿童出现踢被子的情形，空调自动会调节温度或者自动关闭，防止儿童着凉，还有，通过语音交互功能，空调还可以为儿童讲故事。

Magic Data：就是空调加音箱的模式？

向江旭：对，这些多模态交互的场景我会在论坛现场详细介绍。

Magic Data：刚才说的床、空调等具备的主动感知功能，大概什么时候能够实现呢？

向江旭：有的已经实现了，比如美的智能卧室场景，已经提供儿童踢被提醒应用场景。睡眠模型和数字孪生等还在实验室测试阶段，建好模型后还需要落地到工厂生产环节，以及也涉及酒店、商场等应用场所，有些还需要接入生态圈获取资源支持。

打造“元家居”场景 多模态数据很重要

Magic Data：您刚才说会在CNCC大会上聊多模感知的应用，还会有其他的场景或者技术分享么？

向江旭：我会介绍美的云应用智能云管家，它对储存在云端的数据进行分析后，可以自主调控室内的智能设备，为用户提供主动服务。CNCC现场还会分享毫米波雷达、光谱等技术在智能家电的应用，如何通过各种传感器为用户提供一个最佳的智慧家庭环境，也就是设备不仅感知人的行为，还可以感知水、空气、食材等物理环境，这些是美的IoT要做的事情。

相对来说，家电行业的智能化创新具有技术综合性、多技术交叉的特点，例如，家电的图像识别能力，可识别烤箱食物受热情况来调整加热部位，还可识别米饭成熟度、空气质量、人体体感等等。

Magic Data：在智能家居行业，我们过去习以为常的比如煮饭，它的背后都将会有很多物联网技术的支持，让这些功能可以使得智能家居服务更人性化。 向江旭：是的，举个例子，依托大数据和云计算能力，美的美居App精准复刻名厨烹饪过程，把烹饪的温度、时间、火候等数据记录到智慧食谱中去，如果你用美的智能蒸烤箱做鱼，就可以借助“烹饪曲线”实现精准控制烹饪温度和时长，做出来鱼的味道堪比一般厨师。10月30日我们会有“美的品牌日”直播，我们会在平台上直播给大家展示很多类似智能产品。

Magic Data：关于人机交互的训练数据，在提升智能家居体验中起到哪些作用？以及模型对这些训练数据有哪些要求？

向江旭：我们要打造元家居，用于模型训练的数据很重要。美的上海的AI创新中心主要负责全语音链路的打造，智能设备已经实现了人和家电交互时可识别方言，例如广东话或者四川话等。美的拥有属于自己的家居行业语料库，有了这些特殊的家居语料库以及我们刚刚发布的AI对话平台，非程序员在一天时间里就可以搭建出一个对话机器人。

我们在数据标注、数据训练等关于数据方面都会有具体的要求，我们也会持续深入地了解和探索，和合作伙伴在智能技术创新等方面进行合作。

Magic Data：另外，美的在智能家居行业数据保护方面有哪些动作或者方式？

向江旭：智能家居数据隐私非常重要，用户会担心视觉和语料数据上传云端会暴露隐私。我们尝试用联邦学习的方式，不需要用户上传数据就可以进行数据训练。美的高度重视智能家居领域的隐私安全，将个人数据安全和隐私保护作为公司最核心的战略之一，目前美的已经通过中国、美国、欧洲海内外多项国际权威安全与隐私认证（CCRC 安全认证/IoXT认证/NIST 8259/ETSI 303645/等保2.0/CSA STAR云安全认证等），美的在智能家居安全使用和隐私数据安全的实践经验可以复用到行业。

实现互联互通 打造IoT界的“安卓”

Magic Data：现在很多95后、00后在家的时间要比在外边更多，但智能家居多品牌不能互联互通的问题，影响着消费者更好体验智能化家居，这需要整个行业一起推动，虽然困难但毕竟市场需求很大。

向江旭：对，每个人平均花在路上时间是两三个小时，智能出行行业现在已经很火爆了，而每个人花在家里时间不算周末平均12小时，所以家居行业的未来发展空间很大。

Magic Data：您刚才说“元家居”的概念，听起来很形象，我们希望把物理世界、虚拟世界和互联网等有机结合，能够让人生活得更轻松和便利，未来的“元家居”如何能够实现互联互通？未来十年的家居生活，您可以展望一下吗？

向江旭：回顾智能家居发展历程，行业一直在探索各种不同的路径，如今智能家居在环境系统上还是不能互联互通，不同品牌家居设备无法做到协同，需要不同的入口或平台进行管理，近年探索的方向主要是通过入口设备、中控设备来控制设备和家居环境，但到目前为止，还没有出现一个垄断或者唯一的入口。 事实上，我们甚至觉得不一定需要一个“入口”，我们希望智能家居或者物联网行业有自己的“安卓”系统，类似OpenHarmony这样的开源物联网操作系统。有了这样的操作系统，通信协议也是一样的，家居设备之间就可以做到即插即用，用户买了家电插上之后，可以自动配网，自动协同，不同品牌设备之间做到互相协同，智能家居行业可能就会起飞了。

美的IoT刚刚发布了行业首个物联网操作系统，可见，美的IoT是第一个吃螃蟹的企业。我们呼唤行业开放，当然我们自己也要开放。我们想要打造基于OpenHarmony的家电操作系统，这样大家就可以做到互联互通，这是我们理想。如果这一天实现，智能家电就会像手机从功能手机过渡到智能手机一样，从功能家电过渡到智能家电，加速推进AIoT时代的到来。

智能家居需要时间才能腾飞，但我们也看到一丝曙光，我们也希望早点促成。打造互联互通智能家居，很重要一点是要有像手机一样拥有一个丰富的应用内容生态圈。家电虽然是一个功能性的终端，它不是一个信息娱乐平台，但是如果变得非常智能，除家居功能之外还能承载信息娱乐属性，那么家居设备和人就会产生很强的粘性。

智能家电设备和智能手机一样慢慢会拥有丰富的应用，譬如用户可以通过美的美居App获取海量的智能食谱、智能云管家、洗衣耗材、维修保养等一系列增值服务，这些和家电或者家居相关的服务和应用，我们叫做“互联网原生应用”，有了这些应用，家电和人的交流沟通的频次会更高。

当用户有了更多深度智能的家电产品、全屋联动的家居场景，以及丰富的原生应用，这也就是美的“元家居”的终极目标：家电即电脑，设备即入口。整个智能家居行业也将会实现“蜕变”，这样的美好智慧生活很值得期待。

Magic Data：谢谢向总百忙之中抽出时间和大家交流。10月28日，让我们一起期待CNCC2021《人机交互的机遇与挑战》分论坛上嘉宾们更加精彩的分享。