谷歌新研究：捕捉眼睛区域推断整个面部表情

　　前不久谷歌机器感知团队和Daydream Labs、YouTube Spaces展开了合作，为混合现实提供了“头显摘除”解决方案，用机器学习重现被头显遮挡的脸。这项研究使用了给予研究追踪技术的头戴显示器，可以重现玩家的面部表情。下面深圳谷歌推广代理商带大家了解一下谷歌的这一新研究。

　　对于这项新研究，谷歌提出了一种方法，通过分析脸部的小块区域推断玩家的整个面部表情。在VR头显中安装红外摄像头，用来捕捉玩家的眼镜区域，这至少能够推断出一部分的面部表情，无需使用任何外部的摄像头或传感器。

　　如图左边是一个用户正戴着虚拟现实头显，使用研究追踪进行表情分类，右图则是根据监测到的眼睛图像匹配谷歌的模型，推断出的表情的表达。

　　谷歌主要利用深度学习对眼镜和周围的面部表情进行区分，主要的区域包括虹膜、巩膜和眼睑，还可能包括眉毛和脸颊部分。从新型传感器获取的大量数据不是一件容易的事情，谷歌收集了 46 个实验对象的一系列面部表情训练数据。

　　为了完成脸部表情的分类，谷歌微调了TensorFlow 的 Inception 变体，并在 Imagenet 上训练了模型的权重。考虑到不同的参与者的外貌差异，谷歌还想要在一定程度上消除这些差异。

　　通过实验和测试，谷歌已经证明了这种方式对人类面对表情的识别是可靠的，能够识别眼睛区域的信息再使用基于CNN的方式进行解码。对于人类来说，只从眼睛区域识别面部表情也十分困难。谷歌的模型能够实时进行推断，并可以实时生成带有面部表情的头像，它可以用作虚拟现实用户的社交表达的替代。这种交互机制还能产生一种更直观的界面，例如在虚拟现实中分享表情，取代以前的手势或键盘输入。

　　目前的眼球追踪技术可完全嵌入到消费者 VR 头显中，而无需额外的外部摄像头，这种方式捕捉用户面部表情是一个可以移动的解决方案。这种技术的发展超越了动画卡通头像，它可以用来提供更丰富的“头显摘除”体验，通过更真实和更丰富的情感信息来增强虚拟现实的交流和社交活动。