三颗摄像头即可完成，Facebook虚拟头像系统揭秘
2019-09-05 15:34:48
投稿人 : haixia002
围观 : 53312 次
0 评论
此前，青亭网曾报道Facebook训练了一款人脸追踪算法，只依靠普通VR头显上的3颗摄像头就能实现对人脸的实时追踪，用于渲染逼真的VR头像。前不久，Facebook公开了关于这项研究的论文，并详细阐释了如何利用多视点图像转化法，在搭载9颗摄像头的VR头显上训练算法的全过程。
据了解，Facebook在研究中所使用的的逼真头像系统来自于Reality Labs的一个Codec Avatars实验项目，其特点是通过对人脸的动作捕捉，为生成和用户长相几乎一模一样的虚拟头像，并通过人脸追踪对其进行动态面部表情模拟，能够为VR社交带来足够强烈的临场感。
不过该系统还处于实验阶段，距离真正在消费级头显上应用还有一段距离。而现在通过Facebook公开的最新研究来看，将追踪摄像头缩小到3个意味着它距离实际应用又近了一步。
在论文中，Facebook指出传统面部动作捕捉需要使用到戴在头上的多个传感器，而这些传感器所在的位置并不能兼容现有VR头显的设计，因为VR头显遮挡了很大一部分人脸。因此，传统面部动捕仅适用于真人表演，并不适合双向交互的社交场景。
而现有社交VR所使用的头像系统通常使用的都是非写实的卡通头像，而不是逼真的3D人像。而非写实的头像通常能够表达的范围有限，不过好处是面部追踪系统的错误在卡通头像上看着并不明显。
总之，VR头显难以准确捕捉用户面部表情的原因与摄像头传感器的所在位置有关。
首先，由于头显对人脸的遮挡，摄像头传感器通常只能捕捉到部分和非重叠视图，而且视角比较极端和倾斜。在将重建错误最小化后，并不能将捕捉到的视角转化成正确的正面视图。其次，这些摄像头通常采用红外传感，并不能直接转化成虚拟头像所采用的RGB色彩，合成分析的效果也就没那么好。即使是采用支持计算机视觉的传感器，其表现也还是只适合非写实的卡通头像。
因此，Facebook科研人员训练了这样一款深度神经网络，它能够学习从传感器测量到头像参数的复杂映射，并帮助实现对人脸的准确追踪，塑造足够逼真的写实头像。为帮助算法找到传感器与头像参数之间的对应关系，科研人员采用了多视图几何方法来解决倾斜视角以及传感器和头像之间的差异。
在训练算法过程中，科研人员制作了两个不同版本的VR头显，一个是搭载3颗摄像头阵列的追踪头显，另一个是搭载9颗摄像头，用于对应传感器与虚拟头像的训练头显。追踪头显上的3颗摄像头是头显自带的红外VGA摄像头（追踪左眼、右眼和嘴），而训练头显上的额外6颗摄像头则分别为左右眼、嘴提供额外视角。接着，科研人员将所有摄像头同步，均设置为捕捉90Hz刷新率影像。
为了建立自然表情数据集，科研人员用两台VR头显对每个目标表情各拍摄一次，总共捕捉73种表情、50句话、一系列动作和眼神方向，以及10分钟自由对话。
虚拟头像与摄像头数据的纹理图，用点标出对应的坐标
接着科研人员用上述数据集对深度神经网络进行训练，在训练期间会用随机的小角度单应矩阵来增强输入图像，以此来模拟安装差异导致的摄像头旋转，并模拟由光线差异引起的定向图像强度柱状图变动。此外，除了找出摄像头数据与头像之间的对应关系，为了逼真的头像效果，科研人员在头像系统中还加入了能够感知背景的可辨认渲染器。
完成算法训练后，科研人员进行了一个模型简化测试，用于测试多视点风格转换、分布匹配、交叉视角一致性、可感知背景的可辨渲染等部分的重要性。并对比9颗摄像头和3颗摄像头的不同方案，比如：取消风格转化，只使用坐标和边缘匹配，或者拿掉多余摄像头，只使用3个追踪视角，甚至不匹配头显位置，只采用平均头显姿态来渲染风格转化数据。
最后结果发现，仅使用普通VR头显上的三颗摄像头，也能实现在近距离对人脸的准确追踪。即使VR头显对人脸产生遮挡，算法依然能准确重建人脸表情。
尽管减少了人脸追踪所需的摄像头，但由于该头像系统还需要提前用动捕技术来捕捉用户的面部结构，而且还需要提前训练算法，它距离进入主流市场依然还有一段距离。不过，随着传感技术和人脸的自动修正重建技术得到优化，在未来还是有望看到在家里就能使用的虚拟头像系统。本文系青亭网翻译自：Facebook
http://www.7tin.cn/news/133970.html
来源：中国人才网，转载请注明作者或出处，尊重原创！
相关文章
-
2020数字经济创新发展论坛在福州召开
1月10日，2020数字经济创新发展论坛在福州召开，论坛以“新业态·新产业·助推数字经济”为主题，由华夏产业经济研究院，福建省融商实业集团联合主办。来自全国业界知名专家学者、领军企业代表莅临论坛，来自各省市相关代表、产业界人士共计200余人...
2020-01-12 22:58:32 -
传下代iPhone将定制ToF相机，可模拟人眼，增强AR体验
明年的下代iPhone将会增加ToF相机，从而提升AR和拍照体验已不是什么新闻，但苹果对于ToF相机的用法却可能与当前其他厂商存在较大的差异。根据来自产业链人士披露的消息称，苹果将会借助定制CMOS的方式模拟人眼功能。虽然暂时不清楚将来...
2019-12-03 10:03:28 -
潜行类VR动作游戏《Phantom》发布最新预告片
11月29日青亭网报道，今天Oculus发布官方博客，公布了此前于5月份宣布的潜行身类VR动作游戏《Phantom：Covert Ops》的最新预告片。 据了解，该作由nDreamsk开发，将同时支持Rift与Quest，此前预计...
2019-12-02 14:21:52 -
线下VR游戏《星际迷航》：一款适合团建的刺激太空枪战体验
上个月，线下VR品牌Sandbox VR与CBS合作，推出了新款VR游戏《星际迷航：发现号Away Mission》。据悉，该作的故事背景设置在联邦星舰发现号中，玩家将作为星舰军官，在同名电视剧中人物Sylvia Tilly军官（原版演...
2019-12-02 14:17:54 -
下一代苹果手机或全部采用OLED屏，渗透率有望加速提升
外媒称，苹果将推出3款iPhone分别为5.4寸、6.1寸、6.7寸。该报告称，苹果计划向三星采购5.4寸和6.7寸的屏幕，与iPhone11Pro和iPhone 11 Pro Max同样采用OLED技术，另外6.1寸的OLED...
2019-11-29 16:28:52 -
传亚马逊已研发出第二代AI芯片，比第一代至少快20%
2019 年 11 月 28 日，据路透社报道，亚马逊公司旗下云计算部门 AWS 设计出性能更强的第二代数据中心处理器芯片。如果消息属实，该芯片将帮助亚马逊降低对 Intel 、AMD 服务器芯片的依赖。 有消息人士称，AWS 的...
2019-11-29 16:26:16 -
《半条命VR》效果明显，Valve Index美国和加拿大售罄
在V社上周公布《半条命》VR独占游戏《半条命：Alyx》之后，外媒报道称V社自家VR——Index已经在美国和加拿大卖断货。 Steam上推出的Index套装售价999美元，包括以下内容：VR头盔，Index手柄，两个基站（定位器）和...
2019-11-29 10:25:57 -
三星Galaxy S11带壳渲染图曝光：矩阵相机/1亿像素 还有骁龙865
11月27日消息，知名爆料人士Slashleaks放出了Galaxy S11的带壳渲染图——和此前曝光的渲染图一致，Galaxy S11采用了矩阵式摄像头造型。而规格方面，Galaxy S11 5G和Galaxy S11+会搭载一亿...
2019-11-28 17:05:10 -
Insomniac推第二款Magic Leap游戏《Strangelets》
11月27日消息，前不久曾被索尼收购的游戏公司Insomniac Games开发的新AR游戏《Strangelets》登陆Magic Leap World。据悉，Insomniac此前曾开发PS 4游戏《漫威蜘蛛侠》，以及多款AR/VR...
2019-11-27 15:00:55 -
苹果新AR/MR眼镜专利：用单面镜涂层隐藏眼镜光学元件
近期，美国专利商标局曝光了苹果一项与AR/MR眼镜相关的专利，专利中指出一种用来隐藏头显摄像头的高透明度红外单面镜材质，目的是让AR/MR眼镜外形看起来更接近普通的眼镜。 据了解，单面镜是警察询问室常用的镜子材料，它可以让一面的人看到...
2019-11-27 14:59:50
发表评论