仅用1张照片就生成写实3D化身,这家公司怎么做到的?

2017-04-07 16:02:58   来源:新浪VR

  伴随上周三星发布会的召开,VR行业有个大事件,卡马克重新设计了Gear VR版的 Oculus Home,让Gear VR的显示比Oculus还清晰,简直太牛逼啦!

  但是,让我们更感兴趣的是,Oculus Avatar支持Gear VR啦。就是说,在移动版的Oculus Home里,会有一个Avatar(你的虚拟化身)编辑器,你可以通过选择面部轮廓、发型、衣服、眼镜和帽子创建自己的VR身份。

  而且你的虚拟化身可在 Gear VR 和 Oculus Rift 里通用。是不是很神奇,不过现在创建的虚拟化身很简单,没有面部表情,动画风格,细节很少。

  Oculus Avatar 是2016年12月6日推出的应用,很明显,服务于 Facebook 的VR社交大计,同时 Oculus 还开放了 Oculus Avatar SDK,现在已经更新到1.12.0版本。

  那么除了Oculus Avatar,其它的虚拟化身公司技术如何,已经做到何程度了呢?

  终于讲到今天的主角- Loom.ai,这家公司很牛掰,能用单张照片生成写实风格3D化身,并且支持动画表情。先来看看根据伊隆马斯克照片做的3D虚拟化身。

  是不是还挺像的,你看虚拟马斯克左右瞟眼神,嘴巴“噗噗”的,还挺生动的。

马斯克委屈、惊讶的表情马斯克委屈、惊讶的表情
值得注意的是,所有这些效果只要一张2D照片(如上图右上角的马斯克照片),就能生成3D的头像,并伴有丰富的表情动画效果。

  值得注意的是,所有这些效果只要一张2D照片(如上图右上角的马斯克照片),就能生成3D的头像,并伴有丰富的表情动画效果。  

  他是如何做到的呢?

  使用Loom.ai公共的Avatar API,就能把单张图片变成3D头像效果,这些工作在云端全自动部署。

  同时,这些表情动画是使用预定义面部动画来循环实现。

  那么使用Loom.ai的Avatar API能做什么呢?

  首先,使用Avatar API 能针对用户照片定制出工业级别的FACS facial rig(就是面部建模的意思),并可以导入任何主流的游戏引擎来创建富有创意的数字内容。

  我们就看眼睛区域的效果,就能看出Loom.ai能生成复杂的眼睛动作,伴随着眉毛、眼睑的变化就较好的表现出不同的表情。

  (瞳孔是没有变化的,看来要让瞳孔变化还是太难啦)

  使用 Avatar API 不仅可以生成写实风的3D化身,也可以根据需要生成卡通化的虚拟化身,并且具有全局的保真度,就是大体上还是相似的。

  那么这家技术公司如何挣钱呢?

  Loom.ai目前主要是B2B2C模式。

  Loom.ai 已经开发了一套云端API和SDK,给企业用户提供一整套的解决方案,而企业用户则利用他们的系统提供服务给开发者,Loom.ai希望通过技术授权等方式来盈利,目前已经开放商家内测中。

  其实 Loom.ai 是一家非常年轻的公司,2016年成立,并在当年12月获得了 Danhua Capital, Y Combinator, Presence Capital, Anorak Ventures等 135 万美元种子轮投资。Loom.aitwitter就是在2016年12月注册的。

但是他们公司成员的资历都很老,在相关领域都有超过10年的工作经验。

  但是他们公司成员的资历都很老,在相关领域都有超过10年的工作经验。

  Kiran Bhat,Loom.ai的CTO在电影行业的高端VFX领域有12年的计算机视觉算法经验。Lucasfilm电脑视觉研发团队的负责人。

  Mahesh Ramasubramanian,Loom.ai的CEO,在电影行业的高端VFX领域有12年的计算机视觉算法经验。曾就职于梦工厂,主管动画视觉效果,大家熟知的《马达加斯加3》视觉效果就出自他手。

  Akash Garg,Loom.ai的首席工程师,具有超过15年的软件开发经验,并拥有哥伦比亚大学博士学位。

  这里重点说下Kiran Bhat,他是一个获得过奥斯卡的程序员。

其实奥斯卡奖是美国电影艺术与科学学院奖的别称,正式名称叫“学院奖”( Academy Awards)。

  其实奥斯卡奖是美国电影艺术与科学学院奖的别称,正式名称叫“学院奖”( Academy Awards)。  

  Kiran Bhat获得的是奥斯卡科技成果奖(Academy Scientific and Technical Awards),是由美国电影艺术与科学学院颁发的一项科学技术奖,颁发对象为在科技成就上对电影产业进步有杰出贡献的个人或公司。在今年2月份举行。

  Kiran Bhat毕业于卡耐基梅隆大学机器人系,后在著名的电影特效公司-工业光魔ILM领导特效相关的工作。

  就是由于在工业光魔建立脸部表情捕捉系统的突出成就,他才获得了此奖。

  电影《复仇者联盟》和《加勒比海盗》这两部电影面部效果的研发负责人就是 Kiran Bhat,比如绿巨人的面部表情。

  后来,Kiran Bhat 离职并拉着Loom.ai现在的CEO Mahesh一起创业,不仅因为Kiran Bhat自身丰富的经验和牛逼的技术,还有现在VR/AR行业的发展,特别是VR社交领域对于虚拟3D化身具有很强的需求,而且现在没有一个成本低、效果好、部署快的解决方案,所以他们切入这个痛点,即使在2016年,也是投资人认可并投资。

  从 Loom.ai 的方案(使用云端处理+手机客户端、单张照片速成3D化身)中就表明了 Loom.ai 的产品是针对社交的。

  好了,看到这里,终于明白了为啥Loom.ai刚成立公司就拿到了135万美元的种子轮,为啥一个小公司就想切入VR社交,我们静看Loom.ai的3D化身什么时候能出现在流行的VR社交软件里。

  from:魔多网

新浪声明:新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。
精彩推荐
相关新闻

VR广告的进化:日产Rogue SUV绑定星战 销售暴涨50%

日产Nissan与卢卡斯影业、天行者音效(Skywalker Sound)以及工业光魔联手推出的“星战纪念版”车型Rogue SUV,不仅把VR汽车广告...

相关专访Gree VR: 带你了解日本的VR线下体验店
2017-04-07 09:32:56 来自:热门活动

蝙蝠侠™:阿卡姆VR

相关: 暂无...
2017-04-05 10:00:00 来自:游戏产品库

轻社交+捡垃圾,VR游戏或许也应该学学Daybreak的套路了

你可能没有听说过Daybreak这家公司,但该公司旗下的两款游戏《H1Z1》和最近大火的《绝地求生:大逃杀》,即使没玩过,你也一定听...

相关IMAX联手华纳兄弟,将推《正义联盟》、《海王》VR版
2017-03-30 18:22:20 来自:游戏资讯

VR电脑装机:AMD新旗舰+GTX1080核弹 一万四千元发烧配置

高端VR Ready电脑有多贵,如果全部选购旗舰级硬件,VR主机的售价轻松过万,其中VR处理器和显卡是配置中的支出大头。有什么办法能...

相关AMD发布全新Ryzen处理器 瞄准VR和超高端PC领域
2017-03-30 15:34:30 来自:硬件前沿

热门推荐

HOT RECOMMEND

微博

HOT RECOMMEND

新浪VR简介 | 论坛社区 | 网站合作 | 广告服务 | 联系我们 | 免责声明 | 招聘信息

Copyright © 1996-2015 SINA Corporation, All Rights Reserved

北京游梦创想网络技术有限公司 版权所有