独家 | VR世界的交互密码

  • A+
所属分类:VR资讯
摘要

 无论你喜欢不喜欢《阿凡达》,有一件事是可以肯定的,那就是这部电影开创了一个技术的时代。

独家 | VR世界的交互密码 无论你喜欢不喜欢《阿凡达》,有一件事是可以肯定的,那就是这部电影开创了一个技术的时代。

詹姆斯·卡梅隆在拍摄这部电影的时候,摄影机前虽然是身穿动作捕捉服的普通演员,没有上妆,也没有光影效果,但在卡梅隆看到的镜头中,却已经是两个“阿凡达”,背景也不是拍摄厂蓬,而是电影中的“神山”世界。也就是说,无需后期合成,卡梅隆可以直接“预览”实片的效果。

在当年,恐怕卡梅隆怎么也想象不到,这种“虚拟现实(VR)”在今天会如此“亲民”:不需要前往好莱坞,使用消费者级别的设备也可以获得。

只是,如今的VR,已经不满足于让观众去“看”的阶段。UCCVR CEO符国新曾经告诉青亭网,2017年的VR,将会从“看”转变为“动”。而这种质的飞跃,绕不开VR世界的“交互技术”。

全身捕捉:从光学到惯性

独家 | VR世界的交互密码

2014年,世界杯大热,央视五套依然推出著名的《豪门盛宴》进行直播。守在电视机前的观众惊奇地发现,在节目里出现了两名虚拟化身的球员,当主持人让他们和观众打招呼的时候,他们能够实时地做出动作,加以回应。

这一节目背后的技术支持方就是诺亦腾,这是一家专门做动作捕捉的公司。央视请来了两个体育院校的学生,在后台穿上诺亦腾公司的设备,然后通过捕捉他们动作,“嫁接”到虚拟的球员形象身上,加以现场合成,这样实时播放的画面中,就出现了“梅西”。

说起来容易。“当时的导演胆子太大了,实际上他不了解背后的风险,”公司CEO刘昊扬在和青亭网谈起这段经历的时候笑道。

独家 | VR世界的交互密码

虽然“运气比较好”,没出什么大纰漏,但是仅有的一次还是不禁让刘昊扬后怕,在导播切到两个球员的时候,其中一个虚拟形象竟然玩起了“升仙”、飘到了半空,还好机智的导播及时切换了画面。

刘昊扬介绍,动作捕捉(Motion Capture)方案主要是三种类型,除了已经废除的机械式动作捕捉,现在业界主要的方案是光学和惯性动捕。

其中光学技术在电影拍摄领域已经应用得很多:不少电影的拍摄花絮中都出现过这样一幕,演员身穿黑色紧身衣,站在绿幕前表演,浑身贴满了反光点。这些看上去像小丑鼻子一样的反光点,是为了方便摄像机去捕捉演员的动作。

经过五十余年的发展,光学技术已经日臻成熟,“它的优点在于精度高,但是它的问题是设备太过复杂,无法解决遮挡的问题:一旦多名演员互相遮挡,摄影机就看不见了,而且无法实时输出,动作捕捉实际上都是后期制作。”

独家 | VR世界的交互密码

而刘昊扬给央视豪门盛宴节目中使用的方案则是实时的动捕,这是由于他们采用的是“惯性动捕”——面向全国的实时动作捕捉,这在当时还尚属首例,如果一旦“露馅”,就相当于是一次严重的直播事故。不过,谈到实际效果的时候,刘昊扬还是不免遗憾:为了节省经费,央视请来的学生并没有什么表演经验,只能机械化地做一些给定动作,让整体的效果打了一些折扣。

VR世界里,要捕捉人的全身,基本上除了让人穿上类似诺亦腾的定位“服装”外,也有不少人有别的点子。

曾经开发了《生化危机7》的CAPCOM推出过一款叫《大怪兽》的HTC Vive VR体验,不过他们的方式比较奇葩,把Vive的控制器绑在了脚上,整整用了四个控制器,实现VR世界里对人体脚部的追踪。

不过,随着HTC Vive方面最近新推出的Vive追踪器,全身定位似乎得到了一定程度的解决。这个被人戏称为“糖三角”的玩意儿,实际上就是把控制器的定位模块拿了出来。

独家 | VR世界的交互密码

有Vive内部开发工程师已经通过它实现了VR里的全身追踪,他告诉青亭网,一共需要五个追踪器,连上头盔一共是六个追踪点。“手两个、脚两个、剩下一个放在腰、前胸、肚子都行。在Unity的代码里实际上不能区分是追踪器还是手柄。不需要下载新的插件,就用SteamVR即可。”

这一切是由追踪器和游戏引擎里的IK(Inverse Kinematics,反向动力学)结合实现的。他表示,VR全身动捕给VR带来了全新的动作,如“跳跃、扭腰、舞步、踢球、行走”等等。

不过,开发了《骷髅海》这款VR游戏、也是“糖三角”这一名称始作俑者的魔视互动CEO王科告诉青亭网,“虽然这能够帮助解决VR里第三方人物的动作表现问题,但是由于骨骼信息不精确,所以还是不太美观。”

手部交互:在VR里定位你的手指有多难

独家 | VR世界的交互密码

在差不多二十天之前,Oculus母公司、Facebook CEO“小扎”马克·扎克伯格兴冲冲地晒出了上面这张照片。

其中他头戴一个VR头盔,手上套着一款被他称为“Facebook VR手套”的玩意,身边围着一大圈OptiTrack光学动作捕捉系统。扎克伯格兴冲冲地说:这款手套能让他在VR里画画、在虚拟键盘上打字,甚至像蜘蛛侠一样射出蛛网。

不过在刘昊扬看来,这一行为似乎更偏重“作秀”:“光学手部定位很久之前大家就不做了,它需要用户坐在那里,周围围着一圈光学相机来捕捉你的手”。刘昊扬向青亭网回忆,早在九十年代曾经兴起过光学方案的数据手套,但一套设备贵得吓死人,“差不多几十万吧,便宜的十几万”。

而真正吸引他的其实是扎克伯格旁边的那个男人——麻省理工大学出身的Robert Wang。后者曾经创立了一间实现纯光学手部定位的小公司,并很快被Facebook收购。“这能暗示出Facebook的VR手部定位应该是纯光学方案,而不是多摄像头的”。

独家 | VR世界的交互密码

刘昊扬表示,手部定位很难做。手指的运动非常灵活,需要精准的定位和实时捕捉。而光学方案最大的问题就是遮挡——传统电影里只是在大拇指和食指两个手指上黏上反光点,“其他的就不管了”。

类似OculusVR头盔控制器实际上是一个很巧妙的解决方案,“既部分实现了手势,又能够解决容错率低的动作在VR里的实现,就好像扣扳机开枪,用户就算做一百次也不希望有一次(开不了枪)。”

但是,VR具有天然的沉浸感,能把用户“沉”到一个全新的世界中。既然营造了身临其境的感觉,绝大多数人的下意识反应都是直接用自己的“手”来和VR世界互动。

在这方面,诺亦腾的方案也是手套。被称为Hi5的手套在CES上和Vive的追踪器一起首次亮相,长相和此前曾经和美国宇航局NASA合作的Manus VR有几分相似。

独家 | VR世界的交互密码

另外有一家位于内华达的公司叫Dexta Robotics,这家公司的CEO古逍驰想通过名为“Dexmo”的外骨骼手套来实现VR里的手部追踪。

在手部交互领域最负盛名的是Leap Motion,很多的VR头显都曾经外接过Leap Motion模块来实现手部定位。Leap Motion实际上同样是光学方案,它需要头盔上的模块能“看到”用户的手。

虽然效果非常惊人,“几乎达到了这一方案的最佳程度,”但是刘昊扬认为仍然存在缺陷:“模块必须能够看到用户的手,手垂下来就不行了”。

刘昊扬认为,手部交互真正的价值是在VR社交应用里:“未来VR社交可能不需要那么多按钮事件,靠着头部和手部的交互,加上语言就完成了所有需求。所以Touch是不够用的,社交是对自然手势需求最高的。”

眼球追踪:下一代方案?

独家 | VR世界的交互密码

这是一款让玩家体验被恐怖分子拘禁拷问的游戏。恐怖分子怀疑主角还有其他同伴,如果被恐怖分子察觉到自己视线的移动,对方就会怀疑“你在看什么?你在看哪里?”从而对故事造成分支。

有趣的是,如果主角盯着烟灰缸,恐怖分子会把烟灰缸踢飞,要是盯着手枪,对方会问“你这这玩意儿感兴趣?”。如果在恐怖分子说话时看其他地方,对方会被激怒,“你瞧不起我吗!”。如果玩家抬头,能从2层的窗户上看到人影。似乎是同伴来解救自己了。

这就是号称“世界第一款眼动追踪头盔”FOVE里的一个游戏,它展现了VR中交互方式的另一种方向——眼球追踪。

国内眼球技术专门公司七鑫易维眼动分析科学家秦林婵告诉青亭网:“”下一代的人机交互技术是多渠道的,而不只是现在只通过键盘鼠标。”也就是说,眼球追踪技术很可能与其他技术共同成为VR交互里的关键组成部分。

独家 | VR世界的交互密码

按一般人的习惯,看任何东西也肯定是先让眼球去追踪想看的东西,而绝不是类似现有VR头显那样,需要直接把头扭向一边。这显得比较不自然。

但秦林婵表示,眼球追踪最大的问题就是精度问题:“眼球运动是非常快的,需要非常高的精度去追踪”。实际上,FOVE的头盔体验也曾被不少人诟病,它需要用户频繁地重新校准自己的眼球位置,玩起来的感觉并没有听上去那么轻松,这多半就是由追踪力不足导致的。

公司目前的aGlass已经能够达到每秒120-380Hz,即每秒传出来120个眼动数据。这款产品也已经适配HTC Vive,正在举办中的GDC大会上进行展示。

独家 | VR世界的交互密码

VR里,眼动追踪的应用实际上不止是一种交互手段,它能够帮助开发商了解用户到底在VR体验中对具体哪一块感兴趣:“比如VR房地产项目里,用户到底喜欢哪一块装修?盯着哪里看得最多?”

据悉,七鑫易维内部已经拥有大样本数据采集项目组,专门采集人眼数据,并且和机器计算的结果进行匹配。

在2014年,曾经有风靡一时的“冰桶挑战”,虽然当时闹得沸沸扬扬,但实际上是为了号召社会都来关心一群名为“渐冻人”的群体,这种病会不断地让病人失去行动能力,最后只能移动眼球。

“渐冻人”和“植物人”不同,前者的头脑仍然很清晰,但是缺乏对外交流的手段,这个时候,眼球追踪技术就能起到关键的助力。

此前,Facebook旗下Oculus已经收购了一家名为EyeTribe的公司,谷歌也收购了EyeFluence。在GDC上,歌尔声学联合高通,发布了新一代基于高通835的VR头显,其中就集成了眼球追踪技术。

移动VR交互:即将走出困境?

独家 | VR世界的交互密码

在笔者经常去的休闲论坛上,往往也能看到讨论VR的文章。但是这些文章大多数都在提的是一个问题——我买了个VR盒子,哪里能下到“片儿”?

“片儿”是什么我们暂且不表,但这也揭示了VR现在最尴尬的问题,PC端的VR头显虽然高大上,但是大家买不起。最接地气的移动端VR,却因为缺乏交互方式,往往沦为单纯的“看片儿神器”。

Vive头盔可以获得空间定位、双手交互,但是移动端VR却统统没有这一切,用户无法在移动端VR设备上靠自己地移动躲避敌人发过来的火球,更谈不上双手交互。

独家 | VR世界的交互密码

刚刚公布的Gear VR最新版和谷歌Daydream VR头盔,也只是加了一款三方向的控制器,还远远达不到PCVR的规格。

瞄准了这个痛点的,有LYRobotix(凌宇智控)的CEO张道宁。前不久,公司在国外众筹平台KickStarter上“悄然”发布了产品Nolo的众筹项目,“没有任何宣传”。

没想到,四个小时后,众筹目标就达成了。虽然已经过去快两个月,但张道宁这个学通信出身的九零后小伙子,在回忆当时的时候,声音中仍不乏兴奋:“那个时候还是北京时间凌晨两三点,我们还都在睡梦中,众筹就成功了”。

张道宁表示,适用于移动VR的技术要求“非常非常高”,要定位头部、双手,而且要高精度、高刷新率、低延迟地反映到虚拟世界中,还要有很高的便携性,更关键的是:要非常的便宜。

人们兜里的安卓手机,配上纸Cardboard或者暴风魔镜之类手机盒子,再装上99美金的NOLO,就可以玩SteamVR的内容,并且实现空间定位和手部交互。

独家 | VR世界的交互密码

Nolo包括一个定位器,两个手柄和一个头盔标记。用户只需要把标记和头盔结合,拿着手柄、站在定位基站前,就可以让定位器定位到三个位置,其中两个在双手(手柄上各有一个标记),一个在头部。

Nolo的方案采用的是LYRobotix自行研发的“PolarTraq”技术,通过“声光电”来定位用户在空间中的位置:“声是声波,光是红外光,电则是无线电”。被定位器会发射经过编码后的红外线、声波和无线电,定位器则会接受三个信号,通过信号处理和算法,得到小球相对于定位器的三维坐标。

此前,加拿大的Breqlabs也曾经实现过移动端VR的手部定位。公司CEO Martin曾经告诉青亭网,他使用的是“超声波”来实现移动端VR的手部追踪。虽然谷歌的Daydream通过遥控器也实现了这一功能,但是Martin强调自己的方案“低延迟、低能耗、高精准度”。

独家 | VR世界的交互密码

Breqlabs现场演示的头盔里有一个用手抓球的小游戏,当玩家戴上头盔后,要拿上一个方形控制器来操纵VR环境里的“手”,按动控制器上的按键,就可以把球抓在手中,然后扔向远处。

不过,在当时的现场体验中,Breqlabs的方案出错率还是比较高的,手部的定位也不是很灵活。而青亭网体验过Nolo的《俄罗斯方块VR》后,定位、稳定性和效果均远在前者之上。

张道宁告诉青亭网,Nolo的订单量已经突破2000,众筹金额20万美金,超出原定目标400%。购买的人有开发商、极客、玩家……等很多。他们希望,能够在线下体验店里应用自己的方案,帮助VR体验店降低成本。

VR交互的未来是什么?

独家 | VR世界的交互密码

百度风投在2月14日公布了首个投资项目:美国VR/AR公司8i的2700万美元B轮融资。除了参与投资,百度还将会与8i在产品上有更加深入的合作。8i公司主管VR/AR/MR的3D人物成像业务,已经开发一系列图像捕捉、拼接和压缩等核心算法。

包括腾讯、阿里巴巴等也都在VR/AR领域布局:前者前不久刚刚投资了美国AR隐形眼镜公司Innovega,后者则是投资以色列AR公司Infinity AR、Lumus、Wayray等。

听上去,大公司似乎已经对前路看得比较通透。但刘昊扬认为,实际上现在谁也没有清晰的roadmap,包括谷歌、Facebook和HTC等,都是“今天我问问你,明天你问问我,看大家一起能做什么事情,大家愿意一起去试。”

独家 | VR世界的交互密码

他称VR是“没有导演的电影”,每个参与者都是演员,而交互就是让自己的身体、道具去实际体验,让VR不仅仅停留在“看”的层面,而是人本身和整个片子发生关系。“这其中,VR交互扮演着很关键的角色”。

诺亦腾接待过很多来自奥斯卡的人,他们都在问:vr对电影工业和生产流程有什么影响?那么以前那么复杂、科幻的东西日常化了,行业该怎么适应?从业人员该补哪些知识,让我们更加适应未来?

“答案谁也不知道,”刘昊扬说。

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
admin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: