【干货】酷炫的MR视频是如何做出来的?
功能标记
微信公众平台
游戏陀螺
游戏陀螺海外
首页 >> VR智能硬件 >> 【干货】酷炫的MR视频是如何做出来的?

【干货】酷炫的MR视频是如何做出来的?

 | 标签:        

点击分享本文: 

文/星佳(本文由作者授权VR陀螺发布)

如果你关心虚拟现实行业,肯定知道大名鼎鼎的HTC Vive,而除了游戏领域的应用外,我们正在尝试通过『虚拟现实头显+手柄+Lighthouse基站定位装置』来创造出更有趣的行业应用,接下来就结合国外大神和圈内从业者们一起折腾出的宝贵经验和大家分享下如何低成本的打造虚拟演播室。

什么是MR(Mixed Reality)视频?

可以先看Google给Tile Brush应用做的MR宣传视频来了解一下:

Mixed Reality视频就是VR影像+人的影像合成的视频。相比普通录制电脑屏幕游戏画面和游戏者录像实拍分屏显示的假VR视频,Mixed Reality视频更适合用来做游戏直播和制作虚拟现实应用宣传视频,比如著名的google tilt bursh绘画程序,而由此带来了很多新的可能,比如教育,多人互动,科普等等行业应用。

【干货】酷炫的MR视频是如何做出来的?

上面这个视频截图就是HTC Vive官方宣传片的一个Mixed Reality视频,画面来源于官方赠送的一款叫做”The Lab”的射箭体验游戏,而游戏者人的画面是由一台摄像机配合第三只实体Vive手柄实时捕捉的。

因为人的影像摆放的位置,透视关系和玩家在虚拟场景中的位置,映射坐标都一样,摄像机拍摄画面中手拿手柄的位置和游戏画面中虚拟手柄的位置是完全一样的,看起来就像体验者身临其境走进了一个虚拟世界,并用双手借助实体手柄直接和游戏虚拟环境互动。

了解了理论知识,接下来要帮大家解决的问题,原理和方案到底是如何实现的?

【干货】酷炫的MR视频是如何做出来的?

需要准备什么?

硬件部分:

摄影棚:墙和地面铺上绿布,大概6m*6m即可,同时为了实时抠像,需要布光,如果没有专业经验请专业的灯光师帮忙。

【干货】酷炫的MR视频是如何做出来的?

幻想拥有的巨资打造的摄影棚

【干货】酷炫的MR视频是如何做出来的?

实际情况预算条件下搭建出的摄影棚

摄像机:

两种方案:

  1. 如果预算不够的话用网络摄像头就行,比如网吧的聊天摄像头,五百块左右的罗技就挺好,例如Logitech Webcam C930e;
  2. 而如果你是土豪朋友可以买得起专业的摄像机和视频采集卡,那么无非效果会更赞,当然成本就贵了。看下图:

【干货】酷炫的MR视频是如何做出来的?

斯坦尼康稳定器和单反相机的土豪方案

【干货】酷炫的MR视频是如何做出来的?
低成本的支架单反方案(Gopro支架很好用)

笔者托朋友借了台佳能70D,又买不起视频采集卡(由于主机插槽不够用,还得买外置巨贵的采集卡),所以情急之下,笔者把相机通过USB直接连接PC主机的USB3.0口,配合佳能官方的实时摄影调节套件直接可以在电脑端软件实时调节相机参数捕捉拍摄画面,真是小聪明啊,虽然可能烧了CMOS。

【干货】酷炫的MR视频是如何做出来的?

高性能主机+第三只Vive手柄(USB延长线连接电脑):第三只手柄的作用如上图,绑定在佳能相机上,手柄作为作为游戏里的虚拟摄像机和物理环境的真实摄像机同步位置和焦距视野等数据,即可拍到正确位置的体验者。

软件部分:

目前只有Unity3D制作的虚拟现实程序支持MR模式,我们期待Value能够早日携手UE4放出来Unreal Engine for SteamVR的程序,当然SteamVR的版本得至少是1.0.8或以上哦。

OBS或者其他视频合成软件,用于实时获取应用窗口和简单抠图。

实际拍摄教程

  1. 找到Steam安装路径下的config目录,新建文件名:steamvr.vrsettings

代码段如下:

{“camera” : {“enableCamera” : true, “enableCameraForCollisionBounds” : true, “enableCameraInDashboard” : true}, “collisionBounds” : {“CollisionBoundsColorGammaA” : 169, “CollisionBoundsColorGammaB” : 0, “CollisionBoundsColorGammaG” : 255, “CollisionBoundsColorGammaR” : 163, “CollisionBoundsGroundPerimeterOn” : false, “CollisionBoundsStyle” : 0}, “jsonid” : “vrsettings”, “keyboard” : {“TutorialCompletions” : 1}, “notifications” : {“DoNotDisturb” : true}, “perfcheck” : {“heuristicActive” : true}, “steamvr” : {“allowReprojection” : true, “background” : “C:\\Program Files (x86)\\Steam\\steamapps\\common\\SteamVR\\resources\\backgrounds\\viveNight.png”}, “version” : “1”},{“steamvr” : { “activateMultipleDrivers” : true } }

2.解压压缩包里的后缀为driver_null.dll的文件覆盖到指定文件夹,

目录C:\Program Files (x86)\ViveSetup\SteamVR\drivers\null\bin\win32 :

【干货】酷炫的MR视频是如何做出来的?

3.以上两步工作做完后,启动SteamVR软件,在成功识别两只手柄后,通过USB延长线连接第三只手柄和PC,成功出现如下的SteamVR画面即代表配置文件生效:

【干货】酷炫的MR视频是如何做出来的?

4.生成externalcamera.cfg文件:

运行压缩包里的cameraAgn.exe文件,之后可以戴上头盔拿起两个手柄可以在虚拟世界里看到第三只绑在摄像机上的手柄,按照程序要求配置各项参数即可生成cfg文件,之后把cfg文件放在可执行游戏程序的同目录下即可生成传说中的四分屏。

【干货】酷炫的MR视频是如何做出来的?
cameraAgn.exe运行后的四分屏界面

externalcamera.cfg文件内容:

x=0

y=0

z=0

rx=0

ry=0

rz=0

fov=60

near=0.1

far=100

以上参数只是默认值,最终要用什么数和虚拟摄像机的参数及摄像机和第三只手柄的摆放有关,需要在cameraAgn程序里进行仔细的调节,同时注意在运行房间教程的时候头盔和电脑画面正面和反面的不同结果哦。

5.测试成功的切西瓜游戏的MR视频截图:

【干货】酷炫的MR视频是如何做出来的?

出现四分屏画面后,基本就成功了一大半,目前此方式还只支持unity开发的程序,所以不能保证所有游戏应用都可以通过此办法来实现四分屏,视频演示地址:http://dwz.cn/xingjia55220

备注:

通过四分屏最终实现输出的影像由三个影像合成:

摄像机捕捉人的影像,覆盖在背景上(合成视频的背景,虚拟摄像机控制的画面),合成视频的前景覆盖在背景上即可。

6.成功之后在OBS中添加视频源(直播利用OSB设置推流地址即可成功):

①前景:

a.视频来源选择裁剪游戏窗口,区域和四分屏的左上角画面重合。

b.设置黑色为色键,扣除前景画面(注意看透视关系,游戏画面前景成功的遮罩住了人)

【干货】酷炫的MR视频是如何做出来的?
获取正确的前景画面后的遮罩关系图

②摄像机捕捉:

a.视频来源选择摄像机画面输入或者视频采集卡

b.设置绿色为色键(和绿幕颜色一样),扣出人像

③背景:

视频来源选择裁剪游戏窗口,裁剪区域为虚拟摄像机第三只手柄的控制画面

实践成果:

【干货】酷炫的MR视频是如何做出来的?
测试成功的tilt brush画画应用

【干货】酷炫的MR视频是如何做出来的?
测试成功的切西瓜应用

最终完成效果:

制作MR视频存在的问题

①拍摄环境。由于办公室地方限制,导致绿幕空间达不到理想标准,而灯光也因设备原因打的并不均匀,由此造成了成果视频里抠图的不干净和穿帮。

②我们正在探索移动机位的可能性,一方面是由于场地小,除此之外移动相机和绑在上面的第三只映射手柄不得不再采购一套巨贵的斯坦尼康,所以移动镜头的解决方案不得不暂时搁浅了,但是如上面成果视频的固定机位已经很酷了是不是?当然目前能够支持多机位和移动的虚拟摄像机的内容也没有几款,欢迎推荐给笔者来测试哦。

③此种方法目前还只适用于Unity引擎开发的游戏,大家都在等UE4引擎给出和SteamVR底层的接口,而经过尝试可以在某些游戏上搞出来四分屏,换句话说,能成功弄出来四分屏也就离成功确实不远了。可惜的是,缺乏足够技术能力的笔者团队在底层接口这方面不得不继续埋头苦干,希望能找到业内乐意合作的前辈们一起做一款集成傻瓜式的软件,最大程度的解放MR技术在配置参数上的种种麻烦。除此之外,眼前的当务之急是寻找一款比OBS更好用的专业软件,在实时抠像和图层叠加,分辨率损失上都可以做的更好,如果这方面你有好的经验欢迎分享给笔者哦。

④目前很多游戏应用内置的虚拟摄像机并不支持移动,换句话说,我们真的很希望以后虚拟现实游戏应用开发者可以直接在开发的时候就规划好虚拟摄像机,甚至可以考虑直接内置多机位的虚拟摄像机,方便在做MR视频和直播的时候一键切换最优质的视野和观看角度。

MR视频的应用前景

至于为何花这么大的精力去研究MR虚拟现实混合视频的制作技术,懂的人应该不言而喻,尤其是对那些已经开了线下体验馆的老板们肯定更能明白其中的商业价值,除了可以节省每个新玩家的教学时间外,也可以给路过的旁观者一个很好的实时演示画面,让他们看到后就明白这群戴着眼镜,拿着手柄走来走去的人到底在干吗?

除此之外帮各种丰富的行业商业应用带来更多新的可能,比如老师在虚拟内容环境里的真人教学,多人身临其境的互动展示,科普内容等行业应用会因此改变的展现方式会更友好。

当然目前最能短平快赚钱的无非还是直播领域,和Steam,Viveport等分发平台上的游戏介绍视频制作业务,毕竟作为从业者我们有责任要给那些玩腻了山寨眼镜盒子后吐槽虚拟现实无用的他们一个看得见的理由,通过大量优质的玩家自制MR视频试图去说服那些悲观者去购买一款真正的虚拟现实设备,去体验真正的虚拟现实,而不是几百块的山寨盒子。

最后想说,作为国内最早从业虚拟现实的行业从业者,我们应该抱团成长,把这个市场做的足够大,把虚拟现实给圈内人带来的惊喜让更多行外的朋友们实实在在的了解,也希望媒体朋友们不要道听途说,真正体会过真正的虚拟现实再去写一些文章去传播。

拿笔者的经验来说,一套跑得起HTC Vive的主机和电脑根本不像你们写的那些动辄数万元,6888元的HTCVive消费者版本+4000元配置的电脑主机足矣(笔者团队穷苦的研究员不到4000块DIY个主机,i5+GTX960的低配足矣体验虚拟现实了)。

文章作者正在考虑建设一个高标准的虚拟现实实验室,包括演播室,硬抠设备,工作站,VR,AR内容研发,MR视频制作,硬件设备体验等,所以如果你的公司有这方面的案例和技术研发团队,硬件供应商和设备整体解决方案提供商,欢迎联系。

微信:xingjia10086

微博:@星佳是个小人物

【扫描游戏陀螺微信二维码,获取更多干货爆料】 supercell