英伟达 Holodeck 国内亮相,在 VR 中看跑车“炸裂”是怎样的体验?
本文作者:田苗 2017-08-24 18:23
北京国际广播电影电视设备展览会(BIRTV)是中国最具权威的广播电影电视专业设备综合展览会,每年我们都会从这场展览会上看到最新的影视技术和设备。
其实,英伟达早就不是我们印象中的“电脑芯片”公司了。今年 5 月的 GTC 大会上,英伟达 CEO 黄仁勋发表了时长 2 小时的主题演讲,内容涵盖 VR、GPU 云服务、自动驾驶芯片、深度学习、机器人训练等等,期间推出了 VRWork Audio SDK,用于在 VR 中实现立体声效。不久前的 SIGGRAPH 大会上,我们了解到,影视级专业相机 Z CAM V1 PRO 就集成了 VRWork SDK,可实现 360 度 VR 立体直播。
VRWorks 360 Video SDK
目前,360 度 VR 全景视频是电影电视行业不断探索的方向,这也就不奇怪为什么英伟达会参加 BIRTV。
现场,英伟达的 VR 相关负责人介绍了针对 VR 领域,VRWork 所能做的事情包括四个方面:模拟真实世界的触感,模拟立体声效,实现更好、更高效的画面渲染,以及 360 度视频拍摄和直播。
2016 年的 SIGGRAPH 大会上,他们便推出了 LIVE 360 Mono,但当时音效只能实现单声道,今年则实现了立体声效。
VRWorks 360 Video SDK 支持实时和后期制作的 360 度单声道和立体声工作流程,可支持:
• 4K 摄像机实时& 离线视频拼接
• GPU 加速的视频解码、校准、拼接和编码
• 360 度投影至立体地图和全景
• GPUDirect for Video,可实现低延迟视频采集
• 多达 32 路视频流
该 SDK 免费开放,可登陆其官网进行下载。
英伟达工作人员表示画面拼接的关键在于,
“全景相机由多个摄像头构成,各个摄像头之间会有画面重叠的部分,并且可能不在同一个时间点,画面拼接时必须在同一个时序里面;二是两个临近的摄像头拍摄时,如何识别出画面重合的部分,拼接完可能会漏掉,我们一定会做‘补洞’、‘补光’。”
“我们的 GPU 效率可能更高,这是涉及硬件层面的架构。”
Project Holodeck
除了全景视频,这次他们还把 Holodeck 的演示片段带到了现场。
Holodeck 的演示 Demo 十分简单,直观些说,这是针对汽车设计者制作的内容。Demo 中你会看到一辆价值不菲的跑车,你可以随意调整汽车的颜色(外观和车座),可以拿着标尺测量车轮的大小,可以站在车外“透视”到前车盖下的发动机,还可以让整辆车全部“炸开”,看到跑车的各个零件,并且“游走”在这些零件间(这是比较震撼的场景)。
由于展会场地条件的限制,现场网络状况不好,雷锋网没有体验到“多人协作”的模式(但在 SIGGRAPH 上雷锋网(公众号:雷锋网)其他编辑体验过多人模式)。
工作人员表示,Demo 中的跑车使用了 5000 多万个面,至于 Holodeck 下一步到底具体怎么用,现在还没有确定,要等 9 月份北京举办的 GTC 大会上的新消息。
此前雷锋网在 SIGGRAPH 大会上对 Holodeck 有过较为详细的报道,英伟达专业 VR 业务主管 David Weinstein 透露,Holodeck 将在 9 月进行内测,届时会邀请一部分合作伙伴参与,收集各方反馈对 Holodeck 进行优化。他也反复强调,Holodeck 现在只是一个项目,不能算产品,只有在完善到一定程度之后才会公测。
作为一个架构,英伟达会把 Holodeck 提供给游戏、娱乐与工作应用开发商,用于开发它们的具体产品。
英伟达的工作人员还透露了一些他们正在试验室里做的事情。例如,现有的 HTC Vive 手柄只能够震动,如果让手柄实现力反馈,这将大大增强沉浸感;还有 SIGGRAPH 上展示过的“变焦虚拟:近眼现实的新型光学结构(Varifocal Virtuality: A Novel Optical Layout for Near-Eye Display)”。