自1933年电影《金刚》应用“邓宁蓝幕技术”到今天，绿幕抠像+后期制作是现下绝对主流的特效视频拍摄方式。

人们可以将演员或实物，放置在任何剧情需要的奇幻炫酷场景中。

从《阿凡达》瑰丽奇异的潘多拉星球，到《流浪地球》的冰封北京城，从虚拟演播室里的卫星云图展示，到2021年央视春晚中刘德华和现场演员的同台互动。

均采用了绿幕抠像+三维场景渲染技术！

但是时至今日，这项技术仍有一些无法规避的问题。

比如无实物表演，演员需要在纯粹的绿箱环境中依托想象力进行表演。

再比如光线问题，怎样让绿箱中的演员/物体呈现出真实的周边光线反射效果？尤其是金属、珠宝、汽车这类带有镜面材质的物体？

毕竟光线修复一向是影视后期人员工作内容的重要组成部分。

而此时，扩展现实（Extended Reality，简称xR）技术正日趋成熟，并频繁亮相在公众眼前。

一/是什么——xR定义

xR词汇的提出，可以追溯到CO Allen于2014年的申请的一份专利《Method for creation ofaugmented reality medium i.e. extended reality medium, involves detectingaugmented reality contents based on determination that reality data correspondsto given acquisition event data》，文中将xR作为AR的别称进行使用，约2年后，一些国际媒体服务器厂家开始在市场中尝试推广xR的概念。 xR到底是什么？众说纷纭。但为了方便继续讲述，我们在此先对xR做一个定义，xR（ExtendedReality）即通过摄像机追踪与实时图像渲染技术，使显示介质（LED/投影碗幕）及显示介质外的虚拟场景实时跟踪摄像机视角，在摄像机镜头前与现实拍摄画面合成，从而营造出无限空间感的技术。

不好理解？没关系，下面会进一步解释。

对于xR是VR、AR、MR等多种技术统称及其他说法，在此不作讨论。

二/为什么——xR原理

想要了解xR原理，我们需要先理解****。

因为xR技术贯通虚拟与现实的桥梁，正是建立在****的基础之上。

那些把人物P在一个个旅游景点前的合成照片，有的能“以假乱真”，有的却能一眼看出“作假”。为什么？

虚假的原因千奇百怪，真实的条件千篇一律。

条件之一是它们必须具备正确的****关系。

****学，在平面上再现空间感、立体感的方法及相关的科学。

为了满足****这一自然科学原理，如果想要制作一张以假乱真的合成照片，照片上的所有物体都必须在空间中拥有统一的****点。

简单讲，如果照片中的背景是采用俯视的角度拍摄的，那么需要合成的那个人，绝不能采用Ta仰视下的形象。

这是在二维平面上，混淆虚拟与现实的做法。

那么在三维空间中呢？

如果要合成一段视频，我希望演员身处室内，然而在镜头下其身后却是一整片森林，除了利用绿幕，还有什么方法？

如果摄像机镜头固定且位置合适，甚至可以在演员身后直接挂一面巨幅的森林图案画布，只要演员和背景平面都在镜头下呈现出正确的****关系，就能满足一些最初级的需求。

与那些合成照片一样。

但镜头一旦移动，背景森林实为平面画布的事实便无论如何也无法遮掩。

实际上，场景背景的真实感，正是在镜头移动的过程中得到塑造并增强的。在镜头推拉摇移的每一帧，如俯瞰时的大全景、跟拍时的中景——演员的身后都应当呈现出一个在这个位置、这个角度，满足真实****关系的背景场景。

如果当摄像机旋转或改变角度时，演员身后的背景也能契合摄像机镜头同步完成角度的改变，就好了。

这个技术，就是xR技术。

三/怎么做——实现xR

我们以一款国内自主研发的媒体服务器——hecoos虚拟制作服务器为例，其完成一场xR项目需要的基本配置有：一套hecoos虚拟制作系统、一套摄像机追踪系统、一套实时渲染引擎、LED屏/投影碗幕。

实现xR技术的流程可分为5个环节：

1、摄像机追踪系统将真实摄像机的实时运动位置、姿态及镜头参数（x、y、z、pan、tilt、roll、FOV......）传输到hecoos虚拟制作服务器。

2、hecoos虚拟制作服务器对摄像机信息进行实时解析与处理，驱动实时渲染引擎渲染该视点所需的虚拟画面。

3、hecoos虚拟制作服务器接收虚拟画面并通过****投射将渲染的虚拟画面输出至背景LED屏/投影碗幕，由摄像机完成最终采集。

4、将LED屏/投影碗幕外拓展空间中的虚拟内容叠加在镜头前，采用自动校色功能对所有虚拟画面分别进行颜色校正，达到背景画面颜色统一。

5、镜头合成后，即为观众在镜头前看到的最终影像——无论镜头如何移动，演员始终身处在符合正确****关系的一整片广袤森林前。

四/“R”词汇的区别与联系

VR（Virtual Reality） 头显

xR（Extended Reality） 摄像机

AR（Augmented Reality） 头显/摄像机

MR（Mixed Reality） 头显

观看VR内容必须借助头显，而所观看内容全部为虚拟内容，缺乏与现实环境的互动。

xR所用的摄像机起到与头显相同的作用，但其摄像机视角也可以拍摄到真实环境下的客观物体。如果从这个角度来看，为了便于理解，我们可以简单地将xR类比为摄像机视角下的VR。

AR技术需要借助头显或摄像设备，才能使人们看到叠加在现实环境上的虚拟物体。如节目现场的观众，在不借助设备的情况下，其实无法看到节目中的AR特效。

而MR技术的解释稍微复杂一点，MR头显实时采集实际场景画面并将其与虚拟效果相结合。从技术上来说，MR头显混合了VR头显的虚拟制作技术和AR头显的实景采集技术；而从体验上来说，MR头显混合了VR头显的超高表现能力和AR头显的真实互动体验。

此为“混合现实”——Mixed Reality。

五/xR VS 绿幕

xR能否取代绿幕一直是个热点话题。

相较绿幕，xR有一些明显优势：

1、xR实时呈现的背景为演员提供临场感，能够让缺乏无实物表演经验的人们直观了解当下处境，掌握自身走位。

2、xR使演员表演与表演环境相结合的效果及时呈现，并且更方便创作团队及时修改创作想法。

3、xR能够节省掉影视制作过程中许多花费在光线修复上的时间和金钱。

但是xR技术本身同样具有局限，如果是基于LED屏幕方案实现的xR技术，那么站在LED屏上的演员脚下将没有影子，这是xR技术的一个较大遗憾。

xR技术诞生至今约5年时间，与之相关的软硬件设备尚有巨大的可优化空间，而绿幕拍摄在从1933年至今的近90年中已经发展到了非常成熟的地步，因此在某些情况下使用绿幕能够实现更为理想的效果。

我们所见到的使用xR技术制作的舞台节目，如果是录播播出，其中部分节目还会采用后期做进一步的修饰加工。

所以，作为当下新兴前沿科技的xR技术，想要实现对传统绿幕技术的“弯道超车”，还需进一步发展自身。

有些问题是不确定的，比如随着xR技术的飞速兴起，今后的文旅演艺活动市场将呈现出怎样的格局？

比如随着计算机运算处理能力的提升和产业链设备的不断优化，虚拟制作技术能否成为人们未来日常生活中不可或缺的一部分？

比如人类始祖曾经抬头长久凝望一片浩瀚璀璨的星空，如今我们距离那片星空又还有多远?

而能够确定的却是，不用太久，在技术的快速迭代和需求创新的内在驱动下，方兴未艾的xR技术定将迎来属于自己的一片广阔天地。

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。