术，具象或者实际的释义是技艺，比如技术、艺术、学术，或者武术。抽象和哲学地说就是方法论，战术、权术。古人用以指代城市中的道路。用今天的话说，数术即算法，古人很科技。在所有讲究“术”的行业，越大众越反科学。创建【术说】栏目，就是想邀请一线的工程师、开发人员、技术精英，从技术思维出发，用科学逻辑去分析科技趋势、行业现象，论述观点、点评产品。跟大家一起来聊聊VR/AR，人工智能——这些原本就建立在极高技术基础上的“西部世界”。

　　昨天发布了Deepano CTO徐抗关于360°视频中的深度信息的知识和看法，今天文章主要讲述深度信息在360°视频的应用，除了制作6自由度体验，深度信息能够在什么方面让VR视频变得更好。同时文章还将有跟多关于Deepano团队及其项目的介绍。

　　术说人：徐抗 Deepano CTO

　　徐抗，Deepano（狄拍科技）公司CTO，曾就职于联想、日本施乐，多视几何专家，上海交大硕士，海外留学，6年+计算机视觉研究经验，拥有多篇专利。

　　深度信息在360°视频中的应用

　　问题：360°视频/VR视频如果有了深度信息，能够达到什么样的效果？

　　徐抗：深度可以有很多应用，对应于全景视频，至少可以解决如下几个方面，

　　第一：拼缝，基于深度进行拼接可以解决近距离物体穿缝的问题。

　　第二：用户只能被局限在一个固定的视点旋转头部而无法进行移动，基于深度可以生成可自由移动的6自由度视频。

　　第三：视频防抖，视频防抖的一种做法是利用跟踪摄像机路径后进行路径平滑，平滑过程中需要生成新的视点，基于深度可以更自然地做到新视点的生成。

　　第四，提升后期特效的工作效率，基于深度可以方便地区分前景/背景，以及添加光源、虚化等特效。

　　针对第一个问题，首先跟大家讲一个生活中很常见的现象，当我们坐车望向窗外时，远处的大楼缓慢的向后方移动，近处的树木飞驰而过，而天上的太阳则永远悬挂在固定的位置。这是一个蛮文艺的画面，但在这里我想说的则是360度视频中存在的一个问题：视差。

　　运动就会产生视差，前面提到的现象，就是人眼的运动导致的视差投影在视网膜上形成的画面，物体距离越近，视差越大，则在画面中位移越大；近处的树木移动最快，远处的楼房移动缓慢，太阳则似乎纹丝不动。

　　全景相机采用多镜头（大于等于2）采集，再将采集到的画面通过算法进行拼接。由于全景相机的镜头光心在物理上无法做到完全重合，则相当于相机之间产生了“运动”，由于镜头之间存在“运动”，则会导致两个镜头拍到的画面会有微小的差异，即：近处的物体与远处物体之间存在视差。算法若选择在接缝处将近处物体拼好，则远处物体会出现“重影”，反之，近处物体则会缺失。这就是全景视频中人穿缝的时候，人会出现“跳变”的原因了。

　　那么既然知道了视差产生的原因，我们怎么消除视差呢？人们自然而然想到了前面场景中的太阳：太阳为什么纹丝不动呢？如果所有物体都跟太阳一样纹丝不动，那不就很好拼接了吗？答案前面已经提到，越近的物体在画面中位移越大，越远的物体位移越小，太阳对于人类来说，那自然是无穷远了，当然就会挂在天上一动不动了。可是现实中我们拍的物体离我们很近啊，怎么办呢？

　　我们将摄像机靠到无穷近，那树木、大楼相对于这几个摄像机之间的“运动”来说，不就是无穷远了吗？这也是最早一批全景相机在设计上的一个指导原则，那就是镜头要靠的足够的近。理光的Theta更是采用了棱镜反射的方式，将镜头完全背靠背放在一起，通过将感光元件放在别的地方，来减少镜头体积，从而使镜头靠近。这里就引申出了另一个概念：安全距离。

　　当镜头距离一定时，超过某个距离的物体在每个镜头中的成像视差小于一个像素，则该距离是安全的，镜头越近，则安全距离越小，出现接缝的概率越低。而我们又知道，镜头的大小与进光量存在直接关系，镜头越大，则进光量越大，成像质量越高，而专业的VR拍摄又需要非常高的成像质量（专业拍摄总是长枪短炮，咱总不能拿个Theta去好莱坞拍电影吧）。

　　再回到视差产生的原因，第一，运动，第二，拍摄物距离。既然专业的VR拍摄中镜头之间的运动无法消除，那我们能不能得到拍摄物体的距离呢？

　　这就是深度的作用了。深度直接表示出了每个像素到摄像机的距离，通过这些距离，我们则可以直接计算出该像素在全景视频中的真实位置，深度准确时，同一个物体在所有摄像机中的成像都会投影到全景视频中的同一个点：拼缝自然而然的就消除了。这就是我的第一个结论：深度可以消除全景视频中的第一大痛点——视差导致的拼缝，从而生成一个完全无缝的全景视频。

　　全景视频的第二大痛点是，用户被固定在一个视点无法自由移动，即只有三个旋转自由度（roll/yaw/pitch，单纯的旋转不会产生视差，因此没有问题），丧失了另外三个移动自由度，这也是为什么全景视频一直被质疑不是真正的VR视频：不能移动怎么能叫VR呢？

　　那么，在全景视频中为什么不能移动呢？前面提到，运动就会产生视差，在日常生活中，当我们移动眼睛时，身边的物体在视网膜上的成像会根据距离不同程度的移动，从而对人眼产生反馈，除了双目视觉外，这也是人眼感受深度的一个重要方式。

　　传统的全景视频中，计算机是不知道每个像素的距离的，当人们在场景中想要移动时，下一个画面应该是什么样的呢？计算机是不知道的，因此，索性就不对移动进行响应了，而将人眼固定在拍摄位置。

　　讲到这里，大家自然就知道了深度在全景中的另外一个重要应用，这也是近期比较火的一个话题：六自由度（DoF，Degree of Freedom）的VR视频。一旦计算机知道场景中每个物体的深度，那计算出下一帧应当长什么样则是GPU尤其擅长的事情了。因此，我的第二个结论是：深度能为六自由度VR视频提供最重要的数据，使得六自由度VR视频成为可能。

　　另外，在场景三维重建，后期特效等之前通过CG建模才能完成的任务，深度都能在里面找到用武之地。

Deepano狄拍科技团队

　　技术先行 Deepano专注VR视频技术

转载请注明出处。