现如今多媒体内容不仅获得了更高的分辨率,也有更高的沉浸度,体积视频就是可以更好地为用户提供沉浸感和交互。在体积视频中,每一帧都由一个点云(即三维空间中的一组未排序的点)表示的三维场景组成。因此,播放体积视频本质上是在某个位置渲染点云流,例如每秒30或60帧。三维表示提供完全沉浸式体验,允许用户自由探索视频播放期间的三维场景。观众可以随六个自由度观看,即三个旋转维度(偏航、俯仰和滚动的观察方向)和三个平移尺寸(X、Y 和 Z 中的视点位置)。
由于体积视频的三维特性,体积视频在娱乐、教育、医疗保健等领域有大量应用。然而,通过网络流式传输高分辨率点云非常需要带宽,即使有压缩,流式传输点云也需要数百Mbps的带宽。因此,带宽利用率已成为主要阻止高分辨率体积视频出现的障碍,特别是分布在无线/移动网络上。
本项目采用在server端传输稀疏的点云,在client端使用模型上采样得到原本的稠密点云序列,进而实现体积视频高质量低带宽的传输。
已完成的工作:
正在进行的工作:
(项目负责人:肖梦白)