白皮书全面阐述了三维沉浸视频技术，涵盖概念、技术体系、发展趋势、标准化建议及应用等方面，为推动该技术发展提供了全面参考。
技术概述
1. 概念特点：通过采集真实数据，结合多种技术，模拟重现现实场景视觉信息，具有从平面到立体感知、单一到自由视角、有限到任意时空分辨率、复刻完整视觉信息等特点，最终让观众获得身临其境感受。
2. 技术演进：经历双目立体、裸眼3D、全景3D、自由视点、体积视频等阶段，各阶段在技术实现、视觉效果和交互性上不断发展，但也面临不同挑战，如双目立体需佩戴设备且视点有限，体积视频拍摄难度大等。
技术体系
1. 内容采集：包括图像采集（双目相机、阵列相机、全景相机）和深度信息采集（RGB - D相机、激光扫描等），不同方式影响场景信息获取和处理。
2. 内容重建：利用计算机视觉和图像处理技术，通过主动或被动式方法对场景三维结构重建，涉及三维沉浸视频表示、2D转3D技术、双目和多视立体视觉技术、全景立体视频技术等，各技术有其特点和适用场景。
3. 内容编码：涉及将三维场景内容编码为数字数据，有传统平面视频编码、双目立体视频编码、多视点编码、全景立体视频编码、体积视频编码等技术，不同编码方式适用于不同三维显示需求，且全景立体视频编码涉及投影技术。
4. 内容传输：三维沉浸视频传输对网络带宽和时延有要求，不同类型视频（如双目立体、FOV视频、体积视频）的典型码率和传输要求不同。
5. 渲染交互：虚拟视点合成技术可提升观看体验，包括基于模型和基于图像的渲染技术，各有优劣；交互方式多样，如头部追踪、触摸屏操作等，增强用户沉浸感和参与感。
6. 终端显示：包括平面视频显示器、眼镜式3D显示、头戴显示器、裸眼3D显示等，不同类型显示器在原理、优势和局限性上存在差异。
7. 质量评价：主观质量评价通过实验让受试者评分，客观质量评价设计算法预测质量，需考虑多种因素，评价方法包括全参考和无参考，使用特定指标衡量算法性能，且有多个相关数据集。
发展趋势
1. 现存问题：面临用户体验难以兼顾高交互自由度与照片级真实渲染效果、应用形态碎片化、内容匮乏等挑战。
2. 前沿技术：NeRF和3D高斯溅射等技术为解决问题提供可能，NeRF通过神经网络学习场景信息实现高质量渲染但存在速度慢等问题，3D高斯溅射实现高效实时渲染但有模型优化和兼容性问题。
3. 3D全真视频：具有照片级真实动态渲染、6DoF交互、高效压缩与实时处理、易于编辑、跨平台和互操作性等特点，在多领域有应用前景，如赛事直播中已初步展现优势。
标准化建议
1. 现有标准：国内外已制定多项相关标准，国内标准涵盖采集重建、编码渲染、终端显示和质量评价等方面，国外标准涉及三维视频编码、点云编码、网格编码等，但现有标准对3D全真视频不适用。
2. 未来方向：我国应开展下一代三维沉浸视频编解码标准布局，新标准应具备支持六自由度交互、照片级真实渲染、实时渲染、高编码效率、低延时和易于编辑等特性，同时还需制定整体路线标准和质量评价标准，推进标准化工作。
应用领域
已初步应用于赛事直播、家庭场景、展示陈列、文旅场景、医疗场景、教育场景、工业场景和影视场景等，未来应用将更加广泛深入，如CBA联赛直播中的自由视角应用、家庭中的裸眼3D设备、艺术馆中的全息透明柜展示等。
免责声明：我们尊重知识产权、数据隐私，只做内容的收集、整理及分享，报告内容来源于网络,报告版权归原撰写发布机构所有返回搜狐，查看更多
责任编辑：