PRISMA是一个计算摄影管道，可以从任何图像或视频中执行多种推断。就像光线通过棱镜折射成不同的波长一样，这个管道将图像扩展成可用于3D重建或实时后期处理操作的数据。它结合了不同的算法和开源的预训练模型，比如单目深度(MiDAS v3.1， ZoeDepth， Marigold， PatchFusion)、光流(RAFT)、分割掩模(mmdet)、相机姿态(colmap)等。结果被存储在与输入文件同名的文件夹中，每个band以.png或.mp4 文件的形式单独存储。
点击前往PRISMA官网体验入口
对于视频，在最后一步，它会尝试执行稀疏重建，可用于NeRF(如NVidia的Instant-ngp)或高斯扩散训练。推断出的深度信息默认导出为可以使用LYGIA的heatmap GLSL/HLSL采样实时解码的热度图，而光流编码为HUE(角度)和饱和度，也可以使用LYGIA的光流GLSL/HLSL采样器实时解码。
需求人群：
- 3D重建
- 图像/视频后期处理
- 生成NeRFs训练数据
使用场景示例：
- 从图像中提取多种band信息进行分析
- 从视频中获取深度/光流信息制作3D效果
- 作为NeRF网络的数据源进行训练
产品特色：
- 单目深度推断
- 光流估计
- 图像分割
- 相机姿态估计
- 稀疏3D重建