五彩斑斓的黑，本是一个网络热梗，
但是凡事就怕认真，
把这道题给“算”出来了。
或许很多老法师都知道，用一台相机和一枚大光圈镜头就可以很轻松的拍出这样五彩斑斓的黑，但可能他们不知道的是，如今的手机也已经能够借助影像 AI 算法来拍出足以媲美相机的照片甚至是视频，并且在光斑特 效呈现上能够实现比相机更富创意的玩法。
视频光斑特 效是怎么“算”出来的?
受限于物理体积，手机和专业器材相比在光学结构上天生弱势。早期手机摄影大多主攻后期优化，对于前期成像的优化却略显无力。而计算摄影的出现，则能最 大限度突破硬件局限，带来接近相机的拍摄效果，模拟出只有专业相机才能拍出的视频光斑特 效。
相对于专业器材在硬件光学结构上的先天优势，想要在手机上实现视频光斑特 效则要难得多，除了需要在手机硬件上进行不断提升，AI 算法更是需要根据不同场景做持续优化。此外，视频光斑特 效并不只是简单的进行视频背景虚化，还需要 AI 算法对背景光源进行实时的识别和渲染，在技术实现上可要比单纯的背景虚化难得多。
那么一段光斑特 效的视频又是如何拍出来的呢?
首先，AI 算法会基于深度学习神经网络对人物主体和背景进行准确识别和像素级分割，这时如果人物所处的拍摄环境光照条件比较复杂的话，还需要算法介入对人物和主体进行有针对性的画面优化。在完成人物和背景的分割之后，AI 算法将会同时识别焦外光源并对背景高光进行控制，之后再对背景进行实时的渲染和光斑处理，最后经过和人物主体的合成。到这里，一段具有视频光斑特 效效果的影像就完整的保存在你的手机里了。
单从视频光斑特 效特 效的实现路径来看，似乎不是非常复杂，甚至有人会认为这不就是“抠像”之后再加一个光斑“滤镜”嘛?
视频光斑特 效这道题，难也是真的难
事实上，一套光斑特 效 AI 算法的背后有着非常多技术实现上的难题需要攻克。
首要难题就是如何准确的将人像和背景分离。通常在进行拍摄时，人物的衣着、发型、场地光照和背景都有着极强的随机性，例如画面中的人穿着一件黑色大衣站在远处背景里满是霓虹的夜色中，在这样极端的拍摄环境下，如何清晰的识别衣服和背景的边界，美好的呈现出一个五彩斑斓的黑，就是对 AI 算法能力的最 大考验。
其次，光斑特 效在满足功耗要求的前提下，又能如何保证在视频拍摄时展现出实时且连续的画面呈现，也是摆在 AI 算法面前的一大难关。试想一下，当你在拍摄视频时打开光斑特 效，特 效画面无法实时展现，并且画面呈现在不同效果之间反复横跳，这样的体验一定是每一个用户都不想要的，那么这就需要AI算法能够带来连贯且稳定的持续“输出”。
旷视视频光斑特 效背后 AI 算法的秘密
旷视在影像 AI 算法领域已经有了多年的技术积累，尤其是在光斑特 效的技术实现方面，团队借助丰富的行业实践案例，已经建立了一套在识别精度、分割精度以及渲染精度三个方面都处于行业领先位置的光斑特 效 AI 算法模型。
旷视光斑特 效算法展示
01物体识别
为了持续提升光斑特 效 AI 算法模型对人物和背景的检测识别能力，旷视借助全监督算法方式，对检测模型进行训练。数据库涵盖了不同的人体姿态、环境光线、景深距离等场景的图像信息，来完成对算法模型的数万次训练，最 大程度覆盖用户拍摄可能遇到的场景。庞大的数据库和丰富的数据类型，也让 AI 算法的识别准确度不断优化。
02人像分割
在对影像实现准确识别之后，就轮到人像分割算法来接棒之后的画面处理工作。而在人像分割准确度方面，我们通过测试和实践不同的模型组合并和手机性能和效果数据进行对比，最终得到了一套能够同时满足分割精度和手机功耗的算法模型，并深度结合视频画面信息以及场景数据来对模型进行优化，使高端算法模型的分割精度能做到平均 miu0.95以上，有效解决了人像分割算法在实时效果呈现和发丝级精细度两个方面的行业难题。
03背景渲染
光斑特 效之所以能够实现如此炫酷的视觉观感，实时光斑背景渲染算法模型同样功不可没。在渲染效果无限趋近于专业器材这条路上，旷视算法团队不断围绕背景亮度、光斑形态和稳定性、虚化渐进性等对算法模型持续打磨，借助大量的模型测试以及针对不同拍摄环境进行定制化参数调试，使人物主体更加突出、背景光斑效果更加五彩斑斓，让用户在不同的设备上也能获得统一的视觉美感。
当然，我们还追求着更多创意玩法，未来将以不同的“电影镜头”效果特 效，给用户带来更多创作的乐趣。
技术的不断迭代，让旷视关于影像 AI 算法的研究也一直在延续。而作为一个以美为核心诉求的算法技术，光斑特 效 AI 算法未来也仍然会朝着更加接近于相机效果的视觉观感而不断优化升级。
其实，光斑特 效只是旷视视频特 效中的一个产品，还有视频人像留色、人像虚化、人像双重曝光等产品也在被广泛的应用于手机影像中，让用户享受到成为“生活的导演”的乐趣。未来，旷视将不断拓宽计算摄影的应用边界，让更多人能够享受到 AI 算法所带来的价值。