秋千荡到半空，抓紧绳子的儿童不见了；刚刚被球杆击起的高尔夫球，在半空中消失；漫步在戈壁的驴友，下一步似乎走入了时间黑洞....

这点是依靠于一个叫做光流引导的方法实现的成果。在相片PS十分普及的当下，视频的像素级修缮一直面对着诸多困难，其最重要的难题在于，1)确保时序上的延续型 2）在高分辨率下实现修缮 3）下降视频关于计算的开销。

近日，弗吉尼亚理工学院和Facebook的科学家研发出一款全新的AI算法，该算法可行让视频里任意物体十足消失。不但如许，该算法在视频去水印、物体移除、画面扩展等方面均有出色地体现。记载该算法的论文近日被计算机视线三大世界高级会议之一的ECCV收录。

论文显现，这类技艺背后的原理叫做光流法（Optical Flow），算法借助光流 (Optical flow) 来寻觅不同帧之中的关连，并经过在不同帧之中流传消息来补全。

光流（Optical Flow）描画的是观看者眼里物体的活动概况，观看者可行是肉眼，也可行是摄像头。视频里每个像素点，在帧与帧之中产生的位移，都会被纪录。光流法据此来预计物体产生了怎么的活动，从而把它从背景里抠掉。

另外，AI还须要对扣掉的空白部分发展修补，经过视频首尾帧中已有的光流，将空白的光流平滑推测出去，而且在光流指导下对空白处发展色彩修缮。

与此前的技艺比较，该算法经过在梯度域发展操作来生成没有痕结果。过去的鉴于光流的方法常常没有办法维持活动边界的清楚度，让得修缮后的画面不够平滑。论文的方法起首提取并达成活动边缘，接下来运用他们引导具备锐利边缘的分段平滑流达成。

此外，源于之前的方法是在相邻帧之中的局部光流接连中流传色彩，但却非全部视频中被水印、物体遮住的地域都可行经过这类形式规复，就会形成伪影。

论文的方法经过导入非局部流接连来缓和这种难题，算法从光流中间提取出外部线条线，假如提取的边界不完整，就再把被遮挡部分平滑地修缮出去，让得视频内容能够在活动边界上流传。

该文由四位探讨人士合力达成，包括弗吉尼亚大学的Chen Gao和Jia-Bin Huang，以及Facebook的Ayush Saraf和Johannes Kopf。此中，Chen Gao是本篇论文的一作，该团队显示会在近期将这项技艺开源。

光流法的精进是在底层视线焦点算法上的突破，依靠该算法，从体感上视频修缮曾经可行做到没有痕抹除水印、没有恒补全画面残缺，在指标辩别和影视后期中，具有庞大发挥体积。