图像补全(图像空洞填补)是一项在缺失区域中综合替代内容的任务,使修改在视觉上真实且语义上正确。
加玛森门控它可以移除分散注意力的物体或修饰照片中不需要的区域。它还可以扩展到包括图像/视频裁剪、旋转、拼接、重新定位、重组、压缩、超分辨率、协调和许多其他任务。
在计算机视觉中,有两种广泛的图像修复方法:使用低阶图像特征的patch匹配和使用深度卷积网络的前馈生成模型。然而基于普通卷积的深度生成模型不适用于图像孔填充,因为空间共享的卷积滤波器将所有输入像素视为相同的有效像素。对于孔填充,每一层的输入由孔外的有效像素和掩蔽区域中的无效像素组成。Vanilla卷积对所有有效、无效和混合像素应用相同的过滤器,导致在自由形式掩模上测试时出现视觉伪像,例如颜色差异、模糊和孔周围明显的边缘响应。
为了解决这一限制,最近有研究人员提出了部分卷积。
加玛森门控多少钱卷积通过基于规则的掩码更新步骤来更新下一层的有效位置,部分卷积将所有输入位置分类为无效或有效,并将一个0或1掩码乘以所有层的输入。但是这样的方法有局限性,将所有位置归类为无效或有效,包括输入图像的有效像素、输入图像的掩蔽像素、接受野不覆盖输入图像的有效像素的神经元与接收野覆盖不同数量的输入图像有效像素,以及深层合成像素。如果通过上述方法处理就会忽略这些重要信息。
我们提出门控卷积用于自由形式的图像修复。它学习每个通道和每个空间位置的动态特征选择机制。门控卷积易于实现,性能显著提高。对于网络架构,我们堆叠门控卷积以形成一个编解码器网络。我们的修复网络还集成了语境注意模块在相同的细化网络以更好地捕获长期依赖。在不影响性能的情况下,我们将训练目标简化为两个术语:像素级重建损失和对抗性损失。由于小孔可能出现在任何形状的图像的任何地方,因此为单一矩形掩模设计的全局和局部GAN不适用。我们提出了一种衍生式对抗网络,名为SN-PatchGAN,它是由全局和局部GAN网络、MarkovianGAN和最近关于频谱标准化甘网络的研究驱动的。SN-PatchGAN的鉴别器直接计算输出图中每个点上的铰链损耗,格式为Rh×w×c,加玛森门控针对不同的位置和不同的语义(以不同的通道表示)制定出GAN的h×w×c数。SN-PatchGAN配方简单,训练快速稳定,产生高质量的补全效果。