给手绘图着色(添加颜色或色彩):CVPR2020论文点评 (2)

本文观察到,艺术家倾向于从一组相对较小的特定照明方向中进行选择,特别是在漫画和日本动画中。为此,本文在图1中定义了由2×2立方体形成的26个照明方向。本文发现,用户可以直观地从围绕2D对象顺时针的八个照明方向和指定光源的三个深度(前、平面内和后)中的一个方向进行选择。

3.2.   Network Architecture

本文的发电机包含以下模块:剩余块[7][8]、薄膜块[22]和挤压和激励(SE)块[10]。本文的生成器的总体架构遵循具有跳过连接的U-net架构[25,13]。本文的鉴别器使用残差块。详细信息如图2所示。

给手绘图着色(添加颜色或色彩):CVPR2020论文点评

本文还提取了两个监控端输出,s1和s2,以便于反向传播。本文的渲染网络的早期阶段生成连续的、柔和的阴影图像。在最终阶段,网络将这些图像转换为二值阴影。侧边输出s1和s2中的软阴影质量如图2所示。本文再次注意到,本文的输出不需要任何后期处理来生成二值阴影;本文中的图像是将本文的生成器的输出与输入草图合成的直接结果。

本文的鉴别器的基本模块包括降尺度残差块和残差块。由于不同阴影的许多局部特征彼此相似,本文部署了自我注意层,使本文的鉴别器对远处的特征敏感。在图2中,最后一个鉴别器由全局平均池化、0.3概率的退出和256个滤波器的完全连接层组成。因为产生阴影比辨别假阴影和真阴影更困难,所以一个简单的辨别器就是充分和简单的训练。

3.3.   Loss Function

给手绘图着色(添加颜色或色彩):CVPR2020论文点评

4.       Experiments and Evaluation

给手绘图着色(添加颜色或色彩):CVPR2020论文点评

如图3、4、6、5、7所示,本文的工作表现良好。例如,在两个人和多人的线条图(图3第二行)上,本文的工作能够阴影每个字符,但是,DeepNormal和Sketch2Normal将多个人视为一个对象。值得注意的是,本文的工作在生成非常详细的阴影方面非常出色,例如在女孩的头发和裙子上。

就草图的复杂性,尽管本文的训练数据集有中等程度的细节,但是本文的网络在复杂的草图上表现良好,如图3所示。本文也可以在不需要遮罩的情况下,在物体边界之外表现出色。此外,当光源改变深度时,本文的工作会产生更精确的细节。如图4所示,DeepNormal[20]中的阴影几乎覆盖了整个图像,因此看起来好像光线在物体后面。但是,在这些图像中,光源与对象位于同一平面上,从而产生侧照明。

在图6中,本文通过与3D测试模型的比较,解释了当光线位于物体平面时,DeepNormal[20]表现不佳的原因。特别是,使用本文的技术,兔子头上和腿上的阴影更接近地面的真实情况,并显示自我阴影。

如图4所示,由于256×256块的多重平均值,DeepNormal的法线贴图具有低方差(请参阅DeepNormal的第3.4节)。这种低方差导致前照灯看起来像侧照灯,侧照灯看起来像后照灯。Sketch2Normal生成的一些图像有一些伪影,因为预测的法线贴图有一些空白区域。因为它是在简单草图上训练的,草图2通常是在复杂草图上训练的。

最后,本文注意到,本文的方法产生艺术边缘高光从背光。请参阅图3和更多比较图中的普通地图的补充材料。与在本文的数据集上训练的Pix2pix和U-net相比,本文的架构在质量上也表现良好(图7)。一般来说,U-net在精确的软阴影中生成,这与本文的二元阴影目标相去甚远。Pix2pix在对象边界之外生成阴影,并忽略草图中的几何信息。在本文早期的研究中,本文使用了带有跳跃连接的残差块自动编码器,它产生了软阴影。为了达到二值阴影的目的,本文增加了一个鉴别器,并采用了一个更深层次的渲染网络。如果艺术家想要柔和的阴影,可以使用侧面输出s2。

给手绘图着色(添加颜色或色彩):CVPR2020论文点评

给手绘图着色(添加颜色或色彩):CVPR2020论文点评

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwpdfp.html