虽然本文网络的最终输出是二进制阴影,但是如果一个艺术家想要软阴影,可以使用侧面输出s2,如图2所示。本文的工作是对先前草图自动着色工作的补充[36,15,38,5,4]。图8展示了本文的阴影可以与这些着色方法相结合。虽然大多数先前的彩色化工作结合了阴影和阴影效果,但将这些效果分离为独立的图像层以进行进一步的艺术编辑将是有趣的。
用户接受了一个简短的培训,展示了来自本文的数据集的15个地面真实阴影草图,并强调了前照灯和侧照灯之间的差异。本文还要求用户将自己的绘画体验分为“专业”、“一般”、“初学者”或“0体验”。本文在网上分发了调查结果,共收到60份。有绘画经验者40人,其中专业画家13人,一般水平11人,初学者16人。结果见表1。本文的方法表现良好,几乎与艺术家创造的地面真实阴影相匹配。本文进行了单因素方差分析来分析利克特得分。结果证明,本文的结果在数量上与groundtruth相似(p=0.24),优于其他方法(p<0.05)。
本文进行了7项消融研究,如图10和9所示。为了定量比较,本文计算了Frchet起始距离(FID)[9]每4000次迭代本文的工作和消融研究使用整个数据集。图9显示本文的工作具有最低和最稳定的FID。这说明本文提出的每一个特征都是必要的,而全变分正则化是至关重要的。图10定性地表明,如果没有本文提出的元素,网络性能就会下降:边界会变得模糊,并且会出现阴影。在所有消融研究中,“无自我注意”的影响最小,如图10(b)和图9中的FID所示。设置总变化正则化器的系数大于5倍或移除正则化器对整体性能的影响最大,并破坏阴影的平滑度。相应的FID也强调了全变正则化的重要性。在图10中,所有图像使用相同的照明方向“810”。一般情况下,当去除自关注层时,网络的细节表现不佳,阴影块内有微小的伪影;如果没有坐标通道或胶片块,输出会有不真实的阴影边界和物体边界外的阴影;如果没有SE块,会有暗影“粉刺”,整体外观看起来凌乱;如果没有两个深监督输出(λ1=.9,λ2=λ3=0,λ4=.4),输出会有网格状的点伪影,精度较低;如果网络中电视正则化器的权重增加5倍或缺少电视正则化器,则网络收敛速度过快陷入局部极小值。
5. Future Works
在不同大小的输入图像上,网络性能是不不变的。大部分320×320输入具有最好的性能,因为本文的网络是在320×320大小的输入上训练的。480×480的输入图像也有很好的性能。尽管本文在用户研究中几乎与地面真实相匹配,但是本文生成的阴影并没有地面真实那么详细,特别是在硬表面物体上。另外,如果输入线图的本地部分,则网络无法产生正确的阴影。作为未来的工作,本文将开发一个网络,可以输出各种图像大小,以满足高分辨率的绘画要求。
6. Conclusions
本文的条件生成对抗网络学习一个非真实感渲染器,可以自动从手绘草图生成阴影。本文是第一个尝试通过深入学习从草图直接生成阴影的人。与现有技术相比,本文的结果更为有利,现有技术可以在简单和复杂的图像上渲染草图的法线贴图。本文还证明,本文的网络架构能够“理解”二维线图所隐含的三维空间关系,足以生成详细和准确的阴影。