给手绘图着色（添加颜色或色彩）：CVPR2020论文点评
Learning to Shade Hand-drawn Sketches
论文链接：https://arxiv.org/pdf/2002.11812.pdf
摘要
本文提出了一种全自动的方法来产生详细和准确的艺术阴影对线素描和照明方向。本文还提供了一个新的数据集，其中包含1000个用灯光方向标记的线条和阴影对示例。值得注意的是，生成的阴影可以快速传达草图场景的底层三维结构。因此，本文的方法产生的阴影可以直接使用或作为艺术家的一个极好的起点。本文证明了本文提出的深度学习网络采用手绘草图，在潜在空间建立三维模型，并渲染产生的阴影。生成的阴影尊重手绘线和底层三维空间，并包含复杂和准确的细节，如自阴影效果。此外，生成的阴影包含艺术效果，如边缘照明或从背光出现的光晕，这是可以通过传统的三维渲染方法实现的。
1. Introduction
本文的工作使用深度学习方法来学习一个非线性函数，该函数“理解”二维草图所隐含的三维空间关系，并呈现二元阴影（图1top）。本文的神经网络的原始输出是二值阴影，艺术家可以根据线条图在单独的图层上修改二值阴影。不需要额外的后处理，本文中的图像是原始网络输出和输入线性部分的简单组合。如果需要软阴影，艺术家可以使用本文网络的第二方输出（图2 S2）。本文的网络也会从不断变化的照明方向产生一致的阴影（第4.3节），即使本文是从一组稀疏的照明方向训练。
本文工作的主要贡献：
•本文创建了一个新的数据集，其中包含1160个手绘线条图和标记有照明方向的阴影。
•本文提议建立一个网络，该网络“理解”线条图所隐含的结构和三维空间关系，并产生高度详细和准确的阴影。
•端到端应用程序，可根据给定的二维线条图和指定的照明方向，从任意照明方向生成二进制或软阴影。
2. Related Work
Non-photo realistic rendering in Computer Graphics
计算机图形学中cel动画的风格化阴影[23，3]以前的工作集中在cel动画中的阴影渲染和对阴影应用艺术外观。这些论文强调阴影在人对cel动画的感知中起着重要的作用。
Image translation and colorization
近年来，对图像翻译中生成性对抗网络的研究[6，21]产生了令人印象深刻的合成图像，这些图像被认为是与原作相同的。Pix2pix[13]在其生成器网络中部署了U-net[25]体系结构，并演示了在图像转换应用中，当包含跳过连接时，U-net的性能得到了提高。CycleGAN[41]介绍了一种在没有成对示例的情况下学习从输入图像到样式化输出图像的映射的方法。对真实灰度图像着色的研究[2,39,12,40]证明了用GANs和U-net[25]结构对图像着色的可行性。
Deep learning in line drawings
研究者认为线条画包括线条艺术色彩化[36，15，38，5，4]、素描简化[28，26]、智能墨水机[27]、线条提取[17]、线条样式化[18]和从素描计算普通地图[29，20]。
Relighting
深度学习也被应用于现实场景的重新照明。Xu等人 [35]提出了一种在给定来自五个不同方向光源的图像的情况下，从任意方向光重新照明的方法。Sun等人 [30]提出了一种在给定单一输入（如选择）的情况下重新照亮人像的方法。训练数据集由多摄像机设备捕获。这部研究与本文的不同之处在于，他们侧重于重新塑造富有特色的现实主义形象，而本文则侧重于手绘草图的艺术阴影。
Line drawings to normal maps
Sketch2normal[29]和deep normal[20]使用深度学习从线条图计算法线贴图。他们的训练数据集是用真实感渲染从三维模型中渲染出来的。Sketch2带有一些注释的四条腿动物在线图的正常训练。DeepNormal使用对象的遮罩作为输入线图形。他们解决了一个不同的，可以说更难的问题。但是，计算出的法线贴图可用于渲染阴影，本文将此方法与第4节中的直接阴影计算进行比较。
3. Learning Where to Draw Shadows
3.1. Data Preparation and Data Augmentation