超越阿里DDColor! 复旦提出MultiColor，一键将黑白图还原上色，效果逼真！

之前的文章中已经给大家介绍过阿里提出的图像上色方法DDColor，感兴趣的小伙伴可以点击下面链接阅读～

阿里达摩院提出开源AI图片上色模型DDColor:可以为黑白照片、人物、动漫风景等一键上色!

最近，复旦大学提出了一种新的图像上色方法MultiColor，它突破了传统上色技术依赖单一颜色空间的限制。它通过学习多个颜色空间的特性并利用他们之间的互补性来丰富和细化上色过程。下面👇的图给出了MultiColor的效果示例，从结果看可以真实的还原图像真实色彩，使用MultiColor进行图像上色的例子。给定灰度图像(a)，单色空间(b,c)的着色结果，我们的方法从多个色彩空间中学习，以获得具有更详细色彩信息的彩色图像(d)。

亮点直击

• MultiColor 是第一项使用多个颜色空间进行图像着色的工作。
• MultiColor设计了一个简单而有效的颜色空间互补网络来组合来自多个颜色空间的各种颜色信息，这有助于保持整个彩色图像的颜色平衡和一致性。
• 在 ImageNet 着色基准上的大量实验证明了 MultiColor 的表现优于最近的最先进技术。

相关链接

论文链接：https://arxiv.org/pdf/2408.04172v1

代码地址：（还未公开）

论文阅读

MultiColor：通过学习多个色彩空间进行图像着色

摘要

深度网络在图像恢复任务（例如图像着色）中表现出色。然而，我们发现，以前的方法在着色流程中依赖于具有特定映射函数（即颜色空间）的单一颜色模型的数字表示。在本文中，我们首先研究不同颜色空间的建模，发现每个颜色空间都表现出独特的特征和独特的颜色分布。多个颜色空间之间的互补性为图像着色任务带来了好处。我们提出了一种新的基于学习的自动为灰度图像着色的方法 MultiColor，它结合了来自多个颜色空间的线索。

具体来说，我们为单个颜色空间采用了一组专用的着色模块。在每个模块中，首先使用一个变换器解码器来细化颜色查询嵌入，然后颜色映射器使用嵌入和语义特征生成颜色通道预测。利用这些代表各种颜色空间的预测颜色通道，设计了一个互补网络来利用互补性并生成令人愉悦且合理的彩色图像。我们对真实世界的数据集进行了广泛的实验，结果表明，其性能优于最先进的技术。

方法

MultiColor框架包含三个部分。编码器旨在提取代表图像内容的多尺度特征映射。彩色化的 模块对学习到的颜色查询进行操作并生成颜色 单个色彩空间的通道。最后，利用颜色空间互补网络对图像的颜色通道进行组合多个颜色空间生成彩色图像。

MultiColor框架的架构。 给定一张灰度图像，使用编码器获得多尺度语义特征。多个建模颜色空间操作可以生成不同颜色空间的各种颜色通道。对于每个着色模块，Transformer 解码器基于多尺度特征细化可学习的颜色查询，颜色映射器旨在生成多个颜色空间的颜色通道。最后，引入颜色空间互补网络 (CSCNet) 将多个颜色通道转换为彩色图像。灰度值为102的特定像素在不同颜色空间的色域。L、V 和 Y 通道在相应颜色空间中的对应值分别为 42、0.57 和 0.4。五角星表示此像素在真实彩色图像中的颜色值在其他颜色空间中出现的位置。

颜色映射器的结构。

效果

图像自动着色方法的视觉比较。

不同方法在基准数据集上的定量比较。最好和次好的结果用粗体和下划线分别强调。↑(↓)表示越高(越低)越好。

学习不同色彩空间的可视化结果。每个图像顶部的数字表示CF / ΔCF。

特征尺度上消融的可视化结果。

结论

在本文中，我们提出了一种通过从多个颜色空间中学习来进行图像着色的新型框架。MultiColor 结合了多个颜色空间的各种颜色信息，具有强大而鲁棒的表示能力。具体来说，Transformer 解码器利用编码器的多尺度图像特征逐步细化颜色查询嵌入，然后通过颜色映射器生成各种颜色空间的颜色通道。此外，我们提出了颜色空间互补网络来组合颜色通道并实现内部颜色空间信息互补。大量实验表明，MultiColor 实现了令人满意的着色效果。

感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～