新作《ControlNet》爆红：P照片换背景不求人，AI照明完美融合。

ControlNet作者的新作，玩得很开心，刚开源就揽星1.2k。

用于操纵图像照明效果的IC-Light，lmposing全称 Consistent Light。

游戏非常简单：

随便上传一张图片，系统自动将人物等主体分开，选择灯源位置，填入提示词，就可以毫无瑕疵地融入新环境！

赶快来个王家卫式的打光：

不喜欢？

没关系，换成窗外的太阳光，也就是分分钟的事情。

目前，IC-Light提供两种模型：重点照明模型的文本条件，还有背景条件模型。

这两种模型都需要以前景图像作为输入。

由于Controlnet之前太有趣了，这次IC-Light一出现就备受关注，有网友迅速制作了ComfyUI插件。

(疑惑，大家这么拼，都不睡觉？)

无论是期望值还是使用后的感觉，网友们都给予了很高的回报：

Nice！迫不及待地想上手玩嘻嘻嘻。

01 谁能帮助我改变这张图片的背景？

每一个时代，从古代MCN到贴吧再到现在的小红书，都不乏“谁能帮我换个背景”这样的求助贴。

但是热心网友的支持，一般都是这样的：

就离谱。

但说实话，这种需求不仅存在于你我普通人之间，电商制作商品海报时，也常常有类似的需求。

有了IC-Light，似乎一切都变得简单了。

上传主体原图 选择灯源位置 提示词，完事儿。

来看效果——

这样的佛像原图，加上提示词“佛像，一丝不苟的脸，科幻RGB发光，赛博朋克”，再选择“光从左边打来”。

可以得到一个全新的成品：

即使是日常场景也是适用的。

最后的效果肉眼看还是挺自然的：

按照网友分享的评价，动画场景也适用…

02 背后技术

如前所说，IC-现在Light提供了两种模型，两种模型都需要以前景图像作为输入。

一类是重点照明模型的文本条件。

简而言之，用户可以通过输入提示来完成生成。

比如输入“左光源”、“月光”等，模型就会通过这些提示词和初始潜变量，生成符合要求和特征的图像。

另一类是背景条件模型。

这就更简单了，不需要复杂的提示，模型结合背景信息提示，对前景物体进行不同风格的照明变化。

其背后的技术原理，通过潜在空间的一致性，可以保证模型导出在不同的灯源组合下具有一致性，从而稳定地产生各种照明效果。。

详细如下——

在HDR空间中，所有照明的光源传输都是相互独立的，数学(即理想状态)中不同光源的外观混合效果与多灯源直接作用下的外观是一致的。

以上图片的照明阶段为例。来自“外观混合”和“光源混合”的两个图像是一致的(理想情况下，在HDR空间中等同于数学)。

所以，研究人员在练习再照明模型时，在潜在空间中使用多层感知机。（MLP）使不同光源的组合和传输具有一致性，并用于指导生成效果。

最后产生高度一致的再照明效果。

由于模型采用了潜在的扩散技术，因此可以在潜在的空间内实现学习和重光操作，从而在各种光照条件下产生高度一致的效果。

这类结果十分一致——尽管在训练过程中，模型没有直接使用法线图数据，但是可以将不同的重新照明合并成法线图。

看看下图，从左到右依次是输入、模型导出、再照明、分割阴影图像和合并法线贴图。

本文来自微信微信官方账号“量子位”（ID：QbitAI），作者：关注前沿技术，授权发布36氪。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com