ControlNet的作者最新作品令人痴迷,一经开源就获得了1.2k颗星。 用来控制图像的光照效果的IC-Light这个词的全称是Imposing Consistent Light。
规则十分容易:
上传一张图片后,系统会自动识别人物等主体,您可以选择光源位置并添加提示词,使其完美地融入新环境!
快来个王家卫风格的照明设计:
不喜欢?
换个自然光,也只是转眼之间的事情。
现在,IC-Light 有两种不同的模型可供选择: 照明模型考虑文本条件,还有 背景条件模式。
这两种模型均需要使用前景图像作为输入。
鉴于 Controlnet 之前备受欢迎,IC-Light 一亮相便引起了广泛关注,甚至有网友迅速推出了 ComfyUI 插件。
大家都在这么辛苦拼搏,都没有休息的吗??
无论是期望值还是使用体验,网友们都给出了非常正面的评价:
太棒了!迫不及待想要开始尝试了哈哈哈哈。
有谁可以帮我将这张图片的背景换掉吗?
自古以来,无论是MCN还是贴吧,再到现在的小红书,每个时代都有很多人发帖寻求“有谁可以帮我换个背景”的帮助。
但是热心的在线朋友的帮助通常会是这样的:
就离谱。
诚实地说,这种需求不仅在普通人之间存在,电子商务中制作商品海报时也经常会遇到类似的情况。
使用IC-Light后,所有事情好像都变得更加轻松了。
请上传原始图像 + 选择光源的位置 + 提供提示信息,完事儿。
欢迎查看成果——
将这幅佛像图片进行重新设计,添加标签“佛像、面部细节、科幻RGB灯光、赛博朋克”,同时设置光线从左侧照射。
只需简单操作,即可获得全新的产品:
即使是平常的情景也可以使用。
最终的效果以肉眼来看仍显得相对自然。
根据网友的评价分享,动漫场景也可以应用……
背后技术
正如之前所提到的,IC-Light 目前有两种模型可供选择,而这两种模型均需要前景图像作为输入。
一类是 照明模型根据文本条件重构。。
简单来说,用户可以通过输入关键词来生成内容。
例如,当用户输入诸如“侧光”、“月光”等关键词时,模型将利用这些提示词和初期潜在变量来生成符合要求和特征的图像。
另一类是 条件背景模型。
这样就更方便了,无需复杂的提示词,模型可以根据背景信息,对物体进行不同风格的光照变化。
其背后的技术原理是什么。 通过潜在空间的一致性,可以确保模型在不同光源组合下生成的输出保持一致,从而能够稳定地合成多种光照效果。。
具體內容如下:
在高动态范围(HDR)空间中,所有光线传输过程都是相互独立的,不同光源造成的外观融合效果与多光源直接作用时在数学上是相同的(即在理想情况下)。
以这幅图片中的照明阶段为例,来自“外观混合”和“光源混合”两个图像是一致的,(在 HDR 空间里在数学上说是等效的)。
因此,当研究人员重新训练照明模型时,他们利用多层感知机(MLP)在潜在空间中确保不同光源的组合和传输保持一致,以此来引导生成效果。
达到一致的新照明效果。
因为模型应用了潜在扩散技术,可以在潜在空间中进行学习和重光照操作,从而在不同光照条件下产生高度一致的效果。
这些结果非常稳定——虽然在训练过程中,模型没有直接采用法线贴图数据,但能够将不同重照效果合并成法线贴图。
请查看以下这幅图,从左至右依次为输入、模型输出、重新照明、阴影分割图和法线贴图的合并。