AI绘画赛博佛祖张吕敏,又开源一种全新的模型了!

最近,有一个开源项目引起了我的惊叹!!!开源不到2天就揽获了1.5k Star。

它叫做 PaintsUndo,是一款AIGC绘画模型。但它却不是跟以前的开源模型一样是绘画用的,而是一种偏向于绘画行为推导的模型。其生成结果不再是图片而是视频。

你只需要提供一张图片,PaintsUndo会根据你提供的图像自动生成对应的绘画全过程视频。

相当于形成了一张成品绘画的所有手绘手稿。

还有一个让人惊叹的点,就是它的出处,竟然是来自于AI绘画领域的赛博佛祖-张吕敏lllyasviel

且不论他在此之前的作品(ControlNet、

stable-diffusion-webui-forge等)是如何的惊为天人,光2024年就已经发布了不下3个AI领域爆款开源模型工具。(一出就是精品) IC-LightOmostFooocusPaints-UNDO

再回到今天的主题,他的最新开源项目PaintsUndo。

PaintsUndo:数字绘画中绘画行为的基础模型。是一个旨在提供人类绘画行为基础模型的项目,作者及团队也是希望未来的AI模型能够更好地满足人类艺术家的真实需求。

该项目的核心理念是利用AI技术辅助艺术创作,尤其是绘画。具体来说,PaintsUndo能够帮助用户对图像进行上色、调整和改进,从而大幅度提升绘画效率,甚至激发艺术灵感。

模型类型:单帧和多帧

具体作用可以看下面的官方英文解释可详细的理解(已译为中文):

单帧模型输入一张图片和一个operation step,输出一张图片。假设一幅作品总需要1000次人为的操作(比如一笔画就是一次操作), 是一个operation step0~999的int型数字。0是最终完成的作品,999是纯白画布上画出的第一笔画。你可以把这个模型理解成一个“撤销”(或者叫Ctrl+Z)模型。你输入最终完成的图片,并指定要“Ctrl+Z”多少次,模型就会给你一个“模拟”的截图,如果你的值为operation step100,那么就意味着你要在这张图片上模拟“Ctrl+Z”100次,得到第100次“Ctrl+Z”之后的样子。

多帧模型以两幅图像作为输入,输出两幅输入图像之间的 16 个中间帧。结果比单帧模型更加一致,但速度也更慢,缺乏“创造力”,并且限制在 16 帧内。

在这个 repo 中,默认的方法是一起使用它们。我们会先对单帧模型进行大约 5-7 次推理,得到 5-7 个“关键帧”,然后再使用多帧模型对这些关键帧进行“插值”,从而真正生成一段相对较长的视频。

理论上,该系统有多种用途,甚至可以制作无限长的视频,但实际上,当最终帧数约为 100-500 时,效果会很好。

想象一下,一个绘画爱好者,在面对一张黑白素描时,因为上色的困难而迟迟无法完成作品。有了Paints-UNDO,这一切变得简单而有趣。

只需将黑白素描导入系统,AI助手便会根据预设的风格和颜色方案,迅速为画作赋予色彩。用户还可以根据自己的喜好进行调整和细化,最终呈现出一幅栩栩如生的艺术作品。

当然了,也会有人质疑,会不会对真正的手工艺术这产生一定的冲击呢!

我们不一定要求所有人的想法一致,肯定会有人保持一定的质疑性。

这不,今天在社交平台还刷到一个帖子,来自真正的绘画师的“强烈抗议”,说:“还给不给我们真正画画的人活路了”。

这样的声音其实并不少见。很多艺术家担心,AI的广泛应用会不会导致他们的工作被机器取代?这些担忧并非没有道理。

AI确实在很多方面提升了创作的效率,但也引发了关于原创性和艺术价值的讨论。我们是否会因为依赖机器而丧失了那种纯粹的创作激情和灵感?这些问题值得我们深思。

PaintsUndo的出现,无疑为艺术创作打开了一扇新的大门。它不仅为专业艺术家提供了强大的创作工具,也让更多普通人有机会体验艺术创作的乐趣。想象一下,在未来的某一天,每个人都可以借助AI助手,随时随地创作出属于自己的艺术作品,艺术将不再是少数人的专属,而是大众生活的一部分。

当然,科技的发展也伴随着一些争议和挑战。有人担心,AI的广泛应用会不会导致艺术创作的同质化?又或者,机器会否取代人类艺术家的地位?

对于这些问题,我认为,AI只是工具,真正的艺术创作依然离不开人的灵感和智慧。正如PaintsUndo所展示的那样,AI可以辅助和提升我们的创作,但无法取代我们独特的创造力。

GitHub:https://github.com/lllyasviel/Paints-UNDO

项目演示:

https://lllyasviel.github.io/pages/paints_undo/

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注