ControlNet-有条件图文生成论文阅读_controlnet 论文-程序员宅基地

论文：《Adding Conditional Control to Text-to-Image Diffusion Models》
github： https://github.com/lllyasviel/ControlNet

摘要

ControlNet控制大的预训练扩散模型支持额外输入条件，ControlNet端到端的方式学习特定任务条件，即使训练集小（<50k），学习也比较鲁棒。作者基于Stable Diffusion训练ControlNets，可支持边缘map、分割map、关键点为条件输入；这丰富了控制扩散模型方法，为相关应用提供便利。

算法：

ControlNet

ControlNet通过控制神经网络模块输入条件进一步控制整个神经网络输出。如式1，神经网络模块F通过参数Θ将特征图x变换为另一个特征图y，即为图2a过程；
在这里插入图片描述
ControlNet应用于任意神经网络模块过程如图2b所示， $c$ 为额外条件向量， $Θ$ 为locked copy参数， $Θ_c$ 为 $Θ$ 的clone，且可训练，没有直接训练是为了防止过拟合， $Θ_{z1}, Θ_{z2}$ 为ControlNet中两个零卷积 $Z$ 参数，零卷积表示初始化weight及bias为0的1*1卷积，该过程如式2，
在这里插入图片描述
由于两个零卷积 $Z$ 参数初始化为0，因此训练第一步时 $y_c=y$ ，如式3,

零卷积参数以一种可学习方式从零开始优化；

ControlNet in Image Diffusion Model

Stable Diffusion使用数十亿图片训练的文本图像生成模型，本质上为包含编码器、中间层、skip-connected解码器的U-net，整个模型有25个block，编码器和解码器各自有12个block，所有block中，8个为上采样或下采样卷积层，17个为主要block，每个包括4个resnet层、2个ViT。文本由CLIP进行编码，扩散时间步长使用位置编码。
Stable Diffusion类似VQ-GAN为了稳定训练过程，将512 * 512图片映射到64 * 64隐空间，因此需要ControlNet将基于图片的条件转换到64 * 64特征空间，该过程通过4个kernel=4，steide=2卷积实现，如式9.
在这里插入图片描述
如图3，ControlNet控制U-net每个层级，因为原始权重固定，因此计算高效；ControlNet使用与SD（Stable Diffusion）相同的12个编码block及1个middle block，其中12个block有4个分辨率(64 × 64, 32 × 32, 16 × 16, 8 × 8)，每个分辨率3个block；输出部分增加12个skip-connections及1个middle block至U-net
在这里插入图片描述

Training

扩散模型学习图像逐渐去噪，生成样本；
对于图片 $z_0$ ，通过扩散算法逐渐增加噪声生成噪声图 $z_t$ ，其中 $t$ 为噪声添加次数，给出step t、text prompt $c_t$ 及特定任务条件 $c_f$ ，扩散算法通过网络 $\epsilon_θ$ 预测增加到噪声图 $z_t$ 上的噪声，如式10，L为整体损失函数：
在这里插入图片描述
训练过程中，作者随机替换50% test prompt $c_t$ 为空，使得SD模型编码器可以从输入的控制图 $c_f$ 学习更多语义信息。

Improved Training

Small-Scale Training：当资源有限时，作者发现断开ControlNet与SD Decoder Block 1,2,3,4训练速度提升1.6倍，当模型输出结果与条件相关联时，可重新连接Decoder Block 1,2,3,4进行训练；

Large-Scale Training：当训练资源充足，数据量大时，模型过拟合风险低，可先充分训练ControlNet，而后解锁SD模型权重，与ControlNet作为一个整体模型进行联合训练；

实验

实验设置，作者使用三种prompt：
1、No prompt；“”
2、Default prompt：无意义prompt
3、Automatic prompt：BLIP生成
4、User prompt：用户输入

Canny edges

在这里插入图片描述

Hough lines

在这里插入图片描述

Human scribbles

在这里插入图片描述

HED boundary map

在这里插入图片描述

Openpifpaf pose

在这里插入图片描述

Openpose

在这里插入图片描述

ADE20K segmentation map

在这里插入图片描述

COCO-Stuff segmentation map

在这里插入图片描述

DIODE normal map

在这里插入图片描述

Depth-to-Image

在这里插入图片描述

cartoon line drawings

在这里插入图片描述

限制

如图28，当输入分割容易引起歧义时，难以生成合理内容。
在这里插入图片描述

结论

ControlNet呈现效果比较惊艳，在SD模型基础上更进一步，支持多种条件控制文本至图像生成。

本文链接：https://blog.csdn.net/qq_41994006/article/details/129393279

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

js-选项卡原理_选项卡js原理-程序员宅基地

文章浏览阅读90次。【代码】js-选项卡原理。_选项卡js原理

设计模式-原型模式（Prototype）-程序员宅基地

文章浏览阅读67次。原型模式是一种对象创建型模式，它采用复制原型对象的方法来创建对象的实例。它创建的实例，具有与原型一样的数据结构和值分为深度克隆和浅度克隆。浅度克隆：克隆对象的值类型（基本数据类型），克隆引用类型的地址；深度克隆：克隆对象的值类型，引用类型的对象也复制一份副本。UML图：具体代码：浅度复制：import java.util.List;/*..._prototype 设计模式

个性化政府云的探索-程序员宅基地

文章浏览阅读59次。入选国内首批云计算服务创新发展试点城市的北京、上海、深圳、杭州和无锡起到了很好的示范作用，不仅促进了当地产业的升级换代，而且为国内其他城市发展云计算产业提供了很好的借鉴。据了解，目前国内至少有20个城市确定将云计算作为重点发展的产业。这势必会形成新一轮的云计算基础设施建设的**。由于云计算基础设施建设具有投资规模大，运维成本高，投资回收周期长，地域辐射性强等诸多特点，各地在建...

STM32问题集之BOOT0和BOOT1的作用_stm32boot0和boot1作用-程序员宅基地

文章浏览阅读9.4k次，点赞2次，收藏20次。一、功能及目的在每个STM32的芯片上都有两个管脚BOOT0和BOOT1，这两个管脚在芯片复位时的电平状态决定了芯片复位后从哪个区域开始执行程序。BOOT1=x BOOT0=0 // 从用户闪存启动，这是正常的工作模式。BOOT1=0 BOOT0=1 // 从系统存储器启动，这种模式启动的程序_stm32boot0和boot1作用

C语言函数递归调用-程序员宅基地

文章浏览阅读3.4k次，点赞2次，收藏22次。C语言函数递归调用_c语言函数递归调用

明日方舟抽卡模拟器wiki_明日方舟bilibili服-明日方舟bilibili服下载-程序员宅基地

文章浏览阅读410次。明日方舟bilibili服是一款天灾驾到战斗热血的创新二次元废土风塔防手游，精妙的二次元纸片人设计，为宅友们源源不断更新超多的纸片人老婆老公们，玩家将扮演废土正义一方“罗德岛”中的指挥官，与你身边的感染者们并肩作战。与同类塔防手游与众不同的几点，首先你可以在这抽卡轻松获得稀有，同时也可以在战斗体系和敌军走位机制看到不同。明日方舟bilibili服设定：1、起因不明并四处肆虐的天灾，席卷过的土地上出..._明日方舟抽卡模拟器

随便推点

Maven上传Jar到私服报错：ReasonPhrase: Repository version policy: SNAPSHOT does not allow version: xxx_repository version policy snapshot does not all-程序员宅基地

文章浏览阅读437次。Maven上传Jar到私服报错：ReasonPhrase: Repository version policy: SNAPSHOT does not allow version: xxx_repository version policy snapshot does not all

斐波那契数列、素数、质数和猴子吃桃问题_斐波那契日-程序员宅基地

文章浏览阅读1.2k次。斐波那契数列（Fibonacci Sequence）是由如下形式的一系列数字组成的：0, 1, 1, 2, 3, 5, 8, 13, 21, 34, …上述数字序列中反映出来的规律，就是下一个数字是该数字前面两个紧邻数字的和，具体如下所示：示例：比如上述斐波那契数列中的最后两个数，可以推导出34后面的数为21+34=55下面是一个更长一些的斐波那契数列：0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610, 987, 1597, 2584,_斐波那契日

PHP必会面试题_//该层循环用来控制每轮冒出一个数需要比较的次数-程序员宅基地

文章浏览阅读363次。PHP必会面试题1. 基础篇1. 用 PHP 打印出前一天的时间格式是 2017-12-28 22:21:21？ //>>1.当前时间减去一天的时间，然后再格式化echo date('Y-m-d H:i:s',time()-3600*24);//>>2.使用strtotime，可以将任何字符串时间转换成时间戳，仅针对英文echo date('Y-m-d H:i:s',str..._//该层循环用来控制每轮冒出一个数需要比较的次数

windows用mingw(g++)编译opencv，opencv_contrib，并install安装_opencv mingw contrib-程序员宅基地

文章浏览阅读1.3k次，点赞26次，收藏26次。windows下用mingw编译opencv貌似不支持cuda，选cuda会报错，我无法解决，所以没选cuda，下面两种编译方式支持。打开cmake gui程序，在下面两个框中分别输入opencv的源文件和编译目录，build-mingw为你创建的目录，可自定义命名。1、如果已经安装Qt，则Qt自带mingw编译器，从Qt安装目录找到编译器所在目录即可。1、如果已经安装Qt，则Qt自带cmake，从Qt安装目录找到cmake所在目录即可。2、若未安装Qt，则安装Mingw即可，参考我的另外一篇文章。_opencv mingw contrib

5个高质量简历模板网站，免费、免费、免费_hoso模板官网-程序员宅基地

文章浏览阅读10w+次，点赞42次，收藏309次。今天给大家推荐5个好用且免费的简历模板网站，简洁美观，非常值得收藏！1、菜鸟图库https://www.sucai999.com/search/word/0_242_0.html?v=NTYxMjky网站主要以设计类素材为主，办公类素材也很多，简历模板大部个偏简约风，各种版式都有，而且经常会更新。最重要的是全部都能免费下载。2、个人简历网https://www.gerenjianli.com/moban/这是一个专门提供简历模板的网站，里面有超多模板个类，找起来非常方便，风格也很多样，无须注册就能免费下载，_hoso模板官网

通过 TikTok 联盟提高销售额的 6 个步骤_tiktok联盟-程序员宅基地

文章浏览阅读142次。你听说过吗？该计划可让您以推广您的产品并在成功销售时支付佣金。它提供了新的营销渠道，使您的产品呈现在更广泛的受众面前并提高品牌知名度。此外，TikTok Shop联盟可以是一种经济高效的产品或服务营销方式。您只需在有人购买时付费，因此不存在在无效广告上浪费金钱的风险。这些诱人的好处是否足以让您想要开始您的TikTok Shop联盟活动？如果是这样，本指南适合您。_tiktok联盟