ControlNet 1.1是Stable Diffusion生态中功能强大的图像控制插件,包含14个生产级模型,支持建筑、设计、动画等多场景创作。
文件格式 | 标准PyTorch模型(.pth) | 优化版(.safetensors) |
精度 | 32位浮点数(FP32) | 16位浮点数(FP16) |
显存占用 | 较高 | 减半(需硬件支持混合精度计算) |
兼容性 | 广泛(支持所有设备) | 需NVIDIA显卡及混合精度计算能力 |
适用场景 | 通用性需求、稳定性优先 | 高分辨率生成、显存受限环境 |
以下为部分模型的功能简析及下载地址:
一、边缘与结构控制模型
-
control_v11p_sd15_canny_fp16.safetensors
- 功能:通过Canny边缘检测算法提取图像轮廓,适用于建筑线稿、动漫风格迁移等场景。
- 下载地址:地址
-
control_v11p_sd15_mlsd_fp16.safetensors
- 功能:多层级直线检测模型,精准识别建筑结构、室内设计中的直线元素,支持首尾帧控制与动作序列生成。
- 下载地址:地址
二、空间与细节控制模型
-
control_v11f1p_sd15_depth_fp16.safetensors
- 功能:深度图控制模型,记录物体空间位置,支持不同预处理器(如Midas、Leres)生成合理深度效果。
- 下载地址:地址
-
control_v11p_sd15_normalbae_fp16.safetensors
- 功能:法线贴图控制模型,通过凹凸信息还原3D空间细节,适用于真实场景与二次元风格转换。
- 下载地址:地址
三、创作辅助模型
-
control_v11p_sd15_inpaint_fp16.safetensors
- 功能:图像修复模型,可智能填补缺失区域,提升生成图像的完整性。
- 下载地址:地址
-
control_v11p_sd15_openpose_fp16.safetensors
- 功能:人体姿态控制模型,通过关键点生成符合物理规律的动作,支持动画连贯性。
- 下载地址:地址
四、风格与构图控制模型
-
control_v11p_sd15_lineart_fp16.safetensors
- 功能:线稿检测模型,支持真实与动漫线稿控制,可生成高精度线稿或次元风格图像。
- 下载地址:地址
-
control_v11p_sd15s2_lineart_anime_fp16.safetensors
- 功能:动漫线稿专用模型,优化对卡通角色轮廓的提取,适合风格化生成。
- 下载地址:地址
五、高级功能模型
-
control_v11e_sd15_shuffle_fp16.safetools
- 功能:随机洗牌模型,用于打乱图像局部结构(如建筑布局),增加生成多样性。
- 下载地址:地址
-
control_v11f1e_sd15_tile_fp16.safetensors
- 功能:分块重采样模型,支持大分辨率图像生成,突破传统显存限制。
- 下载地址:地址
六、其他实用模型
-
control_v11p_sd15_seg_fp16.safetensors
- 功能:语义分割模型,通过颜色区分物体类别,用于布局控制与主体提取。
- 下载地址:地址
-
control_v11p_sd15_softedge_fp16.safetensors
- 功能:软边缘检测模型,生成柔和的轮廓效果,适合水彩、素描等艺术风格。
- 下载地址:地址
-
control_v11p_sd15_scribble_fp16.safetensors
- 功能:涂鸦控制模型,支持手绘草图引导生成,降低创作门槛。
- 下载地址:地址
-
control_v11p_sd15_ip2p_fp16.safetensors
- 功能:图像重组与结构迁移,通过光流和掩码控制,可将参考图像的局部结构(如建筑、人物姿态)迁移到生成结果中,支持画中画效果和视频帧间一致性;结合随机掩码和光流遮罩,可同时处理多种控制信号,适用于复杂场景的细节增强。
- 下载地址:地址
模型下载说明
所有原始模型均可以通过Hugging Face下载,路径统一为:
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
(替换文件名为具体模型名)。
备用下载地址:备用地址(鼠标点击自动填写访问密码: 7846)