【技术前沿】Flux.1部署教程入门--Stable Diffusion团队最前沿、免费的开源AI图像生成器

项目简介

FLUX.1 是一种新的开源图像生成模型。它由 Stable Diffusion 背后的团队 Black Forest Labs 开发。
官网中有以下功能开源供大家参考:

  1. FLUX.1 擅长在图像中准确再现文字,因此非常适合需要清晰文字或短语的设计。无论是标牌、书籍封面还是品牌内容,FLUX.1 都能提供清晰、正确的文字整合。
  2. 利用 FLUX.1 对空间关系的高级理解,轻松创建复杂场景。从精致的幻想世界到详细的产品布局,该模型都能准确地解释和执行多元素提示。
  3. FLUX.1 在渲染人体特征,尤其是手部特征方面实现了重大飞跃。虽然并非完美无瑕,但与以前的开源模型相比,它始终能生成更逼真、比例更协调的身体部位,从而提升人物图像的质量。
    并且它是免费的!
    由于项目是英文的,博主在这里做一版中文教程,给后来人一些参考。
    关注CSDN 心若为城,获得计算机领域与人工智能领域的前沿技术。

博主碎碎念,可跳过:
打算重新做做自己这个老号,高中时候开始做CSDN,那会儿写的是NOIP/NOI相关的算法东西,纯粹是写给自己看的;现在时隔多年,我也在清华站稳了脚跟,在互联网开发和量化交易领域都算是小有成就了。

接下来这个号(也许也不止这个号)应该会做三个方向:
AI新技术(或者不局限于AI)的抢先浏览,会向大家说明当下热点论文、热点技术的部署等,以及做一些周报或者日报。(类似于AI Weekly)
量化交易相关,我在量化开发技术栈有着多年的开发经验,也拿过一些投资比赛的奖项。可以面向应届生给出就业规划,提供一些指导的同时分享一些含金量高的项目。
互联网面试相关,我应该会着重于分享一些面试的底层技术面,并且尽可能和2进行一些结合,让大家同时能handle住两边的技术。

以下是正文:

原项目地址

安装教程

本地安装

cd $HOME && git clone https://github.com/black-forest-labs/flux
cd $HOME/flux
python3.10 -m venv .venv
source .venv/bin/activate
pip install -e '.[all]'

模型

我们提供了三个模型:

  • FLUX.1 [pro] 基础模型,可通过 API 获取
  • FLUX.1 [dev] 经过引导蒸馏的变体
  • FLUX.1 [schnell] 经过引导和步骤蒸馏的变体
名称 HuggingFace 仓库 许可证 md5sum
FLUX.1 [schnell] https://huggingface.co/black-forest-labs/FLUX.1-schnell<
### Flux 相关模型文件的中文含义 #### 1. **Flux canny safetensors 模型 中文解释** `Flux canny safetensors` 是一个基于 Flux 团队开发的 Canny 边缘检测模型,采用 `.safetensors` 格式保存。Canny 边缘检测是一种经典的图像处理技术,用于从输入图像中提取清晰的边缘信息[^2]。该模型通过深度学习改进了传统算法,能够生成更高质量的边缘图,适用于图像生成任务中的结构化控制。 - **Flux**:指代由 XLabs-AI 开发的一系列模型集合。 - **canny**:表示该模型专注于 Canny 边缘检测任务。 - **safetensors**:一种安全且高效的模型权重存储格式,相较于传统的 `.pt` 或 `.bin` 格式具有更高的安全性[^4]。 综合来看,`Flux canny safetensors` 表示这是一个基于 Flux 的 Canny 边缘检测模型,使用 `.safetensors` 格式保存的权重文件。 --- #### 2. **flux-canny-controlnet-v3 功能含义** `flux-canny-controlnet-v3` 是 Flux 团队开发的第三代 Canny 边缘检测控制网络模型。ControlNet 是 Stable Diffusion 生态系统中的一个重要组件,用于通过结构化输入(如边缘图)指导图像生成过程[^3]。 - **flux**:指代 Flux 团队开发的模型集合。 - **canny**:表示该模型专注于 Canny 边缘检测任务。 - **controlnet**:作为 Stable Diffusion 的一部分,用于引入结构化控制,以指导生成图像的过程。 - **v3**:表示这是该模型的第三个版本,通常意味着在前两个版本的基础上进行了改进或优化。 `flux-canny-controlnet-v3` 提供了更真实的效果,并增加了对 ComfyUI 的支持[^2]。它能够生成高质量的边缘图,从而提升图像生成的质量和细节。 --- #### 3. **flux-depth-controlnet 功能含义** `flux-depth-controlnet` 是一个与深度图生成相关的控制网络模型。深度图用于增加图像的立体感,是图像生成任务中常用的结构化输入之一[^4]。 - **flux**:指代 Flux 团队开发的模型集合。 - **depth**:表示该模型专注于生成深度图。 - **controlnet**:作为 Stable Diffusion 的一部分,用于通过深度图指导图像生成过程。 `flux-depth-controlnet` 能够生成高质量的深度图,从而帮助生成更具立体感的图像--- #### 4. **flux-depth-controlnet-v3 功能含义** `flux-depth-controlnet-v3` 是 Flux 团队开发的第三代深度图生成控制网络模型。与之前的版本相比,v3 版本提供了更真实的效果,并增加了对 ComfyUI 的支持[^2]。 - **flux**:指代 Flux 团队开发的模型集合。 - **depth**:表示该模型专注于生成深度图。 - **controlnet**:作为 Stable Diffusion 的一部分,用于通过深度图指导图像生成过程。 - **v3**:表示这是该模型的第三个版本,通常意味着在前两个版本的基础上进行了改进或优化。 `flux-depth-controlnet-v3` 能够生成更高质量的深度图,从而显著提升图像生成的立体感和真实感。 --- #### 5. **flux-hed-controlnet-v3 功能含义** `flux-hed-controlnet-v3` 是 Flux 团队开发的第三代 HED 边缘检测控制网络模型。HED(Holistically-Nested Edge Detection)是一种全嵌套边缘检测算法,能够生成更精细的图像分割结果[^5]。 - **flux**:指代 Flux 团队开发的模型集合。 - **hed**:表示该模型专注于 HED 边缘检测任务。 - **controlnet**:作为 Stable Diffusion 的一部分,用于通过 HED 边缘检测结果指导图像生成过程。 - **v3**:表示这是该模型的第三个版本,通常意味着在前两个版本的基础上进行了改进或优化。 `flux-hed-controlnet-v3` 能够生成高质量的边缘图,从而帮助生成更精细的图像细节。 --- ### 示例代码:加载 `.safetensors` 文件 以下是一个使用 Python 和 `safetensors` 库加载模型权重的示例: ```python from safetensors import safe_open import torch # 打开 safetensors 文件 with safe_open("flux-canny-controlnet-v3.safetensors", framework="pt", device="cpu") as f: for key in f.keys(): tensor = f.get_tensor(key) # 获取张量 print(f"Key: {key}, Tensor Shape: {tensor.shape}") ``` --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值