sdxl 图像到图像

### 使用 Stable Diffusion XL (SDXL) 实现图像到图像转换 为了利用 SDXL 完成图像到图像的任务，通常会采用一种称为“图像条件生成”的方法。这种方法允许基于输入图像生成新图像，同时保留原始图像的一些特征或风格。 #### 准备工作 首先，确保安装了必要的库并加载预训练的 SDXL 模型： ```python from diffusers import StableDiffusionXLPipeline import torch from PIL import Image device = "cuda" if torch.cuda.is_available() else "cpu" model_id = "stabilityai/stable-diffusion-xl-base-1.0" pipeline = StableDiffusionXLPipeline.from_pretrained(model_id).to(device) ``` #### 图像准备 对于图像到图像转换任务，需要准备好源图像作为输入，并将其调整为目标尺寸（例如 1024x1024），这与 SDXL 的基础 U-Net 设计相匹配[^2]。 ```python source_image_path = "./path_to_your_source_image.jpg" image = Image.open(source_image_path).convert('RGB') width, height = image.size if width != 1024 or height != 1024: image = image.resize((1024, 1024)) ``` #### 执行图像到图像转换 通过设置 `strength` 参数控制旧图像的影响程度以及应用 CFG 技术来增强生成效果。这里展示了一个简单的例子，其中使用了分类器自由引导（classifier-free guidance）机制，该机制要求复制张量以分别处理有条件和无条件的情况[^3]。 ```python prompt = "A description of what you want the output image to look like." guidance_scale = 7.5 # Strength of classifier-free guidance num_inference_steps = 50 strength = 0.8 # How much influence does original image have on result? with torch.no_grad(): init_latents = pipeline.vae.encode(image)[0].sample().unsqueeze(0).half() latents = torch.randn_like(init_latents) # Apply Classifier-Free Guidance by duplicating tensors as mentioned earlier. latent_model_input = torch.cat([init_latents] * 2) outputs = pipeline( prompt=prompt, num_inference_steps=num_inference_steps, strength=strength, guidance_scale=guidance_scale, latents=latent_model_input ) output_image = outputs.images[0] output_image.save("./generated_output.png") ``` 这段代码展示了如何配置和调用管道来进行图像到图像转换操作。请注意，实际应用场景可能还需要进一步优化超参数和其他细节设置。