stable diffusion中的条件为图片

### Stable Diffusion 条件设置 在Stable Diffusion中，为了生成特定类型的图像，可以通过多种方式设定条件来引导模型的输出[^3]。以下是几种主要的方法： #### 1. 文本提示 (Prompt) 最基础也是最常见的方法就是提供一段描述性的文字作为输入给模型。这段文本应当清晰表达期望得到的画面特征，比如风格、场景细节或是情感氛围等。 ```python from diffusers import StableDiffusionPipeline import torch pipeline = StableDiffusionPipeline.from_pretrained('runwayml/stable-diffusion-v1-5', torch_dtype=torch.float16).to("cuda") result_image = pipeline("A beautiful sunset over the ocean with waves crashing on rocks").images[0] ``` #### 2. 图像修复 (Inpainting) 当目标是对已有图片中的某些部分进行修改或填补缺失时，则可采用inpainting技术。这需要指定一张原始图片以及对应的遮罩图，用来指示哪些区域应该被重新绘制[^2]。 ```python from PIL import Image from diffusers import StableDiffusionInpaintPipeline pipe = StableDiffusionInpaintPipeline.from_pretrained( "stabilityai/stable-diffusion-3-inpainting-diffusers", torch_dtype=torch.float16 ).to("cuda") init_image = Image.open("damaged_photo.png").convert("RGB") mask_image = Image.open("mask.png").convert("RGB") prompt = "Repair this photo so it looks undamaged" image = pipe(prompt=prompt, init_image=init_image, mask_image=mask_image).images[0] image.save("repaired_photo.png") ``` #### 3. 控制网络(ControlNets) ControlNet允许更精细地调整生成过程，例如通过边缘检测、线稿转换等方式影响最终效果。这类插件能够增强对形状结构的理解力，在保持原有轮廓的基础上创造出更加逼真的视觉表现形式。 ```python from controlnet_aux import OpenposeDetector from diffusers import StableDiffusionControlNetPipeline, ControlNetModel controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-openpose", torch_dtype=torch.float16) pipeline = StableDiffusionControlNetPipeline.from_pretrained( 'runwayml/stable-diffusion-v1-5', controlnet=controlnet, safety_checker=None, torch_dtype=torch.float16 ).to("cuda") processor = OpenposeDetector() condition_image = processor(Image.open("input.jpg")) output = pipeline(condition_image, prompt="a professional dancer performing ballet").images[0] output.save("dance_pose_result.png") ```