Diffusers代码学习: IP-Adapter

从操作的角度来看，IP-Adapter和图生图是很相似的，都是有一个原始的图片，加上提示词，生成目标图片。但它们的底层实现方式是完全不一样的，我们通过源码解读来看一下。以下是ip adapter的实现方式

# 以下代码为程序运行进行设置，使用文生图的自动管道，

# 图生图实现使用的图生图的自动管道（见这里Diffusers代码学习-图生图）

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

from diffusers import AutoPipelineForText2Image

# 程序需要能够支持加载图片

from diffusers.utils import load_image
import torch

# 以下代码加载模型，但是用的是文生图的自动管道

pipeline = AutoPipelineForText2Image.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0",
                                                     torch_dtype=torch.float16).to("cuda")

# 同时加载IP-Adapter模型

pipeline.load_ip_adapter("h94/IP-Adapter", subfolder="sdxl_models", weight_name="ip-adapter_sdxl.bin")

# 设置IP-Adapter影响力

pipeline.set_ip_adapter_scale(0.6)

# 以下代码加载图片

image = load_image(
    "https://hf-mirror.com/datasets/huggingface/documentation-images/resolve/main/diffusers/ip_adapter_diner.png")

generator = torch.Generator(device="cpu").manual_seed(0)

# 以下代码加载并处理提示词,基于原始图片，由提示词生成图片

images = pipeline(
prompt="a polar bear sitting in a chair drinking a milkshake",
ip_adapter_image=image,
negative_prompt="deformed, ugly, wrong proportion, low res, bad anatomy, worst quality, low quality",
num_inference_steps=100,
generator=generator,
).images
images[0].show()

原图的效果是这样的

生成的图片效果则是这样的