如何将本地网站模板转换为WordPress Premium版本？

本地网站模板修改,premium WordPress,青岛网站建设和优化,wordpress 读写分离文章目录 1.摘要2.背景3.算法3.1 生成多模态训练集3.1.1生成指令及成对caption3.1.2 依据成对的caption生成成对的图像 3.2 InstructPix2Pix 4.实验结果4.1基线比较4.2消融实验 5.结论 论文#xff1a; 《InstructPix2Pix: Learning to Follow Image Editing Instructions》 … 文章目录 1.摘要2.背景3.算法3.1 生成多模态训练集3.1.1生成指令及成对caption3.1.2 依据成对的caption生成成对的图像 3.2 InstructPix2Pix 4.实验结果4.1基线比较4.2消融实验 5.结论 论文 《InstructPix2Pix: Learning to Follow Image Editing Instructions》 github https://github.com/timothybrooks/instruct-pix2pix 1.摘要 本文提出一种根据人类引导编辑图像的方法InstructPix2Pix输入一张图片及告诉模型做什么的引导语我们的模型将会跟随引导语编辑图像。为获得解决该问题的训练集作者结合两个大预训练模型的知识GPT-3、Stable Diffusion用于生成图像编辑数据集。InstructPix2Pix在生成数据集上训练但是可泛化到真实数据并且实现用户引导。因为该方案在前向过程进行编辑无需finetune或转换可在秒级完成图像编辑。作者展示了令人信服的编辑结果。 2.背景 GPT捕获关于语言的知识Stable Diffusion捕获关于图像的知识两者结合用于生成跨越两模态的成对训练集。 InstructPix2Pix在前向过程直接进行图像编辑无需额外样例图、对输入/输出图的描述或逐样本finetune。 尽管InstructPix2Pix利用生成数据进行训练但可零样本泛化到真实图片中。可进行各种编辑任务替换目标、改变图片风格、改变背景、艺术风格等等如图1所示。 3.算法 作者将基于引导的图像编辑任务看作有监督学习问题 1. 生成成对训练集包括图像编辑指令及编辑前后的图像图2a-c 2. 在生成数据集训练图像编辑扩散模型图2-d 3.1 生成多模态训练集 3.1.1生成指令及成对caption 一个LLM可利用输入图caption生成编辑指令及编辑后图片caption。如图2a所示输入caption“photograph ofa girl riding a horse”LLM可生成编辑指令“have her ride a dragon”及编辑后输出caption“photograph ofa girl riding a dragon”。 上述过程用到的语言模型通过在小批量人工编写的数据集上finetune GPT-3获得的。该finetune数据集作者通过在LAION-Aesthetics V2 6.5中采样700条输入caption获得。如表1所示。受益于GPT-3广博的知识和概括能力我们finetune的模型能够生成合理instruction及caption。 3.1.2 依据成对的caption生成成对的图像 将一对caption转换为对应图像的挑战在于当prompt发生变化时不能保证图像一致性。比如“a picture ofa cat”及“a picture ofa black cat”可能会生成非常不同的猫不利于训练模型进行图像编辑。因此作者使用Prompt-to-Prompt使得生成图像尽量相似如图3展示使用Prompt-to-Prompt前后结果。Prompt-to-Prompt中参数p可控制两张图相似性作者对每个caption对生成100个样本对随机参数 p ∼ U ( 0.1 , 0.9 ) p ∼ U(0.1, 0.9) p∼U(0.1,0.9)通过CLIP进行过滤样本。 3.2 InstructPix2Pix 为了支持图像作为条件输入作者在第一个卷积层增加channel将 z t z_t zt​与 ϵ ( c I ) \epsilon(c_I) ϵ(cI​) concat。