Stable Diffusion 3 （SD3） 现已推出，以下是在本地运行它的方法

Stability AI 推出了 Stable Diffusion 3 Medium，他们将其描述为“最先进的文本到图像开放模型”。这款新型号于 2024 年 6 月 12 日发布，是继开创性的 SDXL 之后的最新发展。它具有 20 亿个参数，旨在提供逼真的图像，而无需复杂的工作流程。值得注意的是，它在标准消费类系统上有效运行，并解决了手部和面部的常见渲染缺陷。

要了解如何在本地运行它，请滚动到底部。

Stable Diffusion 3 （SD3） Medium 旨在处理涉及空间安排、构图元素、动作和各种风格的复杂提示。Stability AI 显着改进了文本生成，实现了“前所未有的”准确性，这要归功于其创新的 Diffusion Transformer 架构。

对于那些寻找技术细节的人来说，该研究论文对 SD3 架构进行了深入研究。提供了组件概述和MM-DiT框图示例以供参考。

模型效率和定制

SD3 Medium 具有 20 亿个参数，比许多其他 Stable Diffusion 3 型号更紧凑，后者通常有 8 亿到 80 亿个参数。该型号的低 VRAM 要求使其非常适合标准消费类 GPU，在不降低性能的情况下保持性能。它擅长从最小的数据集处理详细的自定义。

用户可以从 Civitai 下载 SD3 安全张量和文本编码器，其中包括基本的 SD3 Medium 文件，以及带有附加 CLIP 和 T5XXL 文本编码器的变体。各种预制的 ComfyUI 工作流程可用于访问图像生成。

正在进行的发展和未来计划

Stability AI 联合首席执行官 Christian Laforte 传达了该公司对持续改进模型的承诺。“Stability AI 将继续推动生成式 AI 的前沿，”Laforte 说，并强调他们的目标是在图像生成技术方面处于领先地位。未来的更新不仅将增强图像生成，还将扩展到视频、音频和语言的多模态功能。

访问和许可信息

用户可以通过 Stability 的 API 探索 SD3 Medium 的功能。模型权重在开放的非商业许可下提供，并可选择低成本的创作者许可以供更广泛使用。对大型商业应用感兴趣的人可以联系初创公司了解详细的许可安排。

SD3 在 Stability AI 非商业研究社区许可证下具有特定的许可注意事项。该模型可免费用于非商业用途，例如学术研究，而商业用途需要 Stability AI 的单独许可。更多详细信息可以在 Stability AI 许可证页面上找到。

当前面临的挑战和公司的应对措施

Stability AI 推出 SD3 Medium 正值一个充满挑战的时期。自 2020 年成立以来，该公司迅速在生成式 AI 领域崭露头角，与 Midjourney 和 OpenAI 的 DALL-E 等竞争对手并驾齐驱。到 2022 年，这家初创公司的估值达到 10 亿美元。

然而，该公司最近面临众多诉讼和财务困难。艺术家们已经对Stability AI采取了法律行动，因为他们在未经许可的情况下使用他们的作品来训练模型。此外，正如The Information所指出的那样，财务限制引发了对潜在出售的讨论。

动荡中的领导层更迭

今年3月，首席执行官兼创始人Emad Mostaque辞职，专注于去中心化AI项目。尽管存在这些障碍，Stability AI 的软件继续显示出令人印象深刻的结果，SD3 Medium 展示了显着的性能增强。

训练和未来模型发布

SD3-Medium 的培训要求预计与 SDXL 相似且略低于 SDXL。该模型能够从小型数据集中吸收细微的细节，增强其对定制和创造力的适用性。此外，Stability AI 还宣布计划在完成训练后免费发布其他 SD3 模型版本，包括 Small（1B 参数）、Large（4B 参数）和 Huge（8B 参数）模型。

如何在本地使用 SD3

1. 下载型号和文本编码器:

您可以从 Civitai 获取所有 SD3 安全张量、文本编码器和示例 ComfyUI 工作流程 此处 .

• SD3 中型 （4.2 GB）
• SD3 培养基，包括剪辑 （5.8 GB）
• SD3 培养基，包括夹子 T5XXLFP8
• 文本编码器剪辑 L （234 MB）
• 文本编码器剪辑 G （1.3 GB）
• 文本编码器 t5xxl_fp8_e4m3fn （4.7 GB）
• 文本编码器 t5xxl_fp16 （9.5 GB）

2. Update Your Software:

ComfyUI 具有完整的 SD3 支持。确保更新到最新版本。

请注意，截至美国东部时间 2024 年 6 月 12 日上午 10：00，Automatic1111 WebUI 尚不支持 SD3，但预计很快就会支持。

3. 更新您的软件:

• 对于 ComfyUI，您可以通过将 SD3 Medium Incl Clips 或 SD3 Medium Incl Clips_t5xxlfp8检查点放在目录中来使用它们。
• 如果使用 ，则需要单独加载文本编码器/CLIP 权重。

4. 单独加载文本编码器（如果需要）:

将下载的文本编码器权重放在目录中。

5. 使用预先制作的工作流程:

• 下载并使用专为轻松设置而设计的预制 ComfyUI 工作流程：
• 简单的 txt2img 工作流程
• 提示工作流程

总之，尽管公司面临挑战，但 Stability AI 继续增强其技术并扩展其在生成式 AI 方面的产品。Stable Diffusion 3 Medium 结合了性能、效率和多功能性，代表了一项重大进步，确保了其在文本到图像领域的前沿地位。