Diffusers 中 AuraFlow 管线实战从 bitsandbytes 量化到 torch.compile 加速【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusersAuraFlow 是受 Stable Diffusion 3 启发、由 Fal 团队开发的开源文本到图像扩散模型也是当前采用 Apache 2.0 许可证的同类模型中参数规模最大者之一在 GenEval 基准上取得了领先效果。本文以 Diffusers 官方文档 aura_flow.md 为主体结合仓库内 AuraFlowPipeline 实现 与 AuraFlowTransformer2DModel 源码系统讲解该模型的架构组成、推理参数、bitsandbytes / GGUF 两种量化加载方案以及 torch.compile 编译加速的完整实践。AuraFlow 模型与管线概述AuraFlow 在架构上借鉴了 Stable Diffusion 3 的 MMDiTMixture-of-Diffusion-Transformers设计思路是文本到图像生成领域中参数规模最大的 Apache 2.0 开源模型之一并在 GenEval 基准上取得了当时的最优结果。其完整推理链路在 Diffusers 中由AuraFlowPipeline统一编排核心组件包括文本编码器UMT5EncoderModel采用 EleutherAI/pile-t5-xl 变体T5 编码器负责将提示词编码为文本嵌入图像生成主干AuraFlowTransformer2DModel即MMDiT DiT混合条件 Transformer负责对图像潜变量进行去噪变分自编码器AutoencoderKL负责图像与潜变量之间的编码与解码调度器FlowMatchEulerDiscreteScheduler基于流匹配flow matching的欧拉离散调度器配合 transformer 完成去噪分词器T5Tokenizer对提示词进行分词。从 pipeline_aura_flow.py 的源码可以看到管线通过register_modules注册上述五个模块并定义了model_cpu_offload_seq text_encoder-transformer-vae的 CPU 卸载顺序——这意味着在显存不足的消费级设备上可以依次将文本编码器、transformer、VAE 逐模块卸载到 CPU从而大幅降低峰值显存占用。基础推理快速生成第一张图AuraFlowPipeline的示例用法直接定义在源码的 EXAMPLE_DOC_STRING 中最小调用方式如下import torch from diffusers import AuraFlowPipeline pipe AuraFlowPipeline.from_pretrained(fal/AuraFlow, torch_dtypetorch.float16) pipe pipe.to(cuda) prompt A cat holding a sign that says hello world image pipe(prompt).images[0] image.save(aura_flow.png)需要特别说明的是AuraFlow 参数量很大在消费级硬件上运行成本较高。如果你希望获得更快的推理速度和更低的内存占用本文后续的量化加载与torch.compile 编译两节提供了两条官方推荐的优化路径。AuraFlowPipeline 核心参数详解在深入优化之前先理解__call__方法的全部关键参数默认值均取自 pipeline_aura_flow.py 源码签名参数默认值说明promptNone提示词支持str或list[str]与prompt_embeds二选一negative_promptNone负向提示词仅在guidance_scale 1时生效num_inference_steps50去噪步数步数越多通常画质越高、耗时越长sigmasNone自定义 sigma 序列用于覆盖调度器的 timestep 排布策略与num_inference_steps互斥guidance_scale3.5无分类器引导CFG强度 1.0时关闭 CFGnum_images_per_prompt1每个提示词生成的图片数量height/width1024生成图像分辨率须能被vae_scale_factor * 2整除否则check_inputs会抛出异常generatorNonetorch.Generator传入后可使生成结果可复现latentsNone预生成的噪声潜变量可用于跨提示词保持同一构图prompt_embeds/negative_prompt_embedsNone预计算好的负向文本嵌入便于做 prompt weighting 等精细控制max_sequence_length256提示词最大 token 长度超出部分将被截断并打印警告output_typepil输出格式可选pil、np、latentreturn_dictTrue为True返回ImagePipelineOutput否则返回元组attention_kwargsNone透传给AttentionProcessor的附加参数如 LoRA 的scalecallback_on_step_endNone每个去噪步结束时回调可用于实时预览或提前终止callback_on_step_end_tensor_inputs[latents]传给回调的张量列表仅允许_callback_tensor_inputs中声明的latents、prompt_embeds几个值得注意的实现细节有源码依据分辨率校验check_inputs要求height和width能被vae_scale_factor * 2整除否则直接ValueError见 check_inputs注意力掩码联动当直接传入prompt_embeds时必须同时提供prompt_attention_mask且正向与负向嵌入的形状必须一致见 check_inputsCFG 引导公式去噪循环中采用noise_pred_uncond guidance_scale * (noise_pred_text - noise_pred_uncond)的标准 Imagen 式无分类器引导见 去噪循环VAE 上转精度当 VAE 为 float16 且配置了force_upcast时解码前会自动将 VAE 提升到 float32以避免数值溢出见 pipeline_aura_flow.py。量化加载用 bitsandbytes 将模型压到 8-bit量化通过以更低精度的数据类型存储权重来显著降低超大模型的显存需求。AuraFlowPipeline同时支持对文本编码器和 transformer 分别量化。官方文档推荐的做法是先用 Transformers 的BitsAndBytesConfig量化 T5 文本编码器再用 Diffusers 的BitsAndBytesConfig量化 transformer最后组装成管线完整示例见 aura_flow.mdimport torch from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig, AuraFlowTransformer2DModel, AuraFlowPipeline from transformers import BitsAndBytesConfig as BitsAndBytesConfig, T5EncoderModel quant_config BitsAndBytesConfig(load_in_8bitTrue) text_encoder_8bit T5EncoderModel.from_pretrained( fal/AuraFlow, subfoldertext_encoder, quantization_configquant_config, dtypetorch.float16, ) quant_config DiffusersBitsAndBytesConfig(load_in_8bitTrue) transformer_8bit AuraFlowTransformer2DModel.from_pretrained( fal/AuraFlow, subfoldertransformer, quantization_configquant_config, dtypetorch.float16, ) pipeline AuraFlowPipeline.from_pretrained( fal/AuraFlow, text_encodertext_encoder_8bit, transformertransformer_8bit, dtypetorch.float16, device_mapbalanced, ) prompt a tiny astronaut hatching from an egg on the moon image pipeline(prompt).images[0] image.save(auraflow.png)要点说明两个量化配置类同名但来源不同transformers.BitsAndBytesConfig负责文本编码器diffusers.BitsAndBytesConfig负责 transformer使用时务必用别名区分按子文件夹加载fal/AuraFlow仓库中text_encoder与transformer分别位于不同 subfolder因此需要分别from_pretrained加载再注入管线device_mapbalanced在from_pretrained时指定可让管线各模块自动均衡分布到可用设备如多卡或 CPUGPU 组合整体流程先量化文本编码器 → 再量化 transformer → 组装AuraFlowPipeline→ 常规推理。该示例同样适用于 4-bitload_in_4bitTrue等 bitsandbytes 支持的其他精度方案详细后端说明可参阅 bitsandbytes 量化文档。量化加载GGUF 检查点的 from_single_file 加载除 bitsandbytes 外Diffusers 还支持直接加载预量化并保存为 GGUF 格式的检查点。这种方式通过模型类的from_single_file接口实现搭配GGUFQuantizationConfig定义于 quantization_config.py指定计算精度。官方文档给出的 AuraFlow 示例见 aura_flow.mdimport torch from diffusers import ( AuraFlowPipeline, GGUFQuantizationConfig, AuraFlowTransformer2DModel, ) transformer AuraFlowTransformer2DModel.from_single_file( https://huggingface.co/city96/AuraFlow-v0.3-gguf/blob/main/aura_flow_0.3-Q2_K.gguf, quantization_configGGUFQuantizationConfig(compute_dtypetorch.bfloat16), dtypetorch.bfloat16, ) pipeline AuraFlowPipeline.from_pretrained( fal/AuraFlow-v0.3, transformertransformer, dtypetorch.bfloat16, ) prompt a cute pony in a field of flowers image pipeline(prompt).images[0] image.save(auraflow.png)要点说明from_single_file指向一个 GGUF 格式的量化权重文件上例为 Q2_K 量化档位社区还提供 Q4_K 等更高精度档位GGUFQuantizationConfig(compute_dtype...)用于设定反量化后的计算精度示例中使用bfloat16与dtypetorch.bfloat16保持一致量化仅作用于 transformer 主干管线其余组件仍从fal/AuraFlow-v0.3仓库常规加载注意 GGUF 加载目前仅在模型类from_single_file层面受支持管线整体加载 GGUF 检查点尚未支持详见 GGUF 量化文档。支持 torch.compile()跨分辨率推理加速AuraFlow 的 transformer 主干已被重写为可适配任意分辨率从而支持torch.compile()编译加速。启用步骤如下按官方指引安装 PyTorch nightly 版本在编译前设置torch.fx.experimental._config.use_duck_shape False对pipeline.transformer执行torch.compile。对应的代码改动官方文档 diff见 aura_flow.md torch.fx.experimental._config.use_duck_shape False pipeline.transformer torch.compile( pipeline.transformer, fullgraphTrue, dynamicTrue )use_duck_shape False的含义是禁止编译器用同一个符号变量来表示数值相同但来源不同的输入尺寸从而保证不同分辨率下的输入形状能被独立跟踪与编译fullgraphTrue要求整个前向图完整编译dynamicTrue允许动态形状二者配合才能支持在多种分辨率间切换效果上该方案在低分辨率下可带来约 100% 的提速在 1536×1536 高分辨率下也有约 30% 的加速数据出自官方文档原述。深入源码AuraFlowTransformer2DModel 的架构要点量化与编译的对象是 transformer 主干理解其结构有助于判断优化策略的生效范围。从 auraflow_transformer_2d.py 源码可以梳理出以下要点Patch Embed 无卷积AuraFlowPatchEmbed使用线性投影nn.Linear(patch_size*patch_size*in_channels, embed_dim)而非卷积并采用学习的绝对位置嵌入在pe_selection_index_based_on_dim中通过居中裁剪从 2D 位置网格中选择与当前 H、W 匹配的子集这正是模型支持任意分辨率生成的关键机制见 AuraFlowPatchEmbed前馈网络AuraFlowFeedForward采用 SiLU 门控结构F.silu(linear_1(x)) * linear_2(x)隐层维度经find_multiple(..., 256)向上取整到 256 的倍数见 AuraFlowFeedForward联合注意力块AuraFlowJointTransformerBlock与 SD3 的 MMDiT 类似同时处理图像与文本 token 的联合注意力并使用AdaLayerNormZero与 FP32 LayerNorm见 AuraFlowJointTransformerBlock单流注意力块AuraFlowSingleTransformerBlock是仅含 DiT 的简化块负责在最后阶段对联合表示继续去噪见 AuraFlowSingleTransformerBlockpre-final 块AuraFlowPreFinalBlock通过 scale-shift 方式将时间条件嵌入注入最终输出见 AuraFlowPreFinalBlock。整体呈现MMDiT 联合块 → 单 DiT 块 → pre-final 调制的混合结构这也解释了为何它能通过重写适配任意分辨率并顺利接入torch.compile。测试验证与更多资源仓库为 AuraFlow 管线提供了完整的测试支撑位于 test_pipeline_aura_flow.py测试配置使用微型 dummy 组件sample_size32、单层 MMDiT 与单层 DiT并通过output_shape (3, 64, 64)验证输出尺寸逻辑test_fused_qkv_projections验证了对 transformer 执行fuse_qkv_projections()融合 QKV 投影后输出与未融合时保持一致容差 1e-3说明该优化可安全用于提速而不改变生成结果批次推理一致性测试则说明批量生成与单张生成在数值上存在轻微差异源于 AuraFlow 会 padding 提示词嵌入到公共长度。若需进一步探索还可参考管线的完整调用签名与每个参数的 docstringpipeline_aura_flow.pybitsandbytes 量化后端说明bitsandbytes.mdGGUF 量化格式说明gguf.md模型实现源码auraflow_transformer_2d.py综上AuraFlow 在 Diffusers 中提供了一条从常规 fp16 推理到 bitsandbytes / GGUF 量化、再到torch.compile编译加速的完整优化路径。对显存受限的消费级硬件优先尝试 8-bit 量化 逐模块 CPU 卸载对推理延迟敏感的场景则建议在安装 PyTorch nightly 后开启torch.compile(dynamicTrue)兼顾低分辨率与 1536×1536 高分辨率下的性能提升。【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Diffusers 中 AuraFlow 管线实战：从 bitsandbytes 量化到 torch.compile 加速
Diffusers 中 AuraFlow 管线实战从 bitsandbytes 量化到 torch.compile 加速【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusersAuraFlow 是受 Stable Diffusion 3 启发、由 Fal 团队开发的开源文本到图像扩散模型也是当前采用 Apache 2.0 许可证的同类模型中参数规模最大者之一在 GenEval 基准上取得了领先效果。本文以 Diffusers 官方文档 aura_flow.md 为主体结合仓库内 AuraFlowPipeline 实现 与 AuraFlowTransformer2DModel 源码系统讲解该模型的架构组成、推理参数、bitsandbytes / GGUF 两种量化加载方案以及 torch.compile 编译加速的完整实践。AuraFlow 模型与管线概述AuraFlow 在架构上借鉴了 Stable Diffusion 3 的 MMDiTMixture-of-Diffusion-Transformers设计思路是文本到图像生成领域中参数规模最大的 Apache 2.0 开源模型之一并在 GenEval 基准上取得了当时的最优结果。其完整推理链路在 Diffusers 中由AuraFlowPipeline统一编排核心组件包括文本编码器UMT5EncoderModel采用 EleutherAI/pile-t5-xl 变体T5 编码器负责将提示词编码为文本嵌入图像生成主干AuraFlowTransformer2DModel即MMDiT DiT混合条件 Transformer负责对图像潜变量进行去噪变分自编码器AutoencoderKL负责图像与潜变量之间的编码与解码调度器FlowMatchEulerDiscreteScheduler基于流匹配flow matching的欧拉离散调度器配合 transformer 完成去噪分词器T5Tokenizer对提示词进行分词。从 pipeline_aura_flow.py 的源码可以看到管线通过register_modules注册上述五个模块并定义了model_cpu_offload_seq text_encoder-transformer-vae的 CPU 卸载顺序——这意味着在显存不足的消费级设备上可以依次将文本编码器、transformer、VAE 逐模块卸载到 CPU从而大幅降低峰值显存占用。基础推理快速生成第一张图AuraFlowPipeline的示例用法直接定义在源码的 EXAMPLE_DOC_STRING 中最小调用方式如下import torch from diffusers import AuraFlowPipeline pipe AuraFlowPipeline.from_pretrained(fal/AuraFlow, torch_dtypetorch.float16) pipe pipe.to(cuda) prompt A cat holding a sign that says hello world image pipe(prompt).images[0] image.save(aura_flow.png)需要特别说明的是AuraFlow 参数量很大在消费级硬件上运行成本较高。如果你希望获得更快的推理速度和更低的内存占用本文后续的量化加载与torch.compile 编译两节提供了两条官方推荐的优化路径。AuraFlowPipeline 核心参数详解在深入优化之前先理解__call__方法的全部关键参数默认值均取自 pipeline_aura_flow.py 源码签名参数默认值说明promptNone提示词支持str或list[str]与prompt_embeds二选一negative_promptNone负向提示词仅在guidance_scale 1时生效num_inference_steps50去噪步数步数越多通常画质越高、耗时越长sigmasNone自定义 sigma 序列用于覆盖调度器的 timestep 排布策略与num_inference_steps互斥guidance_scale3.5无分类器引导CFG强度 1.0时关闭 CFGnum_images_per_prompt1每个提示词生成的图片数量height/width1024生成图像分辨率须能被vae_scale_factor * 2整除否则check_inputs会抛出异常generatorNonetorch.Generator传入后可使生成结果可复现latentsNone预生成的噪声潜变量可用于跨提示词保持同一构图prompt_embeds/negative_prompt_embedsNone预计算好的负向文本嵌入便于做 prompt weighting 等精细控制max_sequence_length256提示词最大 token 长度超出部分将被截断并打印警告output_typepil输出格式可选pil、np、latentreturn_dictTrue为True返回ImagePipelineOutput否则返回元组attention_kwargsNone透传给AttentionProcessor的附加参数如 LoRA 的scalecallback_on_step_endNone每个去噪步结束时回调可用于实时预览或提前终止callback_on_step_end_tensor_inputs[latents]传给回调的张量列表仅允许_callback_tensor_inputs中声明的latents、prompt_embeds几个值得注意的实现细节有源码依据分辨率校验check_inputs要求height和width能被vae_scale_factor * 2整除否则直接ValueError见 check_inputs注意力掩码联动当直接传入prompt_embeds时必须同时提供prompt_attention_mask且正向与负向嵌入的形状必须一致见 check_inputsCFG 引导公式去噪循环中采用noise_pred_uncond guidance_scale * (noise_pred_text - noise_pred_uncond)的标准 Imagen 式无分类器引导见 去噪循环VAE 上转精度当 VAE 为 float16 且配置了force_upcast时解码前会自动将 VAE 提升到 float32以避免数值溢出见 pipeline_aura_flow.py。量化加载用 bitsandbytes 将模型压到 8-bit量化通过以更低精度的数据类型存储权重来显著降低超大模型的显存需求。AuraFlowPipeline同时支持对文本编码器和 transformer 分别量化。官方文档推荐的做法是先用 Transformers 的BitsAndBytesConfig量化 T5 文本编码器再用 Diffusers 的BitsAndBytesConfig量化 transformer最后组装成管线完整示例见 aura_flow.mdimport torch from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig, AuraFlowTransformer2DModel, AuraFlowPipeline from transformers import BitsAndBytesConfig as BitsAndBytesConfig, T5EncoderModel quant_config BitsAndBytesConfig(load_in_8bitTrue) text_encoder_8bit T5EncoderModel.from_pretrained( fal/AuraFlow, subfoldertext_encoder, quantization_configquant_config, dtypetorch.float16, ) quant_config DiffusersBitsAndBytesConfig(load_in_8bitTrue) transformer_8bit AuraFlowTransformer2DModel.from_pretrained( fal/AuraFlow, subfoldertransformer, quantization_configquant_config, dtypetorch.float16, ) pipeline AuraFlowPipeline.from_pretrained( fal/AuraFlow, text_encodertext_encoder_8bit, transformertransformer_8bit, dtypetorch.float16, device_mapbalanced, ) prompt a tiny astronaut hatching from an egg on the moon image pipeline(prompt).images[0] image.save(auraflow.png)要点说明两个量化配置类同名但来源不同transformers.BitsAndBytesConfig负责文本编码器diffusers.BitsAndBytesConfig负责 transformer使用时务必用别名区分按子文件夹加载fal/AuraFlow仓库中text_encoder与transformer分别位于不同 subfolder因此需要分别from_pretrained加载再注入管线device_mapbalanced在from_pretrained时指定可让管线各模块自动均衡分布到可用设备如多卡或 CPUGPU 组合整体流程先量化文本编码器 → 再量化 transformer → 组装AuraFlowPipeline→ 常规推理。该示例同样适用于 4-bitload_in_4bitTrue等 bitsandbytes 支持的其他精度方案详细后端说明可参阅 bitsandbytes 量化文档。量化加载GGUF 检查点的 from_single_file 加载除 bitsandbytes 外Diffusers 还支持直接加载预量化并保存为 GGUF 格式的检查点。这种方式通过模型类的from_single_file接口实现搭配GGUFQuantizationConfig定义于 quantization_config.py指定计算精度。官方文档给出的 AuraFlow 示例见 aura_flow.mdimport torch from diffusers import ( AuraFlowPipeline, GGUFQuantizationConfig, AuraFlowTransformer2DModel, ) transformer AuraFlowTransformer2DModel.from_single_file( https://huggingface.co/city96/AuraFlow-v0.3-gguf/blob/main/aura_flow_0.3-Q2_K.gguf, quantization_configGGUFQuantizationConfig(compute_dtypetorch.bfloat16), dtypetorch.bfloat16, ) pipeline AuraFlowPipeline.from_pretrained( fal/AuraFlow-v0.3, transformertransformer, dtypetorch.bfloat16, ) prompt a cute pony in a field of flowers image pipeline(prompt).images[0] image.save(auraflow.png)要点说明from_single_file指向一个 GGUF 格式的量化权重文件上例为 Q2_K 量化档位社区还提供 Q4_K 等更高精度档位GGUFQuantizationConfig(compute_dtype...)用于设定反量化后的计算精度示例中使用bfloat16与dtypetorch.bfloat16保持一致量化仅作用于 transformer 主干管线其余组件仍从fal/AuraFlow-v0.3仓库常规加载注意 GGUF 加载目前仅在模型类from_single_file层面受支持管线整体加载 GGUF 检查点尚未支持详见 GGUF 量化文档。支持 torch.compile()跨分辨率推理加速AuraFlow 的 transformer 主干已被重写为可适配任意分辨率从而支持torch.compile()编译加速。启用步骤如下按官方指引安装 PyTorch nightly 版本在编译前设置torch.fx.experimental._config.use_duck_shape False对pipeline.transformer执行torch.compile。对应的代码改动官方文档 diff见 aura_flow.md torch.fx.experimental._config.use_duck_shape False pipeline.transformer torch.compile( pipeline.transformer, fullgraphTrue, dynamicTrue )use_duck_shape False的含义是禁止编译器用同一个符号变量来表示数值相同但来源不同的输入尺寸从而保证不同分辨率下的输入形状能被独立跟踪与编译fullgraphTrue要求整个前向图完整编译dynamicTrue允许动态形状二者配合才能支持在多种分辨率间切换效果上该方案在低分辨率下可带来约 100% 的提速在 1536×1536 高分辨率下也有约 30% 的加速数据出自官方文档原述。深入源码AuraFlowTransformer2DModel 的架构要点量化与编译的对象是 transformer 主干理解其结构有助于判断优化策略的生效范围。从 auraflow_transformer_2d.py 源码可以梳理出以下要点Patch Embed 无卷积AuraFlowPatchEmbed使用线性投影nn.Linear(patch_size*patch_size*in_channels, embed_dim)而非卷积并采用学习的绝对位置嵌入在pe_selection_index_based_on_dim中通过居中裁剪从 2D 位置网格中选择与当前 H、W 匹配的子集这正是模型支持任意分辨率生成的关键机制见 AuraFlowPatchEmbed前馈网络AuraFlowFeedForward采用 SiLU 门控结构F.silu(linear_1(x)) * linear_2(x)隐层维度经find_multiple(..., 256)向上取整到 256 的倍数见 AuraFlowFeedForward联合注意力块AuraFlowJointTransformerBlock与 SD3 的 MMDiT 类似同时处理图像与文本 token 的联合注意力并使用AdaLayerNormZero与 FP32 LayerNorm见 AuraFlowJointTransformerBlock单流注意力块AuraFlowSingleTransformerBlock是仅含 DiT 的简化块负责在最后阶段对联合表示继续去噪见 AuraFlowSingleTransformerBlockpre-final 块AuraFlowPreFinalBlock通过 scale-shift 方式将时间条件嵌入注入最终输出见 AuraFlowPreFinalBlock。整体呈现MMDiT 联合块 → 单 DiT 块 → pre-final 调制的混合结构这也解释了为何它能通过重写适配任意分辨率并顺利接入torch.compile。测试验证与更多资源仓库为 AuraFlow 管线提供了完整的测试支撑位于 test_pipeline_aura_flow.py测试配置使用微型 dummy 组件sample_size32、单层 MMDiT 与单层 DiT并通过output_shape (3, 64, 64)验证输出尺寸逻辑test_fused_qkv_projections验证了对 transformer 执行fuse_qkv_projections()融合 QKV 投影后输出与未融合时保持一致容差 1e-3说明该优化可安全用于提速而不改变生成结果批次推理一致性测试则说明批量生成与单张生成在数值上存在轻微差异源于 AuraFlow 会 padding 提示词嵌入到公共长度。若需进一步探索还可参考管线的完整调用签名与每个参数的 docstringpipeline_aura_flow.pybitsandbytes 量化后端说明bitsandbytes.mdGGUF 量化格式说明gguf.md模型实现源码auraflow_transformer_2d.py综上AuraFlow 在 Diffusers 中提供了一条从常规 fp16 推理到 bitsandbytes / GGUF 量化、再到torch.compile编译加速的完整优化路径。对显存受限的消费级硬件优先尝试 8-bit 量化 逐模块 CPU 卸载对推理延迟敏感的场景则建议在安装 PyTorch nightly 后开启torch.compile(dynamicTrue)兼顾低分辨率与 1536×1536 高分辨率下的性能提升。【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考