Unsloth v0.1.917-beta：Qwen3.8-27B GGUF，T4 图像与生成改进

1. 在本地运行 Qwen3.8-27B GGUF

11月11日发布的这一版本以压缩模型文件格式 GGUF 提供 Qwen3.8-27B。其发布格式为 Dynamic v3.1，Unsloth 表示可在本地运行。

用于将 GGUF 还原为可计算形式的反量化也有所调整。还原结果与 llama.cpp 逐比特一致，并且仅向计算数据类型，即表示计算值的数值格式，进行一次舍入。

Studio 的图像生成路径也扩大了对低比特 GGUF 的加载支持，这类文件用较少的比特存储数值。除发布新的语言模型文件外，此次发布还一并完善了现有图像模型文件的读取和计算路径。

2. T4 上的模型生成默认提速 2~8倍

FastModel 系列默认在回答生成阶段启用 CUDA 图，将重复计算流程预先组织起来并复用。据公司公布的数据，T4 的生成速度提升了 2~8倍，发布说明称输出 token 也与原有运行方式相同。

对开发者而言，关键在于此次改变的是生成执行路径，而不是减少生成量。改进已纳入默认路径，无需另行设置以开启加速。

Qwen3.5·Qwen3.6 系列中复用先前计算结果的缓存也支持这一加速路径。

Gemma 4 的生成阶段也纳入了支持范围。

此外，新增了按需扩展生成过程中所用缓存空间的可选功能。在默认生成加速之外，也提供了选择缓存运行方式的余地。

3. 旧款 GPU 的图像模型运行与显存

旧款 NVIDIA GPU 也能加载 INT8·FP8 图像模型了。这扩大了对先前会拒绝运行的精度组合的支持。

FLUX.3 输出黑色图像的问题也已修复。据公司公布的数据，FLUX.2 和 FLUX.3 在图像解码时的显存用量减少了 36~43%，速度保持不变。

T4 上的 FLUX.3 改为以 16位浮点数执行用于计算输入信息重要性的注意力运算。据公司公布的数据，这一变更使每张图像的生成时间在 GGUF 下缩短了 15%，在 INT8 下缩短了 34%。

另一项变更通过调整中间计算值的大小来维持低精度。据公司公布的数据，该变更使同一显卡上每张图像的生成时间在 INT8 下缩短了 24%，在 GGUF Q8_0 下缩短了 73%。

还有一项变更不再在每个步骤重新复制权重，即模型学习后存储的数值，而是指向系统内存中的副本。据公司公布的数据，在该显卡上运行 FLUX.3 的 GGUF Q8_0 时，每张图像的生成时间缩短了 11%。

Qwen-Image-2.1 改为加载所提供的 INT8 版文本编码器，该编码器用于将语句转换为图像生成所需的信息。据公司公布的数据，在 T4 Turbo·INT8 条件下，每张图像的生成时间从变更前的 82.7秒缩短至变更后的 31.9秒。

这些结果表明，各项变更均缩短了相应的运行时间。上述数据涉及的模型、量化方式（用较少比特表示数值的技术）及修改内容不同，不能据此进行统一的性能排名。

4. 训练扩展了模型支持与视频数据处理

将长上下文分配到多个设备处理的上下文并行训练也扩大了支持范围。Kimi-Linear 和 DeepSeek 新增为支持对象。

同时支持 MiniMax 和 Gemma 4 文本模型。

对于支持视频输入的视觉语言模型，即同时处理图像和语句的模型，修复了训练时丢弃数据集 video 列的问题。对准备进行视频训练的开发者而言，这项变更的重点不是速度，而是训练数据能否得到正确利用。

5. 随兼容性扩展调整内存预算

除了让旧款显卡能运行更多模型，计算所需内存的计入方式也发生了变化。FP8 仅用于存储权重，以此确保兼容性；FLUX.3 还使用一种保留已存储权重、同时以 32位浮点数执行逐层计算的路径。

在这条计算路径中，用于容纳中间计算值的激活内存预算调整为测量表所列值的两倍。发布说明称，这使 T4 上的 GGUF Q4 去噪模型，即减少图像噪声的模型，能够保留在显卡中。这一执行计划变化不仅考虑权重存储空间，也纳入了中间计算值占用的空间。

此次发布的核心在于推出新的 GGUF，同时提升 T4 等旧款显卡上的生成速度，并扩大图像模型的选择范围。