专注于德语和英语的开放权重语言模型如今可以在本地推理工具中运行。希望自行部署模型的开发者有了新的运行路径，但需要区分参与计算的模型规模与必须装入内存的规模。

1. 新增支持的范围

2026年10月17日发布的 llama.cpp b11709 是预发布版本。发行说明包含新模型的权重转换、推理实现及架构测试注册。这并非只是将模型名称加入列表，而是增加了运行所需的处理逻辑。

支持的对象是 Aleph Alpha 的 Kolibri-1。模型卡注明的模型发布日期为2026年10月3日，与此次推理工具提供支持的日期不同。卡中的 Apache 2.0 许可证适用于仓库中公开的权重和配置文件。

2. 以较大内存换取较少计算

该模型采用混合专家架构，从多个分担计算的专家中选择一部分。总参数量约为780亿，但每处理一个称为 token 的文本单位，激活的参数约为34.6亿。模型卡称，每层选择6个专家，并设有1个共享专家。

好处在于无需每次都对全部参数进行计算。但模型卡说明，即使只激活部分参数，也必须将完整模型保留在内存中。公开的8位浮点权重所需内存约为78 GB。因此，不能仅凭激活参数量就认为可以用小型模型级别的内存来运行它。

3. 转换实现的变化

内部实现交替安排四个关注邻近文本的层和一个关注完整上下文的层，邻近范围为前面的512个 token 及当前 token。转换器复用现有混合专家模型的类，并将共享专家的大小及各层关注范围的模式等写入名为 GGUF 的模型文件格式。

以下是变更提案中的转换代码。它不是运行命令，而是将模型结构信息写入文件的部分。

    def set_gguf_parameters(self):
        super().set_gguf_parameters()
        self.gguf_writer.add_expert_shared_feed_forward_length(self.hparams["shared_expert_intermediate_size"])
        self.gguf_writer.add_sliding_window_pattern([t == "sliding_attention" for t in self.hparams["layer_types"]])
        self.gguf_writer.add_expert_gating_func(gguf.ExpertGatingFuncType.SIGMOID)

4. 转换文件大小与实测速度的意义

变更提案提交者表示，转换原始模型后，BF16 GGUF 文件为156 GiB，采用更少位数表示数值的量化方式后，Q4_K_M 文件为45 GiB。这是转换后的文件大小，不能等同于运行时所需的全部内存。

性能测试在配备四张 A800 的服务器上使用 Q4_K_M 模型进行。提交者报告，处理2048个输入 token 时达到每秒2558.18个 token，生成512个 token 时达到每秒106.01个 token。输入处理与响应生成是不同的任务，不能将这两个数值视为同一种速度。

资料未提供与其他设备的速度对比，也未提供量化前后的准确率变化。因此，应将这些结果视为在该服务器上的运行案例，而不能据此保证个人设备上的实际速度或质量。

5. 使用前需确认的边界

模型卡说明，上下文即一次处理的文本范围，已验证至最多1,048,576个 token。不过，基础训练上下文为262,144个 token，对于延迟和吞吐量敏感的运行场景以及复杂任务，建议不超过这一长度。长上下文验证是模型制作者的说明，并非本次实现在相同条件下的测试结果。

模型卡中的安装与运行指南面向 vLLM。开启推理模式和工具调用的步骤也以该工具为准，资料未提供 llama.cpp 的具体转换、运行命令，也未说明这两项功能是否获得同等支持。引入者应将模型本身的功能与运行工具中已确认的支持范围分开验证。

此次支持的价值在于增加了运行新模型的选择，而是否引入，应围绕内存预算和实际业务验证来判断，而非只看激活参数量。