使用本地语言模型的开发者现在可以在网页界面搜索模型并下载所需文件。新增功能还支持一并选择辅助推理的文件,以及暂停和续传下载,让模型探索与文件管理在同一处完成。

1. 从搜索衔接到下载

2026年10月17日发布的 llama.cpp b11714 在模型管理窗口中新增了探索界面。用户可以通过推荐列表或搜索查找 Hugging Face Hub 上的模型,并按文件大小范围筛选。

支持的对象是存储模型权重的 GGUF 格式。选择仓库后,会显示说明文档、统计信息和各量化版本的下载按钮。量化是用更少的位数表示权重的方式,用户选择所需文件时也能看到内存是否足够的提示。

探索功能默认关闭,需在设置中启用后才能从侧边栏等位置访问。帮助说明指出,该功能仅在管理多个模型的路由模式下提供。启用后,Hugging Face Hub 集成也会开启并锁定;关闭探索功能时,集成也会关闭。若只需显示信息,可单独开启集成设置。

2. 辅助文件优先匹配相同量化

用于生成草稿的辅助文件是帮助主模型推理的独立文件。下载界面提供一并下载的复选框和类型选择功能。在可用类型中,DFlash 优先于 MTP,用户也可以更改选择或取消一并下载。

匹配时,会先在主模型所在目录中寻找量化完全相同的文件;若不存在,则选择位数最接近的文件。正如原文所举的例子,4位模型也可能搭配16位辅助文件。因此,适配量化并不意味着只允许相同位数。

辅助文件不会显示为单独的模型行,而是在主模型下显示为简短的子行。它随主模型的下载操作一同管理;若已下载主模型但缺少辅助文件,则会显示补充下载按钮。此次未提供推理速度提升幅度的测量结果。

3. 暂停会保留,取消会删除

此前,停止下载会删除已下载的部分文件;此次改为保留,并在再次请求时续传。服务器会保存未完成记录,因此重启或刷新页面后也能恢复暂停状态。即使恢复请求失败,界面中的暂停行也会保留。

服务器文档给出的未完成状态示例如下。它与正在进行的下载有所区分,表示文件尚未下载完毕,但当前也未在下载。

"status": {
  "value": "incomplete",
  "args": []
}

暂停会保留已下载的部分,但取消或从磁盘删除则会移除部分文件。若主模型已存在,仅辅助文件下载中断,也会单独记录未完成类型,以便在新界面中续传。

4. 便利的代价是存储空间与共享文件管理

省去分别查找模型和辅助文件的麻烦,也意味着随一并下载的文件增加传输量和存储占用。暂停后,部分文件仍留在磁盘上。因此,除了探索的便利性,取消不需要的下载以回收空间也变得重要。

续传仅在文件未变更时有效。若已保存的文件版本标记缺失或发生变化,就会从头下载;若服务器未正常响应续传范围请求,而是返回200或416,则会删除部分文件,让下次尝试从头开始。

共享文件也需要留意。服务器会拒绝试图写入与进行中下载相同的部分文件的新请求。删除模型时,会保留其他量化版本使用的文件;但若单独删除共享辅助文件,也会影响共用该文件的量化版本。

返回概率值的判定模型无法在此网页界面运行,因此不列入推荐与搜索。此次探索功能的范围是选择受支持的模型并管理下载,而非支持运行 Hub 上的全部模型。

此次变更的核心,是将模型探索与续传整合到同一界面,同时仍由用户负责选择辅助文件和管理残留文件。