llama-swap v271：实时路由、文档 MCP 工具

1. 在 WebSocket 双向数据通信连接建立后选择模型并路由

此次变更面向按 OpenAI 指引建立实时 API 连接、但未预先指定模型名称的客户端。此前，这类请求在升级为 WebSocket 前会遇到 404 错误。v271 改为由 llama-swap 先完成连接流程，待模型确定后再转发请求。

客户端以语音转写为目的建立连接时，服务器会暂存先前收到的事件，直到 session.update 指定模型。服务器先检查 session.model，若不存在，则从转写模型，即将语音转换为文字的模型键中查找目标，再将等待中的事件交给现有路由路径。

这相当于先受理请求，等负责的模型确定后再移交积压请求。若处理失败，则通过 OpenAI 格式的错误事件通知。

2. 将文档和可选源代码作为 MCP 工具提供

v271 还新增了将 llama-swap 文档作为 MCP 工具导出的 docbot 包。MCP 是让 AI 应用像请求工具一样请求外部功能的连接方式。构建帮助智能体的开发者可通过独立软件包引入文档提供功能，将其接入 HTTP 路由，并选择是否提供源代码。

软件包包含无状态的 MCP 处理程序，并通过 SystemPrompt() 和 Tools() 辅助函数提供系统提示词和工具列表。开发者可将文档工具挂接到应用的 HTTP 路由上，以使用该功能。

发行说明称，该软件包是 llama-swap.ai 帮助智能体的前期工作，并包含该网站的帮助 MCP 端点。它将文档型智能体所需的连接功能打包，供开发者复用。

3. 公开的训练资料和评估数据

此次还包含对帮助智能体所用小模型进行微调，即通过追加训练调整模型行为的记录。训练脚本、对话资料和运行笔记已公开，作为今后规划帮助模型训练流程时的参考资料。

据项目发行说明，基于 LFM3-1.7B 的 lfm3-v2 Q4_K_M 在每题限时 60秒的评估中，训练案例得分为 95.5%，未用于训练而单独保留的留出案例得分为 96.1%。其中同时展示了训练所用问题和另行保留问题的结果。

另一项文档智能体评估新增了 66个训练案例和 29个留出案例，并修正了四个错误的验证项。项目发行说明称，在同步调整文档和评估后，gemma-4-12B-r9700 的训练得分从 96.0% 升至 97.3%。

文档工具 get_doc 的默认输出上限也从 250行增至 400行。发行说明指出，原因是 kubeswap 的图形处理器预算配置示例会被截断。此外，还整理了文档页面的链接，使其指向包含答案的指南文档。

公开的训练资料不包含权重，即模型学到的数值信息。两个模型的得分也未被说明是在相同评估条件下取得，因此不能直接据此排名。

4. 对开发者和用户的影响

文档工具的收益与成本相伴而行。提高默认输出量，能更完整地提供此前被截断的示例，但也增加了调用方一次接收和处理的文档量。搭建帮助系统时，还需根据所需范围处理返回结果。

自行搭建帮助系统的开发者可结合使用文档工具连接功能和模型训练参考资料。文档提供部分可通过软件包直接引入；若要调整自有帮助模型，则可参考公开的对话记录和运行笔记。

v271 的核心是两项扩展：将实时请求转发给会话确定的模型，以及将文档作为可复用的 AI 工具提供。