GitHub Copilot Fusion 以实验形式推出了一项功能,可针对每次请求选择使用设备端模型还是云端模型。Copilot CLI、Copilot 应用和 Visual Studio Code 用户启用功能并准备好模型后,无需每次手动切换模型,也能将本地模型纳入选择范围。

自动选择本地与云端模型

据 GitHub 公告,智能路由即针对每次请求自动选择模型的功能,目前处于实验预览阶段,也就是正式发布前的公开测试,需由用户主动启用。完成设置后,在 Copilot Fusion 中选择 Standard,Copilot 就会在受支持的设备端模型与云端模型之间进行选择。用户也可以手动指定当前会话使用的本地模型。

该功能面向 Copilot CLI、Copilot 应用和 Visual Studio Code 提供。不过,通过服务准备并提供的托管方式下载和配置模型,与连接自行准备的模型,这两条路径的平台支持范围不同。这一区别决定了哪些用户能够使用自动选择。

Windows 支持托管模型配置

在受支持的 Windows 设备上,可通过 Windows ML 提供程序下载并配置 MAI Code 1.1 Flash。在 Copilot CLI 中,启用实验模式并打开 /model,按提示操作即可。在 Copilot 应用中,先在设置的模型提供程序中配置 Windows ML,再在实验设置中启用本地模型自动路由,然后开启新会话。GitHub 表示,Windows ML 本地模型在 Windows 上默认启用。

在 Visual Studio Code 中,启用 chat.copilot.localModel.enabled。模型准备就绪后,可在 Copilot Fusion 中选择 Standard 来使用自动选择,也可在当前会话中手动选择本地模型。各应用的设置流程不同,但自动路由的工作方式相同。

自行配置的模型在 CLI 中支持多种操作系统

托管下载仅限 Windows,但 Copilot CLI 使用用户自行配置模型的本地路由可在 Windows、macOS 和 Linux 上运行。用户可通过本地 OpenAI 兼容服务器连接 MAI Code 1.1 Flash 或 Qwen3.8 Flash Next。

采用这种方式时,用户需要管理模型下载和推理运行时,即运行模型所需的软件环境,并确保设备具备足够的计算资源,也就是用于计算的设备处理能力。将模型配置为受支持的本地模型提供程序,启用实验性本地路由并选择 Standard 后,Copilot 就会在符合条件的本地模型与云端模型之间进行选择。

Copilot 应用也可通过 BYOK,即使用用户自有密钥的方式,连接兼容的本地模型并手动选择。但该应用的自动路由仅支持托管的 Windows ML 模型。通过 BYOK 设置添加或发现模型,并不意味着它会成为 Copilot Fusion 自动路由的候选模型。

便利性与运行负担的平衡

自动路由减少了每次请求都要选择模型的麻烦,并让当前设备的计算资源成为可用选项。自行准备模型时,下载和运行环境管理由用户负责,同时还需要足够的设备资源。因此,选择时不仅要确认支持哪些平台,还应考虑由谁准备和管理模型。

需要注意,本地推理并不意味着离线使用。Copilot Fusion 在云端作出路由决策,而本地模型的安全防护水平,即防止有害输出的保护程度,可能与 Copilot 提供的云端模型不同。

Copilot Fusion 的本地路由减轻了模型选择负担,但实际可用范围取决于平台和模型准备方式。