Edge0 v0.2.0：引擎整合，单 GPU 运行大模型

1. 命令行、服务器与聊天应用共用一个引擎

新引擎 edge0-infer 取代了 Python 框架和四个平台专用应用。命令行工具、本地服务器和桌面聊天应用共用同一运行基础。用户可根据工作方式，在终端直接运行或通过应用对话。

内部实现基于 C++ 和用于模型推理的计算库 GGML，并提供在设备内运行模型的通用 API。整合的重点不是将用户界面限制为一个，而是将多种使用路径汇集到同一引擎上。

命令行工具包含模型运行、对话、性能测试、启动服务器和查看信息等功能。此次整合引擎支持的现有模型为 Edge0 35B，Edge0 8B 的支持计划在后续版本中提供。

2. 145B、120B 模型采用单 NVIDIA GPU 配置

据公司公布的信息，新模型 Edge0 145B 和 Edge0 120B 可在单张 NVIDIA GPU 上运行。这是面向希望在本地使用大模型的用户提出的配置方案。

两个大模型由 edge0-strata 负责运行。如果说整合引擎的变化是将现有模型和应用结合起来，那么这一运行器就是启动新大模型的路径。选择模型时，不仅要看模型名称，也应了解其使用哪种运行器。

发布页面分别为两个模型提供了 NVFP4 和 q3k 权重格式的下载链接。选择发行程序与准备要运行的模型权重是分开的两个步骤。

3. 将现有 API 客户端连接到本地服务器

本地服务器在现有 OpenAI 兼容接口之外，也可处理 Anthropic Messages API 格式的请求。支持的端点包括消息请求和词元计数请求，发布说明明确指出该功能面向原生模型。希望将 Anthropic 格式客户端连接到本地模型的开发者可以使用这些端点。

本地网络认证现已接受 x-api-key 请求头。开发者可通过该请求头传递认证密钥来连接服务器。请求格式支持与认证路径一并新增，是连接客户端时的变化。

4. 先选择 Windows 软件包，再准备模型

发行包分为 x64 和 Arm64 两种。安装和故障排查指南可在各软件包内的说明文档中查看。应先选择适合自己设备的软件包，再根据所用模型确认运行条件。

现有模型 Edge0 35B 支持在 CPU 上运行，也支持通过图形与计算任务的标准接口 Vulkan 在 GPU 上运行。

使用 x64 软件包在 CPU 上运行时，需要支持有助于 CPU 并行计算的指令集 AVX2。使用现有模型和使用新大模型时的准备条件可分别查看。

在 x64 上运行大模型，需要 CUDA 功能支持等级即计算能力达到 7.5 或以上的 NVIDIA GPU。发布说明以 RTX 20、30、40、50 系列为例。GPU 显存须至少为 16 GiB，系统内存须至少为 20 GiB，并需安装 NVIDIA CUDA Toolkit 13。

在 Arm64 上运行大模型时，要求 GPU 的计算能力为 12.1，示例为 NVIDIA RTX Spark N1X。

内存下限与前述配置相同，工具包则需安装 Windows Arm64 版 CUDA Toolkit 13。该软件包中的 CUDA 代码仅针对这一 GPU 架构构建。

其优势在于将多种使用路径整合到同一引擎，并提供大模型的运行路径；用户需要自行准备模型权重和运行环境。此次发行仅适用于 Windows，软件包不含权重，大模型还需满足前述硬件及工具安装条件。

Edge0 v0.2.0 的核心在于，同时提供现有应用运行基础的整合与大模型运行路径的新增。