Ray 2.59：语言模型数据处理与服务正式发布，默认启用本地集群令牌认证

1. 正式发布的对象是语言模型 API

在 2026 年 10 月 1 日发布的这一版本中，Ray Data LLM 和 Ray Serve LLM 进入正式发布阶段。两者分别用于语言模型的数据处理，以及将模型作为服务提供。不应将其理解为整个数据处理与服务产品此次才首次正式发布。

底层推理引擎升级至 vLLM 0.27.0。数据处理模块推迟了加载大型引擎的时机。不过，正式发布及这项变更究竟会使实际启动时间或处理速度发生多大变化，尚未给出数据。

2. 本地认证也因启动方式而异

令牌相当于连接集群时出示的共享密钥。不指定地址调用 ray.init() 时会启用认证；若没有令牌，则会在 ~/.ray/auth_token 中生成并重复使用。这并非要求用户每次本地运行时都手动创建新令牌。

而通过 ray start --head 启动时，只有已存在可用令牌才会启用认证。若未在环境变量或令牌文件中找到令牌，则会发出未启用认证即启动的警告。因此，不能仅凭本地默认认证的说明，就假定两种启动方式的结果相同。

也可以选择关闭认证。原文给出的环境变量设置值如下。

RAY_AUTH_MODE=disabled

远程集群及多节点集群的默认行为在此版本中保持不变。

服务客户端和 API 调用已得到改进，可将令牌沿调用路径传递至末端。

3. 数据重分布新增基于磁盘的路径

Shuffle 是在连接或聚合之前，将相关数据汇集到同一处理端的重分布操作。新的 Shuffle 方式增加了使用磁盘的外部模式，连接和聚合也支持该模式。此次还包含将其接入执行计划的工作。

策略名称由 hash_shuffle_v2 改为 shuffle_v2。迁移时应检查直接指定旧名称的配置。压缩配置名称也有变化，因此不宜只修改策略名称就结束检查。

新增的是利用磁盘的处理路径，需要检查该路径所用的存储空间和输入输出。不应将其视为必然降低内存用量或提高速度的保证，而应据此评估适合自身任务的资源配置。

4. 可将请求拒绝与故障区分开来

在服务方面，可按部署设置请求队列超限而被拒绝时的响应。使用 BackpressureConfig 可返回 429 而非原有的 503，并可选择在响应头中加入重试等待时间。默认值保持不变。

这一机制用于区分服务故障导致无法响应，以及为避免过载而主动拒绝请求这两种情况。在配置请求分发组件和重试策略，使其区分两种情况时，这一机制才有意义。

5. 应分别看待认证便利与令牌分发负担

本地用户可享受自动生成并复用令牌的便利，但远程运维人员需要为今后的令牌分发做好准备。发行说明表示，计划在 Ray 2.61 中将默认认证扩展到所有集群，包括远程和多节点集群。届时，集群的每个节点和接入客户端都必须持有相同令牌。

原文建议远程集群运维人员在升级到该版本之前安排好令牌分发。制定采用计划时，除功能测试外，也宜将令牌分发及一致性确认流程列为准备事项。

Ray 2.59 需要综合评估语言模型 API 的正式发布与认证默认值的变化，但采用决策应根据启动方式和令牌分发准备情况分别作出。