Ray 2.59: 언어 모델 데이터 처리·서빙 정식 출시, 로컬 클러스터 토큰 인증 기본화

1. 정식 출시 대상은 언어 모델 API다

2026년 10월 1일 공개된 이번 버전에서 Ray Data LLM과 Ray Serve LLM이 정식 출시 단계로 올라갔다. 각각 언어 모델용 데이터 처리와 모델을 서비스로 제공하는 기능이다. 데이터 처리·서빙 제품 전체가 이번에 처음 정식 출시된 것으로 읽어서는 안 된다.

기반 추론 엔진은 vLLM 0.27.0으로 올라갔다. 데이터 처리 모듈에서는 무거운 엔진을 불러오는 시점을 뒤로 미뤘다. 다만 정식 출시와 이 변경으로 실제 시작 시간이나 처리 속도가 얼마나 달라지는지는 제시되지 않았다.

2. 로컬 인증도 시작 방식에 따라 다르다

토큰은 클러스터에 접속할 때 제시하는 공유 열쇠에 해당한다. 주소 없이 ray.init()을 호출하면 인증이 켜지고, 토큰이 없을 때는 ~/.ray/auth_token에 생성해 재사용한다. 로컬 실행마다 사용자가 새 토큰을 직접 만들라는 변경은 아니다.

반면 ray start --head로 시작할 때는 이미 이용 가능한 토큰이 있어야 인증을 켠다. 환경 변수나 토큰 파일에서 토큰을 찾지 못하면 인증 없이 시작했다는 경고를 남긴다. 따라서 로컬 기본 인증이라는 설명만 보고 두 시작 방식이 같은 결과를 낸다고 가정해서는 안 된다.

인증을 끄는 선택지도 있다. 원문에 제시된 환경 변수 설정값은 다음과 같다.

RAY_AUTH_MODE=disabled

원격 클러스터와 여러 노드로 구성된 클러스터의 기본 동작은 이번 버전에서 바뀌지 않는다.

서빙 클라이언트와 API 호출은 토큰을 호출 경로 끝까지 전달하도록 개선됐다.

3. 데이터 재배치에 디스크 기반 경로가 생겼다

셔플은 결합이나 집계 전에 관련 데이터를 같은 처리 쪽으로 모으는 재배치 작업이다. 새 셔플 방식에는 디스크를 사용하는 외부 모드가 추가됐으며, 결합과 집계도 이 모드를 지원한다. 실행 계획에 연결하는 작업도 포함됐다.

전략 이름은 hash_shuffle_v2에서 shuffle_v2로 바뀌었다. 기존 이름을 직접 지정한 설정은 이전할 때 확인할 대상이다. 압축 설정 이름도 바뀌므로 전략 이름만 고치고 점검을 끝내지 않는 편이 타당하다.

얻는 것은 디스크를 활용하는 처리 경로이며, 점검 대상은 그 경로가 사용할 저장 공간과 입출력이다. 메모리 사용량이 무조건 줄거나 속도가 빨라진다는 보장으로 받아들이기보다, 자기 작업에 맞는 자원 배치를 검토할 변화다.

4. 요청 거절을 장애와 구분할 수 있다

서빙에서는 요청 대기열이 한도를 넘어 거절될 때의 응답을 배포 단위로 지정할 수 있다. BackpressureConfig를 사용하면 기존 503 대신 429를 반환하고, 선택적으로 재시도 대기 시간을 헤더에 담을 수 있다. 기본값은 바뀌지 않는다.

이는 서비스가 고장 나서 응답하지 못하는 경우와, 과부하를 피하려고 의도적으로 요청을 거절하는 경우를 나누는 장치다. 요청을 분산하는 장치와 재시도 정책이 두 상황을 구별하도록 설정할 때 의미가 있다.

5. 인증 편의와 토큰 배포 부담을 나눠 봐야 한다

로컬에서는 토큰을 자동 생성하고 재사용하는 편의를 얻지만, 원격 운영자는 향후 토큰 배포를 준비해야 한다. 릴리스 노트는 Ray 2.61에서 원격·다중 노드를 포함한 모든 클러스터로 기본 인증을 확대할 예정이라고 밝힌다. 그때는 클러스터의 각 노드와 접속 클라이언트가 같은 토큰을 가져야 한다.

원문은 원격 클러스터 운영자에게 해당 버전으로 올리기 전에 토큰 배포를 마련하라고 권고한다. 도입 일정을 잡을 때 기능 시험에 더해, 토큰을 나눠 주고 일치시키는 절차도 준비 항목으로 삼을 만하다.

Ray 2.59는 언어 모델 API의 정식화와 인증 기본값 변경을 함께 검토하되, 도입 판단은 시작 방식과 토큰 배포 준비에 맞춰 나눠야 하는 버전이다.