Xinference가 새 추론 엔진을 연결하고 서버 보안을 강화한 4.1.0을 공개했다. 모델을 서비스하는 개발자는 같은 통합 API로 엔진 선택 폭을 넓힐 수 있고, 서버 운영자는 관리자 계정 선점과 내부 정보 노출 등을 막는 보안 패치를 적용할 수 있다.

1. 같은 서비스 창구에 새 추론 엔진 연결

TensorRT-LLM이 Xinference의 추론 백엔드, 모델 추론 실행을 맡는 구성 요소로 추가됐다. 지원 모델의 채팅·생성·스트리밍, 결과를 생성되는 대로 전달하는 기능을 기존 통합 API로 처리하므로, 개발자가 서비스를 연결하는 창구는 유지하면서 실행 엔진을 선택할 수 있게 됐다.

호환 모델은 서로 다른 추론 엔진 사이에서 작업을 넘길 수도 있다. 릴리스 노트는 엔비디아 GPU와 애플 실리콘을 함께 쓰는 배포까지 이 기능의 적용 사례로 들었다.

Xavier가 제공하는 공통 입력 부분의 중간 계산 결과 공유도 TRT-LLM으로 확장됐다.

새 엔진에서는 입력을 먼저 처리하는 단계와 답을 차례로 생성하는 단계를 나눠 맡길 수 있다. 이 기능은 기본 방식이나 Xavier 방식으로 사용할 수 있다.

공유할 계산 결과를 저장하는 곳도 늘었다. 선택 기능인 LMCache 저장 백엔드를 쓰면 메모리뿐 아니라 디스크에도 캐시를 둘 수 있다. 새 엔진도 이 저장 방식을 지원한다.

2. 진행 중인 요청을 마친 뒤 프로세스 교체

라이브 업그레이드는 지원 모델 엔진을 갱신하고 서버의 작업·API·관리 프로세스를 교체하는 기능이다. 진행 중인 요청과 스트림은 이전 서비스 프로세스가 종료되기 전에 마무리되며, 웹 화면에서 단일 시스템과 분산 배포의 업그레이드를 제어한다.

이 기능은 POSIX 환경을 대상으로 하며 아직 실험 단계다.

컨텍스트 길이, 모델이 한 번에 참고하는 입력 범위를 다루는 설정도 추론 엔진 사이에서 통일했다. 웹 화면의 슬라이더로 한도를 조절하고 실제 적용되는 모델 설정을 기준으로 검증한다.

여러 추론 엔진에서 모델을 띄울 때 필요한 메모리를 추정하는 기능도 추가됐다.

3. 모델 로딩과 관리자 생성의 신뢰 경계 강화

이번 버전은 공개된 보안 권고 네 건의 첫 패치 릴리스다. 프로젝트는 영향을 받는 버전 사용자에게 4.1.0 이상으로 업데이트하라고 권고했다.

심각도가 치명적으로 분류된 CosyVoice 모델 로딩 문제에는 운영자의 명시적 신뢰 승인을 요구하는 방식으로 대응했다. 사용자 지정 소스나 명시적 로컬 경로를 승인 없이 로더, 모델 파일을 불러오는 구성 요소로 넘기는 경로를 막는다.

최초 관리자 생성에는 운영자 설정 토큰을 요구한다. 인증되지 않은 호출자가 초기화 전 서버를 선점하는 문제를 막기 위한 조치로, 취약점의 영향 범위는 3.0.0 이상 4.1.0 미만이다.

Cairn Security의 Paul White가 이 문제를 보고하고 API 수준의 수정도 검증했다.

자동 모델 등록은 설정 파일을 승인된 경로에서만 읽도록 제한한다. 추가 모델 실행기에는 운영자 허용 목록을 요구해, 일부 설정 노출과 파일 시스템 탐색, 시스템 내 파일과 경로를 찾는 동작과 임의 모듈 가져오기, 지정되지 않은 코드를 불러오는 동작으로 보고된 문제에 대응했다.

채팅 오류 응답에서는 워커, 작업을 수행하는 별도 프로세스의 주소와 프로세스 식별자 등 내부 진단 정보를 숨긴다.

공유 저장소의 API 키를 현재 상태와 대조해 검증하는 개선도 포함됐다.

4. 신뢰 승인과 허용 목록은 운영자가 설정

새 인스턴스에서는 API 서버 시작 로그에 표시되는 설정 토큰으로 첫 관리자를 만든다. 사용자 지정 CosyVoice 소스는 워커 측 신뢰 설정이 필요하며, 소스 자체도 신뢰할 수 있어야 한다.

추가 모델 등록 경로와 실행기, 모델 실행 방식을 지정하는 도구에는 각각 허용 목록, 허용 대상만 통과시키는 목록 설정이 필요하다. 아래 블록은 릴리스 노트에 등장하는 관련 환경 변수 표기를 모은 것이다.

XINFERENCE_TRUST_REMOTE_CODE=1
XINFERENCE_MODEL_REGISTER_ROOTS
XINFERENCE_FLEXIBLE_LAUNCHERS
XOSCAR_AUTH_KEY

프로세스 간 통신을 담당하는 Xoscar의 인증은 운영자가 선택해 켜는 기능이다. 사용하려면 통신에 참여하는 각 프로세스에 같은 비어 있지 않은 인증 키를 설정한다.

이익은 엔진과 캐시 저장 위치의 선택 폭이 넓어지고, 갱신할 때 기존 요청을 마무리할 수 있다는 점이다. 대신 보안 설정에서는 첫 관리자 생성용 토큰, 신뢰할 소스와 허용할 경로·실행기를 운영자가 직접 관리하는 일이 중요해진다.

5. 도구 호출 스트림의 반복 검사 줄여

도구 호출 스트리밍에서는 새 조각이 도착할 때마다 문자열을 다시 훑던 동작을 없앴다. DeepSeek와 GLM-5 등 여러 모델 계열의 도구 호출 스트림을 대상으로 한 개선이다.

회사 발표 기준, 32KB 도구 호출의 처리 시간은 12.5초에서 11밀리초로 줄었다. 이 수치는 도구 호출 스트림의 반복 검사를 줄인 변경에 관한 결과로, 이번 릴리스가 개선한 구체적인 처리 경로를 보여 준다.

Xinference 4.1.0은 서비스 연결 창구를 유지한 채 추론 엔진 선택을 넓히고, 서버의 민감한 동작은 운영자의 명시적 통제 아래 두는 데 무게를 둔 릴리스다.