ExecuTorch 1.6.0이 파이토치 설치 없이 모델을 실행하는 파이썬 런타임과 여러 언어 모델 요청을 묶어 처리하는 기능을 공개했다. 모델을 배포하는 개발자는 실행 환경의 의존성을 줄이고, GPU 기반 서비스에서는 요청을 함께 처리하거나 앞선 계산을 재사용하는 경로를 활용할 수 있다.

1. 모델 실행 환경에서 파이토치 의존성을 줄인다

2026년 11월 12일 공개된 이번 버전의 파이썬 런타임은 내보낸 .pte 모델 파일을 파이토치 없이 실행한다. 모델을 준비하는 환경과 실행하는 환경을 나눠, 배포 쪽에 필요한 의존성을 줄일 수 있게 한 변화다.

입력은 NumPy 배열, 버퍼 또는 DLPack, 배열을 프레임워크 간 주고받는 규격으로 전달할 수 있다. 런타임을 불러올 때 모델 변환·컴파일 관련 모듈을 함께 불러오던 동작도 없앴으며, 설치 의존성에서는 테스트 전용 패키지를 제거했다. 모델 실행에 필요한 환경을 구성하는 개발자에게 직접 영향을 주는 변경이다.

2. 요청을 묶고 공통 앞부분의 계산을 재사용한다

CUDA와 MLX의 언어 모델 실행에는 묶음 서빙과 프리픽스 캐시가 추가됐다. 여러 요청을 함께 처리하는 데 더해, 요청의 공통 앞부분에 해당하는 계산 결과를 다시 쓰는 방식이다. 서비스 운영자가 살펴볼 변화는 개별 연산뿐 아니라 요청들을 처리하는 흐름에도 있다.

CUDA에는 요청을 묶는 실행기와 프리픽스 캐시 재사용, 기기 내 샘플링, GPU에서 출력 토큰을 고르는 처리가 들어갔다. 모델이 앞서 처리한 토큰 정보를 보관하는 KV 캐시는 CUDA 그래프, GPU 작업을 묶어 실행하는 구성 바깥에서 관리한다. 요청 묶음 처리와 캐시 관리가 함께 바뀐 셈이다.

다음 토큰 후보를 미리 제안하는 DFlash 추측 디코딩도 지원한다. MLX에는 이를 지원하는 묶음 KV 캐시가 추가됐으며, 릴리스 노트는 관련 GPU 언어 모델 기능이 Muse Glimmer에 완전히 통합됐다고 소개한다.

3. GPU 자동 튜닝은 작은 배치까지 겨냥한다

CUDA와 ROCm에는 INT4·INT5·INT6·INT8 양자화 행렬곱 커널이 추가됐다. 정밀도를 낮춘 수치로 행렬 계산을 수행하는 이 커널, GPU에서 계산을 수행하는 코드는 토큰 생성 단계와 작은 배치의 입력 처리 단계를 대상으로 자동 튜닝한다. 릴리스 노트가 제시한 적용 범위는 작은 배치 입력 처리에서 M ≤ 64다.

자동 튜닝은 후보 연산을 시험해 구현을 고르는 과정이다. 이번 버전은 후보를 CUDA 그래프 안에서 측정해 CPU 오버헤드가 선택에 영향을 주지 않도록 바꿨다. 개발자가 벤치마크용 예제 입력을 지정할 수도 있어, 실제 사용할 입력을 고려한 튜닝 경로가 마련됐다.

긴 문맥의 어텐션, 문맥에서 중요한 정보에 집중하는 계산 처리도 개선했다. 커널 내부의 인과 마스크, 미래 토큰 참조를 막는 제한 방식과 하드웨어에 맞춘 분할 디코드를 도입해, 앞선 토큰을 참조하는 계산과 작업 분할 방식을 손봤다.

4. 실행 스트림과 모델 로딩 경로도 확장한다

실험 기능인 executorch.runtime.cuda 모듈은 파이썬에서 CUDA 스트림을 선택할 수 있게 한다. 파이썬 쪽에서 GPU 작업의 실행 흐름을 지정하려는 개발자를 위한 제어 지점이다.

또 다른 실험 기능인 ExecuTorch Native는 이식형, 여러 실행 환경에 옮겨 쓸 수 있는 .ptn 프로그램을 도입했다. Vulkan 또는 ggml 엔진이 프로그램을 불러오는 시점에 실행에 맞게 변환한다. 모델 파일을 실행 환경에 맞추는 작업 일부를 로딩 단계로 옮긴 접근이다.

5. 배포 의존성은 줄고 환경 이전 작업은 늘어난다

파이썬 지원 범위는 3.11부터 3.15까지로 바뀌었다. CUDA 휠, 파이썬에 설치하는 배포 패키지 파일은 13.4가 추가되고 12.6과 13.0이 제거됐다. 실행 환경을 새로 구성한다면 이 지원 범위를 설치 계획에 반영할 필요가 있다.

이익은 파이토치 없는 실행 환경을 구성하고 GPU 요청 처리 경로를 확장할 선택지가 생겼다는 점이다. 반면 파이썬 3.10이나 제거된 CUDA 휠에 의존하던 환경은 지원 버전으로 이전하는 작업이 필요하며, Jetson Orin은 소스에서 빌드해야 한다. 의존성 축소와 기존 배포 절차 변경을 함께 검토할 업데이트다.

ExecuTorch 1.6.0의 핵심은 실행 환경을 가볍게 구성할 선택지를 넓히면서 GPU 요청 처리와 캐시 재사용을 함께 강화한 데 있다.