Edge0가 로컬에서 언어 모델을 실행하는 윈도용 새 버전을 공개했다. 기존 사용자에게는 여러 앱과 파이썬 프레임워크를 대신하는 통합 추론 엔진을 제공하고, 대형 모델을 직접 실행하려는 개발자에게는 엔비디아 그래픽카드 한 장을 쓰는 구성을 제시했다.

1. 명령줄·서버·대화 앱을 하나의 엔진으로

새 엔진 edge0-infer는 파이썬 프레임워크와 플랫폼별 앱 네 개를 대체한다. 명령줄 도구, 로컬 서버, 데스크톱 대화 앱이 하나의 실행 기반을 공유하는 구조다. 사용자는 터미널에서 직접 실행하거나 앱으로 대화하는 등 작업 방식에 맞춰 이용할 수 있다.

내부 구현은 C++와 GGML, 모델 추론용 연산 라이브러리를 기반으로 하며, 기기 안에서 모델을 실행하는 공통 API를 제공한다. 통합의 초점은 사용 화면을 하나로 제한하는 것이 아니라 여러 이용 경로를 같은 엔진 위에 모으는 데 있다.

명령줄 도구에는 모델 실행, 대화, 성능 측정, 서버 실행, 정보 확인 기능이 포함된다. 이번 통합 엔진이 지원하는 기존 모델은 Edge0 35B이며, Edge0 8B 지원은 후속 릴리스로 예정돼 있다.

2. 145B·120B 모델, 단일 NVIDIA GPU 구성

새 모델 Edge0 145B와 Edge0 120B는 회사 발표 기준으로 엔비디아 GPU 한 장에서 실행된다. 대형 모델을 로컬에서 이용하려는 사용자에게 제시한 구성이다.

두 대형 모델의 실행은 edge0-strata가 맡는다. 통합 엔진이 기존 모델과 앱을 묶는 변화라면, 이 실행기는 새 대형 모델을 구동하는 경로다. 모델을 선택할 때는 모델 이름뿐 아니라 어느 실행기를 사용하는지도 함께 살펴야 한다.

릴리스 페이지는 두 모델에 대해 NVFP4와 q3k 가중치 형식의 다운로드 링크를 각각 제공한다. 배포 프로그램을 고르는 단계와 실행할 모델 가중치를 준비하는 단계가 나뉘는 구성이다.

3. 기존 API 클라이언트와 로컬 서버 연결

로컬 서버는 기존 OpenAI 호환 인터페이스에 더해 Anthropic Messages API 형식의 요청도 처리한다. 지원 경로는 메시지 요청과 토큰 수 계산 요청이며, 릴리스 노트는 이 기능을 네이티브 모델 대상으로 명시했다. Anthropic 형식의 클라이언트를 로컬 모델에 연결하려는 개발자는 해당 경로를 사용할 수 있다.

로컬 네트워크 인증은 x-api-key 헤더를 받아들이도록 바뀌었다. 개발자는 해당 헤더로 인증 키를 전달하는 방식으로 서버에 연결할 수 있다. 요청 형식 지원과 인증 경로가 함께 추가됐다는 점이 클라이언트를 연결할 때의 변화다.

4. 윈도 패키지를 고른 뒤 모델을 준비

배포 패키지는 x64와 Arm64 두 종류다. 설치와 문제 해결 안내는 각 패키지 안의 설명서에서 확인할 수 있다. 먼저 자신의 기기에 맞는 패키지를 고르고, 사용할 모델에 따라 실행 조건을 확인하는 순서다.

기존 모델인 Edge0 35B는 CPU 또는 Vulkan, 그래픽·계산 작업용 표준 인터페이스를 통한 GPU 실행을 지원한다.

x64 패키지에서 CPU로 실행할 때는 AVX2, CPU 병렬 연산을 돕는 명령어 집합의 지원이 필요하다. 기존 모델을 쓰는 경우와 새 대형 모델을 쓰는 경우의 준비 조건을 따로 살펴볼 수 있다.

대형 모델의 x64 실행에는 CUDA 기능 지원 등급인 컴퓨트 역량 7.5 이상의 엔비디아 GPU가 필요하다. 릴리스 노트는 RTX 20·30·40·50 계열을 예로 든다. GPU 메모리는 16 GiB 이상, 시스템 메모리는 20 GiB 이상이어야 하며, NVIDIA CUDA Toolkit 13을 설치해야 한다.

Arm64에서 대형 모델을 실행할 때는 컴퓨트 역량 12.1인 GPU를 요구하며, 예시는 NVIDIA RTX Spark N1X다.

메모리 하한은 앞의 구성과 같고, 도구 모음은 윈도 Arm64용 CUDA Toolkit 13을 설치해야 한다. 이 패키지의 CUDA 코드는 해당 GPU 아키텍처용으로만 빌드됐다.

이익은 여러 이용 경로를 한 엔진으로 묶고 대형 모델용 실행 경로까지 제공한다는 점이며, 사용자가 준비할 몫은 모델 가중치와 실행 환경이다. 이번 배포는 윈도 전용이고 가중치는 패키지에 포함되지 않으며, 대형 모델에는 앞서 제시한 하드웨어와 도구 설치 조건이 붙는다.

Edge0 v0.2.0의 핵심은 기존 앱의 실행 기반 통합과 대형 모델용 실행 경로 추가를 함께 제공한다는 데 있다.