Strata가 새 버전에서 그래픽카드와 Mac용 모델 실행 엔진을 자체 코드로 바꾸고, 일부 애플 실리콘의 잘못된 계산을 고쳤다. 로컬 모델을 쓰는 개발자는 업데이트로 새 엔진을 받을 수 있으며, 기존 모델과 대화, 설정은 유지된다.
1. 외부 계산 커널을 걷어낸 새 엔진
앱과 터미널은 0.2.16, 플랫폼별 엔진과 설치·업데이트 프로그램은 0.1.62다. 새 엔진은 외부 행렬 계산 코드 대신 자체 코드를 사용한다.
그림을 읽는 기능도 자체 구현으로 바꿨다. Strata 측 발표 기준, NVIDIA용 그림 판독기 파일은 53,864,888바이트에서 807,976바이트로 줄었다.
Strata 측은 대화·코드·도구 호출·긴 입력·중국어·독일어·그림을 포함한 10개 프롬프트로 이전 엔진과 출력 토큰을 비교했다. Strata 측 시험 기준, Tesla P100과 Radeon R9700은 각각 10개 모두 토큰이 같았다.
Mac의 M5 Max도 10개 모두 토큰이 같았다고 Strata는 밝혔다. 이는 실행 코드를 바꾼 뒤 해당 시험에서 답변을 유지했는지 보여 주는 결과다.
Strata 측 시험 기준, RTX PRO 5000과 Arc A750은 각각 비교한 9개 모두 토큰이 같았다. 다만 Windows의 CUDA 12 엔진은 전용 코드가 추가된 RTX 5070에서 10개 중 2개 답이 달랐다고 Strata는 밝혔다.
긴 입력 성능은 Strata 측 발표 기준, Tesla V100의 26,000토큰 프롬프트 처리 시간이 이전 엔진의 17,464밀리초에서 15,068밀리초로 줄었다. 엔진 0.1.58 대비 처리 시간이 약 13.7% 감소해 같은 길이의 입력을 더 짧은 시간에 처리했다.
같은 발표에서 RTX 2080 Ti의 26,000토큰 처리 상대 속도는 기준 엔진 0.1.58 대비 직전 릴리스의 0.885에서 이번 릴리스의 1.088로 높아졌다. 직전 릴리스 0.2.15보다 속도가 약 22.9% 높아진 것으로, V100의 시간 감소율과는 다른 지표다.
표: 긴 입력 처리 성능의 전후 비교
조건: Strata 측 발표 기준, 26,000토큰 입력, V100은 엔진 0.1.58과 비교, RTX 2080 Ti는 0.1.58 대비 상대 속도를 릴리스 간 비교
단위: V100은 밀리초, RTX 2080 Ti는 상대 속도(무차원)
| 장비 | 이전 비교 대상 | 이전 | 이번 |
|---|---|---|---|
| Tesla V100 | 엔진 0.1.58 | 17,464 | 15,068 |
| RTX 2080 Ti | 릴리스 0.2.15 | 0.885 | 1.088 |
차트: Tesla V100 처리 시간 조건: Strata 측 발표 기준, 26,000토큰 입력, 낮을수록 짧은 처리 시간 단위: 밀리초
xychart-beta
x-axis ["Engine 0.1.58", "Current"]
y-axis "Processing time (milliseconds)" 0 --> 18000
bar [17464, 15068]차트: RTX 2080 Ti 상대 속도 조건: Strata 측 발표 기준, 26,000토큰 입력, 엔진 0.1.58 대비 상대 속도, 높을수록 빠름 단위: 상대 속도(무차원)
xychart-beta
x-axis ["Release 0.2.15", "Current"]
y-axis "Relative speed" 0 --> 1.2
bar [0.885, 1.088]2. M1~M4에서 잘못 계산하던 층 수정
직전 버전은 UD-Q4_K_XL 모델, 가중치를 낮은 정밀도로 저장하는 형식의 모델을 실행할 때 일부 층에서 열의 4분의 1만 계산했으며, 측정한 한 층에서는 640개 열 중 160개만 계산했다. 답변이 자연스러워 짧은 응답으로는 알아채기 어려운 오류였다.
수정 대상은 M1~M4이며, M5는 영향을 받지 않았다고 Strata는 밝혔다.
Strata 측은 M5 Max에 구형 계산 커널(계산을 수행하는 저수준 코드)을 강제로 적용해 수정 효과를 측정했다. KL은 두 예측 확률 분포의 차이를 나타내는 값이다. 여기서는 첫 토큰의 예측 확률이 같은 기기의 기본 실행 경로에 얼마나 가까운지 보여 준다.
표: 구형 Mac 계산 경로의 수정 효과
조건: Strata 측 발표 기준, M5 Max에서 구형 커널 강제 적용, 512~8,192토큰 프롬프트 6개, 같은 기기의 기본 경로와 비교
단위: KL 차이는 무차원, 최상위 토큰 불일치는 프롬프트 수(개)
| 항목 | 수정 전 | 수정 후 |
|---|---|---|
| 첫 토큰 KL 차이 | 0.303 | 0.0068 |
| 최상위 토큰 불일치 | 3 | 1 |
같은 조건에서 예측 확률의 차이와 가장 높은 확률의 토큰이 달랐던 프롬프트 수가 함께 줄었다. 겉으로 자연스러운 답변보다 계산 결과를 직접 대조하는 시험이 중요했던 사례다.
Mac 앱과 엔진의 최소 운영체제는 macOS 15.0으로 바뀌었다. 이전 공개 파일은 macOS 27.2를 요구했다.
UD-IQ1_M 모델의 의미 없는 글자 출력도 수정했다.
Strata 측 발표 기준, 4라운드 동안 요청 간 Metal(애플의 그래픽·연산 기술) 메모리 증가량은 16.9GB에서 0.23GB로 줄었다.
3. 시작 실패와 메모리 종료 완화
Windows에서는 시스템 조회 권한이 없는 일부 계정에서 시작 약 5초 뒤 종료되던 문제를 고쳤다. Strix Halo에서 수정 전 세 번 모두 실패했던 시작 시험은 수정 뒤 채팅·도구 호출·그림을 처리하는 실행이 73초 만에 응답했다고 Strata 측은 밝혔다.
기본 PowerShell에서 strata 명령이 실행되지 않던 문제도 수정했다.
Ubuntu의 메모리 보호 기능이 큰 모델을 읽는 도중 실행을 종료하던 문제에는, 모델의 이전 파일 사본이 차지한 메모리를 먼저 비우고 부족할 때 엔진을 일시 정지하는 조치를 적용했다.
Strata 측 발표 기준, 메모리 62GiB의 Tesla P100 PC에서 다른 프로그램을 함께 열면 수정 전 5회 모두 실패했으나 수정 뒤에는 7회 중 6회 성공했다. 다른 프로그램이 12GiB를 쓰는 조건에서는 4회 중 3회 성공했다.
준비 시간도 줄었다. Strata 측 발표 기준, RTX 5070 PC에서 앱의 첫 시스템 확인은 23초에서 약 2초로 단축됐다.
NVIDIA Blackwell에서는 CUDA 12 엔진의 첫 응답이 173.0초에서 0.34초로 줄었다고 Strata는 밝혔다.
4. 메모리 여유와 장비별 시험 범위 확인
Windows에서는 Strix Halo나 페이지 파일(디스크를 메모리처럼 쓰는 공간)이 작은 PC에서 메모리와 페이지 파일을 합친 한도에 닿으면 엔진이 조용히 종료될 수 있고, Ubuntu 계열도 여유 메모리가 적으면 모델 로드가 종료될 수 있다. 구형 애플 실리콘 실기기와 일부 플랫폼 변경은 미시험이다.
5. 새 엔진을 받되 기존 데이터는 유지
자체 코드 전환과 별도로 실행 안정성 문제도 수정했다. 업데이트할 때는 플랫폼별 새 엔진을 내려받아야 한다. 리눅스의 Tesla P100 설치는 직접 컴파일하던 방식에서 완성된 엔진 다운로드로 바뀌어 로컬 빌드 부담을 덜었다.
일반 터미널 사용자는 다음 명령으로 업데이트한다. Windows에서 이전 버전의 시작 충돌을 겪고 엔진이 갱신되지 않았다면 같은 명령을 한 번 더 실행하도록 안내한다.
strata update앱 사용자는 내부 업데이트나 새 설치 파일을 이용한다. 저장소 복제본으로 빌드하는 개발자는 엔진 경로가 engine/으로 옮겨진 점을 반영해야 한다.
Strata 0.2.16의 핵심은 자체 엔진 전환과 계산 오류 수정으로 로컬 실행의 기반을 다지는 데 있다.
