앤스로픽이 AI 모델의 답변이 약속된 모델에서 나왔는지 확인하는 오픈소스 프로토타입 FlashProve를 2026년 11월 2일 공개했다. 연구 글과 기술 보고서, 실행 코드, 보안 성질을 정리한 Lean 증명도 함께 공개했다. 서비스 사업자는 모델이 학습한 수치인 가중치를 공개하지 않고도 추론 계산을 증명할 수 있고, 이용자와 감사자는 GPU나 가중치 없이 CPU로 확인할 수 있다.
1. 응답이 약속된 모델에서 나왔는지 확인한다
AI 서비스에서는 답변 내용만 보고 실제로 어떤 모델이 답했는지 알기 어렵다. 요청을 모델로 보내는 중개 서비스가 비용을 줄이려고 더 작은 모델로 바꾸거나, 서버 침해자가 출력 토큰을 조작해도 이용자가 알아채기 어려운 문제를 겨냥했다.
제공자는 먼저 모델 가중치의 짧은 지문인 커밋먼트, 원본을 숨긴 채 고정하는 암호학적 값을 만든다. 이후 입력과 답변 토큰에 대한 증명 파일을 생성하고, 이용자는 해당 파일과 커밋먼트를 이용해 답변이 그 가중치에서 나왔는지 확인한다. 증명은 가중치와 추론 중간값, 계산 과정에서 생기는 임시 값을 드러내지 않도록 설계됐다.
2. 배치 처리로 대형 모델 증명을 시도했다
앤스로픽은 Llama 4 Maverick의 공개 4비트 가중치를 정수 모델로 바꿔 측정했다. 이 모델은 전체 4,000억 파라미터 가운데 토큰마다 약 170억을 사용하며, 여러 계산 담당 중 일부만 골라 작동시키는 전문가 혼합 구조다. 연구 글에 따르면 증명 작업량도 전체 4,000억이 아니라 실제 사용한 약 170억 파라미터에 비례하므로, 이 구조가 대형 모델의 증명 부담을 줄인다.
앤스로픽의 기술 보고서 6절에 나온 단건과 24건 배치 증명 결과는 다음과 같다. 처리량은 검증한 출력 토큰만이 아니라 요청의 전체 토큰을 세는 사전 처리, 입력 토큰을 먼저 계산하는 단계 기준이다.
표: 단건과 24건 배치의 증명 생성 결과
조건: Llama 4 Maverick 공개 4비트 가중치의 정수 모델, H100 80GB 1장과 CPU 24코어, 요청당 1,024토큰, 다음 토큰 1개 검증, 보안 목표 128비트, 회사 발표 기준
단위: 소요 시간은 초, 처리량은 요청 전체 기준 토큰/초, 요청별 증명 크기는 MB
| 배치 크기(요청 수) | 배치 소요 시간(초) | 처리량(토큰/초) | 요청별 증명 크기(MB) |
|---|---|---|---|
| 1건 | 58 | 17.6 | — |
| 24건 | 223 | 110 | 18.78 |
차트: 배치 크기별 증명 처리량 조건: 위 표와 동일한 정수 모델 측정, 요청 전체 토큰 기준 단위: 토큰/초
단건 ███▌ 17.6
24건 배치 ██████████████████████ 110이 수치는 긴 입력을 다시 계산하는 증명 처리 속도를 보여 준다. 기술 보고서 6절은 답변의 각 토큰을 검증하는 별도 시험에서도 속도 차이가 측정되지 않았고, 검증한 토큰만 세면 초당 39.1토큰이었다고 밝혔다.
연구 글에 따르면 증명 확인은 CPU 24스레드에서 17초, 단일 스레드에서 21초가 걸렸다.
가중치 커밋먼트는 모델마다 한 번 생성하며 약 39분이 걸리고, 약 1,600만 요청에 재사용할 수 있다고 회사는 연구 글에서 밝혔다.
비교 대상인 vLLM은 같은 모델의 FP8 버전, 8비트 부동소수점 형식 버전을 H100 8장으로 실행했다. 연구 글에 따르면 GPU 한 장으로 환산한 FlashProve의 24건 배치 증명은 vLLM의 같은 크기 사전 처리보다 약 72배 오래 걸렸으며, 실행별 차이는 66~77배였다. vLLM이 시험한 최고 부하를 기준으로 하면 약 94배였다.
3. 추론 뒤에 증명해 실시간 부담을 분리한다
FlashProve는 응답을 먼저 전달하고 별도 서버에서 기록된 입력과 출력으로 추론을 다시 계산해 증명하는 사후 처리, 응답 뒤에 별도로 수행하는 방식이다. 매 토큰 생성 때 증명하는 대신 여러 요청을 한꺼번에 묶고 GPU 작업을 병렬화해 여러 계산을 동시에 수행한다. 모델 층을 구간으로 나눠 GPU에는 한 번에 일부 계산만 올리고, 가중치는 호스트 메모리, CPU가 사용하는 주기억장치에서 읽는다.
이 방식은 증명 생성이 추론 서비스의 즉시 응답 경로를 막지 않는 이점이 있다. 반면 회사 발표 기준 증명 작업 자체는 일반 추론보다 GPU 시간을 약 70~95배 더 쓰며, 재계산을 포함하면 증명 작업량이 약 1~1.5% 늘어난다는 것이 기술 보고서 부록의 추산이다. 기술 보고서 6절에 따르면 개별 요청은 배치 증명이 끝날 때까지 약 5분 기다릴 수 있고, 한 건씩 처리하면 증명은 58초에 준비되지만 처리량은 초당 17.6토큰으로 낮아진다.
4. 프로토타입의 검증 범위와 이용 방법
연구 글에 따르면 보안 성질은 수학적 명제를 기계로 확인하는 도구인 Lean 4로 형식화, 수학적 정의를 논리식으로 표현했다. 저장소에는 빠른 C++ 검증기와 느리지만 형식적 보장을 갖춘 Lean 검증기가 함께 있다.
기술 보고서 7절에 따르면 빠른 실행 코드가 Lean 정의와 같은 동작을 한다는 것과 배치 증명이 가중치 정보를 숨긴다는 것은 아직 형식적으로 증명되지 않았다. 연구 글이 밝힌 검증 대상은 최대 1,024토큰 문맥에서 정수 모델이 가장 점수 높은 토큰을 고르는 계산으로, 부동소수점 계산이나 확률에 따라 토큰을 뽑는 답변은 이 결과와 어긋날 수 있다.
개발자는 저장소 안내에 따라 검증기를 빌드한 뒤, 시험용으로 만든 합성 가중치를 사용하는 소형 모델의 저장된 증명으로 동작을 확인할 수 있다. 아래는 그 예시 명령이며, 실제 증명 확인에 사용할 커밋먼트 ID는 이용자가 신뢰하는 경로에서 받아야 한다.
bin/cp_verify examples/accepted-proof/config examples/accepted-proof/ivk examples/accepted-proof/example.req examples/accepted-proof/example.y examples/accepted-proof/example.proof -id "$(cat examples/accepted-proof/ID.txt)"FlashProve는 모델 가중치를 공개하지 않는 추론 검증의 가능성을 대형 모델에서 보인 연구용 프로토타입이며, 계산 비용과 검증 범위가 실제 적용의 관건이다.