리퀴드 AI가 전체 모델의 일부만 계산에 쓰면서 답변 전에 추론하는 모델을 공개했다. 기기 안에서 외부 도구를 호출해 일을 처리하는 AI를 만드는 개발자에게, 계산 부담을 줄이는 선택지가 늘었다.

1. 일부만 계산하고 더 긴 문맥을 읽는다

LFM2.5-24B-A2B는 전체 파라미터가 240억이고, 토큰마다 활성화되는 파라미터는 24.5억이다. 이름의 ‘2B’는 요약 표기이며, 토큰은 모델이 글을 처리하는 단위다. 전문가 혼합 구조인 MoE는 여러 작업반 가운데 일부만 투입하는 방식으로, 각 블록의 전문가 64개 중 4개를 고른다.

이전 모델인 LFM2-24B-A2B보다 한 번에 다루는 문맥이 약 3만 2천 토큰에서 13만 1,072토큰으로 늘었다. 어휘도 약 6만 5천 개에서 12만 8천 개로 확장해 한글 등 비라틴 문자 처리 개선을 노렸다.

원문은 이전 모델과 달리 답변 전에 항상 추론하는 모델이라고 설명한다. 대화 서식에서 응답을 시작할 때 추론 시작 태그를 직접 넣는다. 이는 긴 문맥 지원과 별개인 응답 방식의 변화다.

2. 기기 내 속도는 측정 조건과 함께 본다

회사 자체 기기 측정 환경에서 llama.cpp와 Q4_K_M 양자화, 입력 문맥 4천 토큰을 사용했다. 양자화는 가중치를 더 적은 비트로 표현해 저장 공간을 줄이는 방식이다.

이 조건에서 애플 M5 Max는 초당 184토큰, AMD Ryzen AI Max+ 395는 초당 114토큰을 생성했다고 회사는 밝혔다. 비교한 모델 가운데 차순위보다 최대 1.7배 빠르다는 결과이며, 이를 다른 장비나 설정의 속도로 일반화할 수는 없다.

3. 로컬 실행과 도구 연결은 별도 단계다

로컬 실행에는 GGUF 형식과 llama.cpp를 쓸 수 있다. 다음은 변환본 모델 카드에 실린 실행 예시 그대로다.

llama-cli -hf LiquidAI/LFM2.5-24B-A2B-GGUF \
    --temp 0.1 --top-k 50 --repeat-penalty 1.05

권장 생성 설정은 각 파일의 메타데이터에도 담겨 기본값으로 적용된다. 에이전트와 연결할 때는 모델을 로컬 서버로 띄우고, 작업을 관리하는 프로그램이 OpenAI 호환 API로 접속하도록 설정한다.

도구 사용은 도구 정의 제공, 호출 생성, 호출 실행과 결과 반환, 최종 답변의 순서다. 모델이 호출문을 만드는 것과 프로그램이 실제 도구를 실행하는 것은 별개다. 기본 호출문은 파이썬 형태의 목록이며, 시스템 지시로 JSON 형식 출력을 요청할 수도 있다.

4. 도구 활용 점수가 지식 능력을 대신하지는 않는다

모델 카드의 비교 대상 중 하나는 Qwen3.6-35B-A3B다. 아래 두 평가는 모두 vLLM으로 수행됐지만 생성 조건이 달라, 각 평가 안에서만 두 모델을 비교해야 한다.

에이전트 작업 평가인 LiveClaw에서는 온도 1.0, 출력 최대 8,192토큰 조건에서 이 모델이 48.09점, 비교 모델이 38.19점이었다. 온도는 출력 선택의 무작위성을 조절하는 값이다.

반면 지식 평가인 GPQA Diamond에서는 온도 0.6, 출력 최대 32,768토큰 조건에서 74.42점으로 비교 모델의 83.69점보다 낮았다. 회사도 지식 중심 작업에 단독 사용을 권하지 않으며, 검색이나 웹 검색을 결합하라고 안내한다.

코드 수정 평가인 SWE-Bench Verified는 OpenCode에서 온도 0.6, 출력 최대 32,768토큰으로 평가했다. 점수는 이 모델이 51.00, 비교 모델이 66.20이었다. 도구 호출의 강점이 코드 작업 전반의 우위를 뜻하지는 않는다.

5. 계산 절감과 배포 비용을 구분해야 한다

일부 파라미터만 활성화하는 이익은 토큰당 계산에 있고, 전체 가중치 저장 부담까지 사라지는 것은 아니다. 변환본 페이지의 4비트 파일 크기는 13.6GB와 14.5GB다. 추론까지 생성하는 모델이므로 답변 길이뿐 아니라 추론 부분도 살펴야 하며, 작업별 전체 생성량은 제시되지 않았다.

4비트 중 Q4_0 변환본은 양자화로 잃은 정확도를 회복하도록 학습한 QAD 체크포인트다. 이 파일 크기를 곧 실행에 필요한 메모리로 볼 수는 없으며, 문맥 길이별 총 메모리 요구량은 제시되지 않았다.

두 모델 카드의 라이선스 표기는 lfm1.0이다. 라이선스에는 연매출 1천만 달러 기준의 상업 이용 제한이 있고, 자격을 갖춘 비영리 조직의 비상업·연구 이용에는 해당 기준을 적용하지 않는다. 기업 배포는 다운로드 가능 여부와 별개로 이 조항을 확인해야 한다.

이 모델은 범용 지식 답변의 대체재보다, 기기 안에서 추론과 도구 실행을 결합할 때 우선 검토할 후보에 가깝다.