llama-swap v271: 실시간 라우팅, 문서 MCP 도구

1. 웹소켓, 양방향 데이터 통신 방식의 연결 뒤에 모델을 골라 라우팅

이번 변경은 OpenAI가 안내한 실시간 API 연결 방식으로 접속하면서 모델 이름을 미리 지정하지 않는 클라이언트에 초점을 맞췄다. 이전에는 이런 요청이 웹소켓으로 전환되기 전 404 오류를 만났으며, v271은 llama-swap이 연결 절차를 먼저 마친 뒤 모델이 정해지면 요청을 전달하도록 바꿨다.

클라이언트가 음성을 글로 옮기려는 의도로 연결하면 서버는 session.update에서 모델이 지정될 때까지 앞서 들어온 이벤트를 잠시 보관한다. 여기서 session.model을 먼저 확인하고, 없으면 전사 모델, 음성을 글로 바꾸는 모델 키에서 대상을 찾아 대기한 이벤트를 기존 라우팅 경로로 전달한다.

접수부터 해 두고 담당 모델이 정해지면 쌓인 요청을 넘기는 방식이다. 처리에 실패하면 OpenAI 형식의 오류 이벤트로 알린다.

2. 문서와 선택적 소스 코드를 MCP 도구로 제공

v271은 llama-swap 문서를 MCP 도구로 내보내는 docbot 패키지도 추가했다. MCP는 AI 응용 프로그램이 외부 기능을 도구처럼 요청하는 연결 방식이다. 도움말 에이전트를 만드는 개발자는 문서 제공 기능을 별도 패키지로 가져와 HTTP 경로에 연결할 수 있고, 소스 코드 제공 여부도 선택할 수 있다.

패키지에는 상태를 저장하지 않는 MCP 처리부가 포함되고, SystemPrompt()와 Tools() 도우미로 시스템 안내문과 도구 목록을 제공한다. 개발자는 응용 프로그램의 HTTP 경로에 문서 도구를 붙이는 방식으로 이 기능을 활용할 수 있다.

릴리스 노트는 이 패키지가 llama-swap.ai 도움말 에이전트의 선행 작업이며, 해당 사이트의 도움말 MCP 접속 지점을 담았다고 설명한다. 문서 기반 에이전트에 필요한 연결 기능을 가져다 쓰도록 묶은 셈이다.

3. 공개된 학습 자료와 평가 수치

도움말 에이전트용 작은 모델을 미세 조정, 추가 학습으로 모델 동작을 다듬은 기록도 포함됐다. 학습 스크립트와 대화 자료, 실행 메모가 공개됐으며, 향후 도움말 모델의 학습 과정을 구성할 때 참고할 자료로 제시됐다.

프로젝트 릴리스 노트에 따르면 LFM3-1.7B 기반 lfm3-v2 Q4_K_M은 문제당 60초 제한 평가에서 학습 사례 점수 95.5%, 학습에 쓰지 않고 따로 남겨 둔 홀드아웃 사례 점수 96.1%를 기록했다. 학습에 사용한 질문뿐 아니라 별도로 남긴 질문에서도 얻은 결과를 함께 제시한 것이다.

별도 문서 에이전트 평가에는 학습 사례 66개와 홀드아웃 사례 29개를 더하고, 잘못된 검증 항목 네 개를 수정했다. 프로젝트 릴리스 노트는 문서와 평가를 함께 손보면서 gemma-4-12B-r9700의 학습 점수가 96.0%에서 97.3%로 올랐다고 밝혔다.

문서 도구 get_doc의 기본 출력 한도도 250줄에서 400줄로 늘었다. 릴리스 노트는 kubeswap의 그래픽 처리 장치 예산 설정 예시가 잘리는 문제를 이유로 들었다. 문서 페이지가 답을 담은 안내 문서를 가리키도록 연결도 정리했다.

공개된 학습 자료에 가중치, 모델이 학습한 수치 정보는 포함되지 않았으며, 두 모델의 점수는 평가 조건이 같다고 제시되지 않아 직접 순위를 매길 수 없다.

4. 개발자와 사용자에게 달라지는 점

문서 도구의 이익과 비용은 함께 움직인다. 기본 출력이 늘면 이전에 잘리던 예시를 더 온전히 전달할 수 있지만, 호출하는 쪽이 한 번에 받아 처리할 문서량도 늘어난다. 도움말 시스템을 구성할 때는 필요한 범위에 맞게 결과를 다루는 작업이 뒤따른다.

도움말 시스템을 직접 구성하는 쪽은 문서를 도구로 연결하는 기능과 모델 학습 참고자료를 함께 활용할 수 있다. 문서 제공 부분은 패키지로 가져다 쓰고, 자체 도움말 모델을 조정하려면 공개된 대화 기록과 실행 메모를 참고하는 식이다.

v271의 핵심은 세션이 정한 모델로 실시간 요청을 넘기고, 문서를 재사용 가능한 AI 도구로 제공하는 두 가지 확장이다.