dgem v0.4.0: 확률 기반 판단, 요청 인증 강화

1. 문장을 생성하는 대신 선택지별 확률을 읽는다

dgem은 DiffusionGemma를 자유 문장 생성기가 아니라 결정 엔진, 선택지별 답을 고르는 처리기로 활용한다. 개발자가 논리값, 선택지, 점수형 질문을 판단 규칙을 담은 양식인 정책 템플릿으로 정의하면 여러 질문을 한 번의 모델 계산으로 읽고 각 답의 확률을 얻는다. 답변 문장을 다시 해석하는 단계를 줄여 자동 처리에 활용하기 쉬운 형태다.

각 답에는 확률이 여러 선택지에 얼마나 퍼져 있는지를 나타내는 엔트로피 기반의 망설임 점수가 따라온다. 점수가 낮으면 바로 처리하고 높으면 더 큰 모델이나 사람에게 넘기는 방식이다. 기본 후속 모델은 Gemini 3.8 Flash다.

저장소는 새 분류에 맞춰 재학습하는 분류기, 입력을 정해진 부류로 나누는 도구와 달리 정책 템플릿을 수정해 판단 내용을 바꿀 수 있다고 설명한다. 자유롭게 문장을 생성하는 모델과 비교하면, 허용된 답의 확률을 직접 읽어 후속 처리에 쓰는 데 초점이 있다.

2. 많은 후보를 추리고 사전 정보를 결합한다

이번 버전은 선택지가 26개를 넘는 질문을 다루는 경로를 추가했다. 한 번의 모델 계산에서 상위 후보와 나머지를 묶은 항목을 읽는 방식이다. 전체 선택지로 확률을 되돌릴 때도 후보군에서 구한 정규화된, 선택지 수 차이를 보정한 불확실성 점수를 유지한다. 사전 확률, 판단 전에 참고하는 가능성 값 정보가 없으면 후보를 나눠 겨루는 두 단계 방식으로 처리한다.

사전 확률은 모델 판단에 다른 신호를 보태는 데 쓴다. 두 정보의 결합 시점과 영향력을 설정할 수 있다.

실험 기능으로는 한 번에 최대 52개 선택지를 읽는 라벨 집합, 답 선택지에 붙인 이름의 모음도 제공하며, 기본 라벨 집합은 기존처럼 26개다.

3. 요청 인증과 이미지 수집 경로를 강화했다

운영자는 요청을 중계하는 게이트웨이에 구글의 접근 제어 서비스인 IAP 인증이나 API 키 인증을 설정할 수 있다. 게이트웨이는 클라이언트가 보낸 신원 헤더, 요청자 정보를 담은 요청 항목 대신 검증한 인증 정보에서 호출자를 확인한다.

모델을 실행하는 서빙 이미지, 실행 환경을 담아 배포하는 파일에는 선택형 서비스 키를 둘 수 있다. 설정하면 POST 요청에 일치하는 키 헤더가 필요하며, 상태 확인용 경로는 키 없이도 열려 있다.

이미지 주소 처리는 게이트웨이가 맡고, 서빙 이미지는 기본적으로 웹 주소의 이미지 입력을 거절한다. 모델 서버가 외부 네트워크에 접근할 수 있는 환경에서 내부 주소로의 우회 요청 위험을 줄이기 위한 변경이다.

오디오와 비디오 입력은 서빙 이미지와 게이트웨이에서 거절하며, 비디오는 이미지 프레임으로, 오디오는 전사문으로 전달하도록 안내한다.

4. 요청 거절과 서버 장애를 다르게 처리한다

모델 서버가 요청을 거절하면 게이트웨이는 이를 서버 오류로 뭉뚱그리지 않고 거절 응답으로 전달한다. 모델 서버가 거절한 판단 요청에는 502 대신 422를 반환하고 재시도하지 않으며, 실제 서버에 연결할 수 없을 때는 502를 유지한다.

요청 형식을 바꾸는 어댑터, 서로 다른 형식을 이어 주는 연결부는 점수형 질문도 다른 질문과 함께 최대 8개씩 처리한다. 선택지가 하나뿐인 질문은 모델 호출 없이 답한다.

기존 배포와 새 배포를 비교하는 평가 도구에는 서버 처리 시간 지표, 성능을 수치로 나타낸 값이 추가됐다. 전체 경과 시간과 함께 요청의 90·95·99%가 각각 처리되는 데 걸린 시간을 볼 수 있어, 서버 안팎의 지연을 살필 수 있다.

게이트웨이의 요청·응답 본문 기록은 기본 꺼짐이다. 호출자와 종료 시점을 지정해 선택적으로 켤 수 있어, 필요한 범위와 기간을 정해 문제를 추적할 수 있다.

5. 추가 검토 비율과 배포 준비가 도입의 관건이다

망설임 점수에 따른 2단계 전달 방식에는 선택지 수에 따른 차이를 보정하는 정규화 기준도 추가됐다. 기존 기본값은 밑이 e인 로그를 쓰는 자연 로그 단위 기준 0.35이고, 정규화 기준은 0.16이다. 회사 발표 기준 341건의 시험 구성에서 정규화 방식은 판단의 31%를 다음 단계로 넘겼고, 기존 기준은 22%였다. 두 값은 같은 운영 지점이 아니므로 실제 트래픽에 맞춰 기준을 조정해야 한다.

기능 확장으로 얻는 것은 자동 처리와 추가 검토를 나누는 제어력이다. 더 많은 판단을 후속 모델이나 사람에게 넘기는 설정은 그쪽의 처리 부담을 늘린다. 운영자는 실제 데이터로 기준을 조정하고, 선택한 인증 방식에 맞춰 키와 배포 환경도 구성해야 한다.

기능은 명령줄 도구, 글자로 명령을 입력해 쓰는 프로그램, HTTP 게이트웨이, 외부 도구 연동용 MCP 서버와 브라우저 화면에서 쓸 수 있다. 사전 빌드된 서빙 이미지는 아직 제공되지 않아 자신의 Google Cloud 프로젝트에서 직접 빌드한다.

아래는 저장소가 제시한 명령줄 도구 빌드 예시다. 이번 릴리스의 버전 표기를 얻으려면 빌드 전에 v0.4.0 태그를 체크아웃해야 한다.

# Clone the repository
git clone https://github.com/GoogleCloudPlatform/dgem.git
cd dgem

# Compile dgem binary into bin/
make build

dgem v0.4.0은 답별 확률을 실제 운영 흐름으로 연결하는 기능과 그 흐름을 보호하는 인증·오류 제어를 함께 공개했으며, 효과를 얻으려면 배포와 판단 기준을 각 환경에 맞춰야 한다.