Higurashi AI가 11월 13일 듣기와 말하기를 동시에 하는 음성 대화 모델 Haru-4B의 가중치, 모델이 학습한 수치 정보와 실행 코드를 공개했다. 음성 서비스를 만드는 개발자는 웹 데모나 자체 프로그램에서 상대의 말에 맞장구를 치거나 겹쳐 말하는 대화를 시험하고, 말투와 목소리를 지정할 수 있다.
1. 차례를 기다리는 대신 듣기와 말하기를 동시에
한쪽의 말이 끝나야 다음 발화가 이어지는 순서형 대화와 달리, 이 모델은 전화 통화처럼 듣는 중에도 말하도록 설계됐다. 초당 7.5회, 약 133밀리초마다 사용자 음성을 받고 모델의 음성과 문장을 함께 만든다.
내부에서는 사용자 음성·모델 음성·모델 문장을 하나의 입력 위치에 합치며, 회사 발표 기준 세 흐름을 토큰 단위로 번갈아 배치하는 방식보다 컨텍스트 길이, 모델이 한 번에 참고하는 정보량을 3분의 1로 줄인다. 음성은 별도의 음성 생성용 트랜스포머, 문맥을 계산하는 신경망 구조 대신 작은 신경망이 매 프레임, 일정 시간 단위로 나눈 음성 조각마다 한 번의 생성 단계로 출력해, 연속으로 계산해야 하는 단계를 줄인다.
2. 실제 녹음으로 대화 리듬을 학습
회사 발표 기준 사전 학습, 본격 학습 전 자료를 익히는 과정에는 160개가 넘는 언어의 실제 음성 4천만 시간 이상을 사용했고, 한국어를 포함한 9개 언어에 중점을 뒀다. 언어 모델이 만든 대화와 합성 음성, 컴퓨터가 만들어 낸 인공 음성을 학습 자료에서 제외해, 실제 대화의 망설임과 맞장구, 겹쳐 말하기를 익히는 데 초점을 맞췄다.
학습은 단일 채널, 한 경로로 기록된 음성에 적응하는 단계와 동시 음성 대화 학습으로 나눴다. 회사 발표 기준 여러 사람의 말이 섞인 녹음을 시간 순서가 맞는 별도 음성 흐름으로 분리해 대화 자료 1,300만 시간 이상을 확보했고, 최대 60분 길이의 대화를 학습에 사용했다.
자연스러운 대화 타이밍을 익히는 이점의 대가는 대규모 자료 전처리, 학습 전 자료를 정리하는 작업과 계산 자원이다. 회사 발표 기준 사전 학습에 NVIDIA B200 256장을 약 8일 투입했다. 공개 가중치를 이용하면 개발자는 이 학습을 처음부터 수행하지 않고 음성 상호작용 실험을 시작할 수 있다.
3. 공개 가중치로 웹 데모와 로컬 앱 실행
가중치와 코드는 Apache License 2.0으로 공개됐다. 저장소에는 웹 데모를 포함한 PyTorch 구현과 애플 실리콘용 네이티브 앱, 기기에 맞춰 직접 실행되는 앱이 있다. GPU 서버에서 여러 대화를 처리하기 위한 vLLM-Omni 연동 플러그인도 제공한다.
웹 데모에는 메모리 약 12GB의 NVIDIA GPU가 필요하다. 브라우저의 마이크 접근을 위해 로컬 주소나 HTTPS로 접속하고, 모델이 사용할 목소리는 직접 준비한다. 기준 음성은 한 사람의 깨끗한 발화로 3초에서 3분 사이를 사용한다.
아래 예시는 저장소가 안내하는 파이썬 사용법이다. 기준 음성으로 목소리를 정하고 대화 세션을 시작한 뒤, 사용자 음성을 프레임별로 전달한다.
from haru import DuplexSession, HaruModel
from haru.audio import load_audio, prepare_reference
model = HaruModel.from_pretrained("higurashi-ai/Haru-4B")
voice = prepare_reference(load_audio("voice.wav"))
session = DuplexSession(model, system_prompt=card, reference=voice)
frame = session.start() # the model's first 133 ms: frame.audio, frame.text
while not frame.done:
frame = session.step(user_audio) # 3200 samples at 24 kHz in, 3200 out모델 카드는 연구용 기반 모델의 사실 응답 신뢰성과 일반적인 비서 수준의 지시 이행에 한계가 있다고 안내한다. 기준 음성은 사용할 권리가 있는 목소리로 준비해야 한다.
4. 맥북 지연은 음성 입출력을 포함해 약 65밀리초
회사 발표 기준 Apple M1 Max 맥북의 자체 Metal 커널을 적용한 네이티브 앱에서 종단 지연, 입력부터 출력까지 걸리는 시간의 중앙값은 65.2밀리초였다. int8 가중치와 유선 마이크·헤드폰을 사용했고, 소리를 프레임으로 모으는 시간은 제외한 측정이다.
표: Apple M1 Max에서 측정한 종단 지연
조건: Apple M1 Max 맥북, 자체 Metal 커널의 네이티브 Swift 앱, int8 가중치, 유선 마이크·헤드폰, 오디오 프레이밍 제외 (회사 발표 기준)
단위: ms
| 항목 | 지연 시간 |
|---|---|
| 입력 (마이크→앱) | 5.3 ± 0.0 |
| 모델 1스텝 | 34.2 ± 0.5 |
| 소켓 및 핸드오프 | 4.1 ± 0.3 |
| 출력 대기 (15 ms 여유 및 잔여 시간) | 13.3 ± 1.5 |
| 출력 (앱→헤드폰) | 8.1 ± 0.2 |
| 합계 (p50) | 65.2 ± 1.5 |
모델 계산은 개별 단계 중 지연이 가장 크지만, 입력·출력과 대기 시간도 전체 지연을 구성한다. 회사 발표 기준 소리를 프레임으로 모으는 데 최대 133밀리초가 추가돼, 실제 대화 반응을 설계할 때는 이 시간도 함께 고려해야 한다.
GPU 서버의 공개 수치는 종단 지연이 아닌 계산 구간을 다룬다. 회사 발표 기준 NVIDIA B300에서 음성 인코딩·디코딩과 언어 모델 한 단계에 약 15밀리초가 걸렸다. 맥북 측정이 로컬 음성 입출력을 보여 준다면, 이 수치는 서버에서 한 프레임을 처리하는 계산 시간을 보여 준다.
Haru-4B의 핵심은 공개된 코드와 실제 대화형 타이밍을 함께 제시해, 개발자가 음성 상호작용을 직접 시험할 기반을 마련한 데 있다.
