구글 딥마인드가 사용자가 움직이고 문장으로 바꾸는 장면을 실시간으로 이어 만드는 세계 시뮬레이션 모델 Genie 4를 선보였다. 소리와 대화까지 한 세계 안에서 생성해, 창작자와 개발자는 장면을 탐색하거나 아이디어를 상호작용 가능한 시뮬레이션으로 시험할 수 있다. 현재는 신뢰 테스터를 대상으로 한 연구 미리보기 단계다.

1. 장면과 소리, 대화를 함께 만드는 세계

Genie 4는 화면을 만드는 데 그치지 않고 환경음과 인물의 말을 장면과 동시에 생성한다. 숲의 바람이나 해변의 파도처럼 장소에 어울리는 소리를 더하고, 캐릭터는 사용자의 입력이나 세계 안의 사건에 반응해 대화를 이어간다. 구글 딥마인드는 이를 실시간으로 소리를 기본 생성하는 세계 모델이라고 소개했다.

사용자는 표준 키보드로 이동과 카메라를 조작하고, 문장으로 장면의 변화를 지시한다. 날씨를 바꾸거나 새로운 사람과 물체를 등장시킬 수 있으며, 입력 사이에도 장면이 계속 이어지도록 모델이 흐름을 조정한다. 공개된 프롬프트 예시는 다음과 같다.

Prompt: A macro close up of a maple seed falling from the tree into the grass

구글 딥마인드에 따르면 Gemini Omni은 실제 세계의 외관과 행동을 시뮬레이션의 기준으로 삼고, 다른 Gemini 모델은 장면의 일관성과 연속성을 유지하는 추론을 보탠다. 회사가 내세운 기능은 실시간 조작, 물리와 사람 움직임의 사실감, 소리와 대화, 여러 단계로 이어지는 사건 시뮬레이션이다.

2. 물리와 사람 움직임을 실시간으로 조종

모델은 공기역학, 공기의 흐름과 힘을 다루는 분야와 충돌 같은 물리 상황을 다루고, 환경에 반응하는 사람의 자연스러운 움직임을 구현한다고 회사는 설명했다. 사용자는 장면을 보면서 카메라를 옮기거나 인물과 물체를 추가할 수 있다. 공개 예시에는 1980년대 일본의 붐비는 기차역과 나무에서 떨어지는 단풍나무 씨앗이 포함됐다.

복잡한 목표를 다루는 데에는 Gemini 모델이 조종 에이전트, 목표를 대신 수행하는 소프트웨어로 참여한다. 회사 설명에 따르면 Gemini 3.8 Flash는 생성 중인 장면을 관찰하고 목표를 단계로 나눈 뒤, 들어오는 화면을 살펴 각 단계의 진행을 확인한다. 사용자가 개입하거나 세계가 바뀌면 계획도 실시간으로 고친다.

로봇 관련 실험에서는 Gemini 4 Argon이 사용자의 작업 지시를 단계별로 나누고, 이를 텍스트 설명으로 Genie 4에 전달한다. 구글 딥마인드는 Apptronik의 Apollo 휴머노이드, 사람과 비슷한 형태의 로봇이 체커를 두는 시뮬레이션을 사례로 제시했다. 이는 로봇과 에이전트가 현실에 적용하기 전 여러 상황을 연습할 환경을 만드는 방향과 맞닿아 있다.

3. 창작과 개발의 초기 시도를 빠르게

신뢰 테스터에는 창작, 언론, 교육, 게임, 엔지니어링 분야 참여자가 포함됐다. 영화 제작자는 장면의 카메라 각도와 조명, 대사, 동작을 바꾸며 여러 시도를 할 수 있고, 사진 기자들은 기록 사진을 환경 시뮬레이션으로 확장하는 방식을 시험하고 있다. 게임 개발자는 엔진 코드, 게임 작동의 기반을 이루는 프로그램을 작성하기 전에 아이디어를 탐색 가능한 시제품으로 만들고, 기업 파트너는 시나리오 생성에 활용할 가능성을 살펴본다.

이 방식의 이점은 장면을 만들고 수정하는 반복을 줄여 아이디어를 경험 가능한 시뮬레이션으로 옮길 수 있다는 점이다. 반면 시뮬레이션이 길어지거나 프롬프트를 복잡하게 여러 번 고치면 시각적 세부와 물체의 지속성이 달라질 수 있다. 복잡한 물리 상호작용과 실시간 오디오 정확도, 읽을 수 있는 글자, 공간 정확도, 위치와 거리 표현의 정밀함과 장기 일관성, 시간이 지나도 장면이 유지되는 정도는 여전히 연구 중이다.

4. 신뢰 테스터부터 시작하는 미리보기

구글 딥마인드는 Genie 4를 신뢰 테스터 대상 연구 미리보기로 공개했으며, 소비자와 개발자에게 넓히기 전에 의견을 모을 계획이다. 다음 접근 대상은 Project Genie의 Google AI Ultra 구독자와 Gemini API 및 Google AI Studio의 초기 접근 파트너로 안내했다. Project Genie 대기 명단도 운영한다.

회사는 사전 내부 안전 평가와 안전 정책에 맞춘 보호 장치를 적용했다고 밝혔다. 생성되는 모든 영상과 오디오에는 AI 생성 콘텐츠의 식별을 돕는 SynthID 워터마크, 콘텐츠 출처 확인을 돕는 식별 표시를 넣는다. 향후 방향으로는 언어 모델과 코드의 논리적 추론에 픽셀 단위 시뮬레이션의 감각적 표현을 결합하는 하이브리드 세계 모델, 언어·코드 추론과 감각 표현을 결합한 모델을 제시했다.

Genie 4의 핵심 가치는 화면과 소리, 상호작용을 한 번에 시험할 수 있게 한 데 있으며, 장시간 시뮬레이션의 일관성을 높이는 일이 다음 과제다.