Speridlabs가 사진 한 장으로 돌려 볼 수 있는 3D 물체를 만드는 Idol의 가중치와 추론 코드를 공개했다. 개발자와 디자이너는 배경 제거부터 입체 생성까지 한 번에 처리하고, 결과를 표준 파일로 저장해 기존 뷰어에서 열 수 있다.
1. 한 장을 입력해 3D 자산으로
Idol은 렌더링 이미지와 생성 이미지, 실제 사진을 입력받아 보이지 않는 면까지 포함한 3D 가우시안 스플랫, 점 구름으로 입체를 나타내는 표현을 만든다. 작은 가우시안 요소를 모아 입체 물체를 표현하는 방식으로, 요소 수는 32,768개부터 1,048,576개까지 조절하며 기본값은 262,144개다.
결과 파일은 표준 3DGS .ply 형식이다. 명령줄로 실행하면 모델이 실제로 처리한 전처리 이미지와 입력의 추정 카메라, 이미지를 찍은 방향과 위치를 추산한 값도 함께 저장돼 결과 확인과 후속 처리를 할 수 있다.
가중치와 저장소의 라이선스는 Apache-2.0이다.
2. 입력 정리부터 생성까지 여러 처리 단계를 이어 수행하는 파이프라인
전처리에서는 BiRefNet이 배경을 지운다. 파이프라인은 입력 모드에 따라 물체 주변 여백을 조절한다. 사진 모드는 합성 이미지 모드보다 여백을 더 남긴다.
DINOv3와 FLUX.2 VAE는 입력 이미지를 생성의 단서로 바꾸는 인코더 역할을 맡는다.
이후 이미지 정보를 반영해 잡음을 줄이는 트랜스포머 모델인 DiT가 생성 단계를 맡는다. Euler 방식으로 기본 50회 반복 계산한다. 디코더는 생성된 모델 출력을 3D 가우시안 표현으로 풀어낸다.
3. 인코더 접근 승인 뒤 Python으로 실행
저장소는 Python 3.10 이상과 PyTorch 2.5 이상, CUDA를 지원하는 NVIDIA GPU를 요구한다.
DINOv3와 FLUX.2 VAE는 접근이 제한된 모델이므로 Hugging Face에서 각 이용 조건에 동의한 뒤 로그인해야 한다.
최초 실행 시 Idol 가중치 약 3 GB와 두 이미지 인코더가 캐시에 자동으로 내려받힌다.
Python에서 파이프라인을 호출하는 원문 예시는 다음과 같다.
from idol import IdolPipeline
pipeline = IdolPipeline.from_pretrained("speridlabs/idol")
output = pipeline("photo.jpg", mode="real", seed=42, num_gaussians=1_048_576)
output.gaussian.save_ply("photo.ply")
output.preprocessed_image.save("photo_input.png")4. 같은 생성 설정에서도 GPU에 따라 달라지는 시간
저장소는 기존 단일 이미지 3D 생성 모델인 TripoSplat을 기반으로 삼았다고 설명한다. 회사 벤치마크 기준, H100 한 대에서 50스텝과 가우시안 262,144개 설정으로 생성했을 때 Idol의 요청 시간은 6.8초, TripoSplat은 9.9초로 Idol이 약 31% 짧았다. 입력 시점과 새 시점 일곱 곳의 평균 평가 지표도 Idol 쪽이 더 좋았다. 새 시점의 DINOv2 평균 점수는 Idol 0.781, TripoSplat 0.743으로, 높을수록 좋은 이 지표에서도 Idol이 앞섰다.
아래 GPU별 시간은 회사 발표 기준으로 50스텝, 이미지 한 장에서 가우시안 262,144개를 생성한 결과다. GPU마다 같은 코드와 설정을 사용하고 8개 이미지의 중앙값을 제시했다.
표: GPU별 Idol 생성 시간
조건: 50스텝, 이미지 1장에서 가우시안 262,144개 생성, 같은 코드와 설정, GPU별 8개 이미지 중앙값, 기기당 GPU 한 대
단위: 메모리(GB), 요청 시간(초)
| GPU | 메모리 | 요청 시간 |
|---|---|---|
| B300 | 269 | 3.4 |
| B200 | 179 | 3.6 |
| H200 | 140 | 6.6 |
| H100 | 80 | 6.7 |
| RTX 5090 | 32 | 14.1 |
| A100 | 80 | 16.3 |
| L40S | 45 | 16.6 |
| RTX 4090 | 24 | 19.1 |
| RTX 3080 | 10 | 46.2 |
| L4 | 22 | 54.6 |
표의 RTX 4090처럼 소비자용 GPU에서도 실행할 수 있어, 개발자는 보유 장비의 처리 시간에 맞춰 작업 흐름을 설계할 수 있다.
모델 카드, 모델 정보와 사용 조건을 모은 안내문은 회사 발표 기준 메모리 사용량 7.2 GB와 2초 미만 실행도 제시하지만, 해당 속도의 측정 GPU와 설정은 함께 적혀 있지 않다.
5. 촬영 부담을 줄이는 대신 저장량과 생성 스텝 조절
단일 이미지 입력과 표준 파일 출력은 여러 각도의 촬영이나 별도 형식 변환 부담을 줄인다. 대신 가우시안 수를 늘리면 저장 부담도 커진다.
회사 프로젝트 페이지의 파일 크기 표시 기준으로 가우시안 32,768개는 0.4 MB, 262,144개는 3.2 MB, 1,048,576개는 12.2 MB다.
생성 스텝을 줄이면 더 빨라지지만 세부 표현이 줄어든다는 것이 저장소의 설명이다. 속도를 조절할 때는 처리 시간과 함께 필요한 세부 표현 수준을 정하는 편이 좋다.
Idol의 핵심은 이미지 한 장에서 전처리와 3D 생성, 표준 파일 출력을 한 경로로 묶어 3D 자산 제작의 진입 절차를 줄인 데 있다.