Google TPU 8tx·8i Max: 기밀 추론, 대형 문맥 처리

1. 두 시스템을 더해 네 가지 선택지

구글은 11월 9일 발표에서 4월 공개한 학습용 TPU 8t와 실시간 추론용 TPU 8i에 이어 두 시스템을 추가했다. 회사는 한 해에 TPU 시스템 네 개를 선보인 것은 처음이라고 밝혔다. 새 칩을 각각 설계하기보다 기존 칩에 보안·메모리·네트워크 구성을 달리 붙여 용도를 넓혔다.

8세대 제품군의 일부 성능 비교는 구글이 공개한 규격표에 담겼다. 아래 수치는 2025년 세대 아이언우드와 2026년 세대 TPU 8t를 팟, 여러 칩을 한데 묶은 시스템 단위로 비교하며, 연산량은 FP4(4비트 부동소수점 연산) 기준이다.

표: TPU 8t와 아이언우드 규격

조건: 구글의 학습용 시스템 규격 비교. 아이언우드(2025)와 TPU 8t(2026)의 팟 구성 기준이며, 연산량은 FP4, 대역폭은 칩당 수치다.

표 수치로 계산하면 팟당 칩 수는 약 4.2% 늘지만, FP4 연산량은 약 2.85배, 칩당 양방향 확장 대역폭은 2배, 확장형 네트워크 대역폭은 4배다. 칩 수 확대보다 연산량과 통신 대역폭 강화에 무게를 둔 구성이다. 회사 발표 기준으로 8t의 팟당 연산 성능은 전 세대보다 거의 3배다.

차트: 아이언우드 대비 TPU 8t의 규격 배수 조건: 위 표의 TPU 8t 수치를 각 항목의 아이언우드 수치로 나눴다. 소수 배수는 반올림한 근삿값이며, 막대 길이는 배수에 비례한다. 단위: 아이언우드의 각 항목 = 1

아이언우드 각 항목 기준          ████             1
TPU 8t 팟당 칩 수               ████▏            약 1.04
TPU 8t 팟당 FP4 연산량          ███████████▍     약 2.85
TPU 8t 칩당 양방향 확장 대역폭   ████████         2
TPU 8t 칩당 확장형 네트워크 대역폭 ████████████████ 4

구글은 별도로 11월 발표에서 전 세대 대비 8t의 학습 성능이 최대 2.7배이며, 8i의 추론 가격 대비 성능은 80% 높아졌다고 밝혔다. 학습 처리 능력과 추론의 비용 효율을 각각 겨냥한 개선이다.

2. 8tx는 처리 중인 데이터까지 하드웨어로 보호

저장하거나 네트워크로 전송하는 데이터와 달리, 처리 중인 데이터는 메모리에서 풀려야 한다. 8tx는 이 처리 구간에도 민감한 데이터와 모델 가중치를 하드웨어 계층에서 보호하고 격리하도록 설계됐다. 구글은 규제 산업의 기업과 정부, 독점 모델이나 자율 에이전트를 민감한 데이터와 함께 운영하는 이용자를 대상으로 제시했다.

기반은 학습용 시스템과 같은 실리콘이며, 호스트는 5세대 AMD EPYC를 쓴다. 여기에 실시간 추론용으로 개발한 저지연 Boardfly 네트워크를 결합했다.

회사 발표 기준으로 8tx는 8t보다 지연이 최대 2배 낮고 보안에 따른 성능 저하는 거의 없다. 학습급 연산과 빠른 추론 네트워크를 함께 둬 작은 규모의 학습에도 적합하다는 설명이다.

구글은 사내 데이터를 다른 클러스터로 옮기지 않고 모델 미세 조정(특정 작업에 맞춘 추가 학습), 증류(큰 모델의 지식을 작은 모델에 옮기는 학습), 강화학습(행동 결과에 보상을 반영하는 학습)을 수행할 수 있다고 설명했다. 민감한 데이터의 이동을 줄이면서 모델 운영과 맞춤 학습을 한 시스템에서 이어가는 방식이다.

3. 8i Max는 메모리 병목과 랙 밀도에 대응

여러 에이전트가 코드 전체나 장시간 영상처럼 긴 입력을 다룰수록 연산기에 데이터를 공급하는 속도가 병목이 될 수 있다. 8i Max는 저지연 8i 칩 두 개를 한 패키지에 결합해 연산과 메모리를 함께 늘렸다.

표: 기본 TPU 8i 대비 TPU 8i Max의 구성 확대

조건: 구글 발표 기준. TPU 8i 칩 두 개를 한 패키지에 결합한 TPU 8i Max와 기본 TPU 8i의 규격 비교다.

단위: 기본 TPU 8i 대비 배수

회사 발표 기준으로 세 항목이 함께 두 배가 된다. 연산 능력만 늘리는 대신 필요한 데이터를 가까이 두고 빠르게 공급해 긴 문맥을 처리할 때의 대기를 줄이려는 설계다.

기본 8i는 288GB 고대역폭 메모리와 칩 내부의 빠른 작업 메모리인 SRAM 384MB를 갖춘다. 구글에 따르면 SRAM 용량은 전 세대의 3배다.

구글은 Boardfly가 칩 간 통신에서 거치는 최대 단계를 50% 넘게 줄이며, 여러 칩의 데이터를 모으거나 나누는 통신 작업인 집합 연산을 가속하는 칩 내부 엔진은 온칩 지연을 최대 5배 낮춘다고 밝혔다. 여러 칩이 데이터를 주고받으며 기다리는 시간을 줄이는 데 초점을 맞췄다.

4. 소프트웨어로 진입 장벽과 유휴 비용을 낮춘다

구글은 소프트웨어 지원 발표에서 PyTorch 코드를 다시 작성하지 않고 TPU에서 실행할 수 있도록 TorchTPU를 오픈소스로 공개했다고 밝혔다. 기존 개발 방식을 유지하면서 가속기를 바꿀 수 있도록 진입 장벽을 낮추는 조치다.

Agent Compute Engine은 에이전트가 외부 도구나 사람의 응답을 기다리는 동안 세션을 멈추고 작업 메모리를 칩 밖으로 옮긴다. 연산하지 않는 시간에 자원이 묶이는 비용을 줄이는 기능이다.

TPU Sync는 칩·호스트 메모리와 공유 저장장치, 네트워크를 하나의 메모리 계층으로 다룬다. 구글은 앞서 처리한 문맥의 계산 결과를 보관하는 메모리인 대형 키-값 캐시의 이동과 강화학습 가중치 동기화를 지원해 캐시 전송 지연과 첫 토큰까지의 시간을 90% 넘게 줄였다고 발표했다.

구글 클라우드의 쿠버네티스 관리 서비스인 GKE의 동적 분할, 작업 규모에 맞게 자원 묶음을 나누는 기능은 작업에 맞춰 TPU 묶음을 크게 합치거나 작게 나눈다. 회사 발표 기준으로 작업 시작은 최대 5배, 장애 복구는 최대 4.5배 빨라졌다.

이익과 대가는 시스템 구성에 함께 담겼다. 8i Max는 같은 랙 면적에서 더 많은 연산을 제공하지만, 그 밀도는 실리콘을 두 배로 배치해 얻는다. 메모리 대역폭과 데이터 이동 관리까지 함께 확장해야 연산 자원이 기다리는 시간을 줄일 수 있다는 것이 이번 설계의 핵심이다.

8세대 TPU 확장은 칩 성능 경쟁을 넘어 보안과 문맥 규모에 맞춰 데이터센터 시스템을 고르는 방향으로 이어진다.