엔비디아 대항마 구글 TPU…"노벨상에도 기여, 추론·SW 강점"

엔비디아 아성 공략하는 구글 AI 칩 TPU
이전 보다 성능 4.7배↑'트릴리움'으로 시장 정조준
구글 PM "TPU 특장점은 추론과 SW"

▲구글의 6세대 TPU 트릴리움. (사진제공=구글클라우드)

구글이 6세대 탠서처리장치(Tensor Processing Unit, TPU)를 내세우며 인공지능(AI) 인프라 시장을 정조준하고 있다. 엔비디아가 장악한 AI 반도체 시장에서 거대언어모델(LLM) 특화 연산과 소프트웨어(SW) 결합을 강점으로 승부수를 띄웠다.

모한 피치카 구글클라우드 그룹 프로덕트 매니저는 16일 화상으로 한국 기자들과 만나 "구글 TPU의 장점은 하드웨어 인프라에서만 역량이 그치지 않고 소프트웨어 관련 부분들에서도 비롯된다"고 말했다.

TPU는 구글이 제작한 AI 특화 컴퓨팅 하드웨어다. 머신 러닝 등 AI에 기반이 되는 고유한 수학 연산을 위해 특별히 제작돼 학습이나 추론에 최적화되어 있다. 지난달 구글 클라우드는 자체 개발한 6세대 AI칩, 트릴리움 TPU(Trillium TPUs)을 정식 제공한다고 발표했다.

트릴리움은 이전 TPU보다 더 빠른 추론 속도와 효율을 자랑한다. '라마'나 'GPT' 같은 밀도 높은 LLM을 최대 4배 더 빠르게 훈련할 수 있다. 추론 처리량은 최대 3배 증가했고, 칩당 컴퓨팅 성능은 최대 4.7배 높아졌다.

모한 피치카 PM은 "GPU의 경우 컴퓨터 그래픽 전용으로 출발했기 때문에 대체로 병렬처리하게 되어있고 대량 데이터 처리하는 데 적합하다"면서 "TPU는 보다 전문화된 형태의 학습이나 추론 부분에 최적화되어 있다"고 말했다.

구글은 트릴리움 TPU를 검색 및 지도 등 여러 자사 서비스와 함께 생성형 AI 제미나이 2.0(Gemini 2.0)의 학습에도 활용했다. 지난해 노벨상을 받은 알파폴드 2(AlphaFold 2)에도 트릴리움 TPU가 활용됐다.

트릴리움은 에너지 효율도 높였다. 피치카 PM은 "구글은 전사적으로 환경친화적인 노력을 하고 있고 클라우드 인프라 노력도 여기 포함된다"면서 "1와트(W)당 성능 측면에서 개선해나가고 있어. 트릴리움은 이전 세대보다 에너지 효율성이 67% 향상됐다"고 부연했다.

"TPU, 수요 더 늘어날 것" 자신감 보인 구글클라우드

▲구글은 2015년 'TPU v1'을 시작으로 2024년 '트릴리움'까지 AI 전용 칩을 선보이고 있다. (사진제공=구글클라우드)

구글 TPU는 현재 엔비디아가 주도하고 있는 AI 인프라 시장에서 대항마로 주목받고 있다. 피치카 PM은 "이미 TPU가 고객 환경과 시장 차원에 있어서 의미 있는 영향을 끼치고 있다고 보고 있다"면서 "생성형 AI 수요가 높아지며 추론 관련 작업이 점점 중요해지고 있기 때문에 TPU 수요가 더 늘어날 것으로 생각한다"고 말했다.

주요 고객사로는 글로벌 제약회사인 '바이엘', 이미지 생성 AI '미드저니' 등이 있다. 국내에서는 카카오가 LLM 학습에 트릴리움을 활용했다. 카카오의 AI 브랜드 '카나나'의 LLM은 동일한 레이어를 계속 쌓아 프리 트레이닝을 하면서 적은 컴퓨팅 자원으로 모델 크기를 키우는 방식인데, TPU는 이에 필요한 성능을 자연스럽게 뽑아냈다.

피치카 PM은 구글이 제공하는 다양한 SW와의 결합 역시 경쟁사와 차별화된 강점이 될 거라고 꼽았다. 그는 "하드웨어 쪽과 소프트웨어 쪽에 이르기까지 모두 다 공동 디자인 공동 개발 작업을 진행해 나가는 프레임워크 안에서 이뤄지고 있기 때문에, 결국 성능이나 효율의 개선을 위해서 AI의 모든 영역을 다룬다"고 말했다.

구글클라우드는 이날 워크스페이스, 비즈니스 등 엔터프라이즈 요금제에 생성형 AI 기술을 포함해 제공한다고도 발표했다. 워크스페이스 비즈니스 및 엔터프라이즈 요금제를 사용하는 기업 고객은 부가 기능을 따로 구매하지 않아도 제미나이(Gemini), 노트북LM 플러스(NotebookLM Plus) 등의 AI 기능을 사용할 수 있다.