Google lança ferramenta para migrar aplicativos de IA para chips TPU
A Google tornou open source o TorchTPU, que permite rodar cargas PyTorch existentes em TPUs com mudanças mínimas de código.
Pontos principais
- A Google publica o TorchTPU no GitHub sob licença Apache 2.0, com versão 0.2.0 no PyPI que exige Python 3.11 ou superior.
- Segundo a Google, cargas PyTorch existentes rodam com mudanças mínimas de código, com depuração em modo eager e produção via torch.compile.
- A Google reporta até 52% de MFU (utilização de FLOPs do modelo) no treino do Qwen 3 8B, com escala quase linear até 8.192 TPUs Ironwood.
- O cliente Zenteiq relatou mais de 4× de throughput de inferência com llm-d no GKE, medido pela própria empresa. A capacidade diária de geração subiu de 1,47 bilhão para 5,97 bilhões de tokens em 1.000 TPUs v6e.
- Segundo a Google, no Transformers v5 da Hugging Face basta passar device_map “tpu” para rodar em TPU; os backends de vLLM e SGLang mantêm workers, schedulers e servidores de API do projeto original.
- Estão em preview o TPU agent suite, de apoio a onboarding e diagnóstico, e a integração com VeRL, que inclui uma receita de GRPO para raciocínio matemático.
A Google anunciou na PyTorch Conference 2026 que o TorchTPU, seu stack nativo de PyTorch para TPUs, passa a ser open source. O projeto foi desenvolvido em conjunto com a equipe de PyTorch da Meta, e a empresa diz que as TPUs passam a se juntar às GPUs e às CPUs como opção nativa para o framework. A LiteRT, antiga TensorFlow Lite, também passa a integrar o ecossistema PyTorch, com conversão de modelos para Android, iOS, web e dispositivos IoT.
Na inferência, o llm-d 1.0 roda em GPUs ou TPUs atrás de um mesmo endpoint no GKE. O projeto está na CNCF Sandbox e foi desenvolvido com Red Hat, IBM e uma comunidade de mais de 500 colaboradores. No treinamento, o TorchTitan, implementação de referência em PyTorch, foi validado com até 8.000 TPUs Ironwood.
Ainda há lacunas. O GitHub não traz matriz de compatibilidade entre hardware TPU e versões do torch, e a seção de dependências do projeto está marcada como a definir.
Fontes primárias
TorchTPU is now open source: Run native PyTorch on TPUs
Anúncio feito na PyTorch Conference 2026 (assinado por Mark Lohmeyer e Bill Jia): o TorchTPU, "stack nativo de PyTorch para TPUs" do Google, passa a ser open source no GitHub, e "TPUs se juntam a GPUs e CPUs como opção nativa para PyTorch". Desenvolvido em conjunto com a equipe de PyTorch da Meta, promete rodar cargas PyTorch existentes "com mudanças mínimas de código", com depuração em modo eager e produção via torch.compile. Integrações citadas: backends para vLLM e SGLang (que preservam workers, schedulers e API servers), llm-d 1.0, TorchTitan (validado com até 8.000 TPUs Ironwood), Ray, TorchRec, Hugging Face (Transformers v5, com device_map="tpu") e LiteRT-Torch; TPU agent suite em preview e recipe GRPO para VeRL em preview. Números reportados pela própria Google: até 52% de MFU em Qwen 3 8B, com escala quase linear até 8.192 TPUs Ironwood, sem baseline citado; caso do cliente Zenteiq, com mais de 4× de throughput de inferência via llm-d no GKE, medido pelo cliente. O texto não traz licença nem passos de instalação; remete à documentação em cloud.google.com/tpu/docs/pytorch-on-tpu.
google-pytorch/torch_tpu (repositório TorchTPU)
Repositório do TorchTPU, descrito no README como "PyTorch backend for Google's Tensor Processing Units (TPUs)", com kernels ATen customizados, cache de compilação, suporte a treinamento distribuído e integração com torch.compile(). Licença Apache 2.0. Versão pública mais recente: 0.2.0 no PyPI (pip install torch_tpu==0.2.0). Requer Python 3.11+. O README não mostra alteração de código para rodar um modelo em TPU; aponta para o guia de usuário em torchtpu.readthedocs.io. A seção de dependências está marcada como "TBD".
Cobertura da mídia
@SemiAnalysis_: TorchTPU shows Google finally embracing open-source and offer serious support. As our InferenceX shown recently, Google engineers and external companies have demonstrated great TCO…
x.com • 20 out, 16:02
Google launches TorchTPU, an open-source version of PyTorch to let AI apps run on TPUs and Google Cloud via simple configuration changes without rewriting code (Julie Bort/TechCrunch)
Techmeme • 20 out, 16:00
Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers
TechCrunch • 20 out, 15:38