Inference 101: SambaNova CEO Rodrigo Liang

Contexto

Rodrigo Liang, CEO e cofundador da SambaNova Systems, discute a evolução da infraestrutura de semicondutores para IA, com foco na transição do treinamento para a inferência em larga escala. A SambaNova recentemente captou US$ 1 bilhão em uma rodada de financiamento, atingindo uma avaliação de US$ 11 bilhões.

Pontos Principais

• O Desafio da Inferência: Liang argumenta que a inferência exigirá ordens de magnitude mais chips do que o treinamento. Enquanto o treinamento é um processo concentrado, a inferência precisa ser distribuída e eficiente para atender milhões de usuários simultaneamente.
• Eficiência de Hardware: A SambaNova foca em "inferência premium". O chip SN40 permite rodar modelos de um trilhão de parâmetros em um único rack de 10kW resfriado a ar, superando a necessidade de dezenas de racks de GPUs tradicionais que consomem mais de 130kW.
• Latência e Agentes: Com o surgimento de agentes de IA, a latência tornou-se crítica. Se 20 agentes precisarem interagir para uma tarefa, o tempo de resposta total deve ser inferior a um segundo, exigindo que o hardware esteja fisicamente próximo aos usuários em centros urbanos.
• Coopetição: Liang defende a integração com infraestruturas existentes (Nvidia, AMD, CPUs). A estratégia da SambaNova não é construir sua própria nuvem, mas fornecer racks que otimizem o custo-benefício de data centers existentes, permitindo que provedores roteiem tráfego de inferência de forma mais lucrativa.
• Soberania e On-Premise: Há um movimento claro de empresas e governos retornando ao on-premise (infraestrutura própria) por questões de privacidade de dados e soberania nacional, evitando que informações proprietárias sejam usadas no treinamento de modelos globais.
• Citações:
  • "A inferência é a próxima evolução da computação e para onde tudo está indo com a IA."
  • "Não se trata de maximizar o uso de tokens, o objetivo é maximizar os serviços que você oferece."
  • "Se você começar na última posição versus a pole position, é difícil recuperar o atraso em uma corrida onde todos estão correndo muito rápido."

Implicações

• Diferenciação via IA: Empresas devem parar de focar apenas em reduzir custos com IA e começar a usar a tecnologia para criar serviços inéditos que gerem novas receitas, sob risco de perderem competitividade.
• Escalabilidade: O sucesso na era da IA dependerá da capacidade de escalar serviços de forma eficiente. A escassez de energia e espaço em data centers favorece soluções que entregam alta performance em pegadas menores (como racks de 10kW).
• Mudança de Paradigma: O mercado está se afastando da ideia de "tokenmaxxing" (gastar o máximo possível em tokens) para uma abordagem mais sistemática de ROI, onde a precisão e a velocidade do modelo justificam o investimento.