Modal CEO: Has Open-Source LLM Inference Peaked? | What Happens to the Cost of Compute

Erik Bernhardsson é cofundador e CEO da Modal, plataforma de infraestrutura em nuvem para treinamento, inferência e agentes de inteligência artificial. Engenheiro de formação que anteriormente construiu o sistema de recomendação original do Spotify, Bernhardsson liderou a Modal na captação de mais de US$ 1,2 bilhão — incluindo uma Série D recente de US$ 750 milhões liderada pela Accel, que avaliou a companhia em US$ 15,75 bilhões. A empresa superou US$ 1 bilhão em receita anual recorrente (ARR), impulsionada pela explosão da demanda de computação para IA.

Origens, Mentalidade Empreendedora e Captação de Recursos

Início na programação: Bernhardsson começou a programar aos oito anos em 1992 em um Mac Plus de 1 MB de RAM. Fez competições de programação aos 16–17 anos e fundou a Modal com 36–37 anos. Ele atribui a demora para empreender à falta inicial de confiança e capital, mas avalia que a idade ideal para fundar uma empresa é por volta dos 32 anos, quando o profissional já sabe contratar, demitir e gerenciar pessoas.
Rejeição ao fetiche do sofrimento: Bernhardsson rejeita a narrativa de que fundar empresas é "comer vidro todo dia": "Por que você está fazendo isso então? Espera uma recompensa mágica no final? (...) Eu espero trabalhar nisso por 20, 30, 40, 50 anos. Não quero vender esta empresa porque eu simplesmente sairia e começaria a Modal 2".
Processo de captação e pitch decks: Bernhardsson afirma que nunca criou um pitch deck. Ele constrói relacionamentos com investidores com anos de antecedência (como no caso de Rich Wong e Gonzalo Mocorrea da Accel).
Preço vs. Diluição: Defende que fundadores em estágios iniciais não devem buscar maximizar a avaliação a qualquer custo, pois isso gera incentivos desalinhados com VCs que tentam empurrar mais capital do que o necessário, gerando diluição excessiva. Ele prefere captar menos a valuations menores para manter os investidores interessados nas rodadas seguintes.

Defensibilidade, Moats e Valor da Marca na Era da IA

Inexistência de moats no early stage: Nenhuma startup em estágio inicial tem fossos defensivos estruturais reais baseados em teorias clássicas (como 7 Powers). Bernhardsson cita o conceito de "estratégia do homem-biscoito" (gingerbread man) formulado por Ben Thompson sobre o Snap: o único fosso no início é correr mais rápido do que a concorrência.
Três determinantes atuais de defensibilidade (Harry Stebbings):
1. Time no 1% superior de qualidade.
2. Velocidade de decisão e lançamento de produtos.
3. Força e presença da marca.
Construção de marca técnica: A Modal focou na experiência do desenvolvedor (developer experience), adotando uma estratégia de product-led growth (PLG) inspirada pela experiência de Bernhardsson com produtos de consumo no Spotify. Ele destaca que a identidade da marca precisa ser autêntica e marcante, citando a Typeface/Jev como exemplo de empresa que criou uma comunidade engajada e polarizadora.

A Dinâmica do Mercado de Inferência

A inferência como a "nova nuvem": A inferência de modelos tornou-se um mercado 10x a 100x maior do que o projetado há poucos anos.
A armadilha da comoditização: A venda pura de inferência (tokens por dólar) tem custo de troca (switching cost) zero e vira uma corrida até o fundo do poço. A infraestrutura precisa se expandir para uma suíte abrangente: sandboxes, pós-treinamento, reinforcement learning (RL), inferência em lote (batch) e de baixa latência.
Fim das margens de software de 90%: Bernhardsson argumenta que margens brutas de 90% acabaram na indústria de tecnologia devido à topologia da pilha de IA. O dólar pago pelo cliente precisa remunerar aplicação, modelo, infraestrutura, nuvem e Nvidia, retendo 20% a 30% em cada camada. A Modal opera atualmente com fluxo de caixa negativo devido aos pesados investimentos em capacidade de GPUs (apesar de lucrativa no demonstrativo contábil/P&L), mas projeta margens brutas de longo prazo entre 40% e 60%.
Fragmentação e especialização: O tamanho do mercado viabilizará múltiplos produtos hiperespecializados para diferentes necessidades de latência, fine-tuning e hardware.

Agregação de Capacidade de GPUs e Infraestrutura Própria

O mercado físico de GPUs: Bernhardsson compara a feira GTC da Nvidia a uma "feira de drogas a céu aberto, mas com GPUs em vez de drogas", na qual é preciso negociar diretamente com centenas de fornecedores de nuvem para assegurar capacidade.
Stack proprietário sem Kubernetes: Para agregar capacidade de mais de 25 neo-clouds diferentes e controlar frações relevantes da computação mundial, a Modal construiu seu próprio sistema de arquivos, runtime de contêineres e escalonador (scheduler), sem depender de Docker ou Kubernetes. Isso permite colocar milhões de sandboxes por minuto e orquestrar centenas de milhares de tarefas simultâneas.
Gestão de demanda e liquidez: A diversidade de milhares de clientes suaviza a volatilidade das cargas de trabalho individuais. A Modal assume o risco de reservas de longo prazo e oferece aos desenvolvedores faturamento fracionado por segundo de GPU sem travas contratuais de múltiplos anos.
Previsão de capacidade: Os prazos de entrega (lead times) de GPUs giram em torno de três a quatro meses. A Modal projeta suas compras extrapolando o crescimento agregado da demanda — que tem sido de 30% a 40% mês contra mês nos últimos 12 meses (resultando em compras projetadas de 2x a 3x a capacidade atual).
Preços de hardware e Jensen Huang: Bernhardsson concorda com a visão de Jensen Huang de que os preços de hardware obedecem à "gravidade" e inevitavelmente cairão no longo prazo à medida que a oferta alcançar a demanda, embora o descompasso atual sustente preços elevados por anos.

Hardware Especializado, Nvidia e o Papel das Neo-Clouds

CUDA não é o fosso principal: O ecossistema, o suporte prioritário no PyTorch e as otimizações contínuas de kernels mantêm o domínio da Nvidia, e não a linguagem CUDA em si (a qual Bernhardsson considera incômoda de programar). Chips concorrentes (Cerebras, Etched, Trainium, TPUs, AMD) crescerão em nichos, mas sem desbancar a dominância central da Nvidia no curto prazo.
Ceticismo sobre Neo-Clouds subindo na pilha: Bernhardsson vê com ceticismo a tentativa de neo-clouds (como Nebius e CoreWeave) de migrarem para camadas de software/inferência. Ele elogia a engenharia financeira dessas empresas (fechar contratos longos, levantar dívida contra eles, adquirir chips e quitar a dívida no ciclo), mas aponta que construir a camada de software é uma barreira técnica de anos.

Modelos Abertos vs. Fechados e Geopolítica de IA

Modelos abertos com licenciamento: Provedores de código aberto estão migrando para esquemas de monetização e licenças que financiam novos treinamentos. Bernhardsson aponta a necessidade de modelos abertos competitivos nos EUA e na Europa para contrabalançar o avanço massivo dos laboratórios chineses em capital humano.
Incentivo da Nvidia no ecossistema aberto: A Nvidia tem interesse estratégico direto em patrocinar e adquirir empresas de modelos abertos (como Poolside e Reflection) para fomentar um ecossistema independente nos EUA que consuma seus chips.
Desacordo sobre o pico da inferência aberta: Stebbings cita a tese de Jason Lemkin de que a inferência aberta atingiu o pico devido à queda de custos dos modelos de fronteira (como Claude Haiku) e restrições a modelos chineses. Bernhardsson rebate a visão de "soma zero": ambos os mercados crescerão de 5x a 20x nos próximos 12 meses, impulsionados pela demanda por customização, controle de latência e privacidade.

Escala da Modal e Trajetória de Produtos

Crescimento de receita: A Modal cresceu 50x em receita nos últimos 12 meses, mantendo ritmo de expansão mensal de 30% a 40%.
Evolução do negócio de Sandboxes: O produto de sandboxes foi lançado em 2023 com tração tímida, mas explodiu no verão de 2025 com o salto dos LLMs em geração de código. Hoje, responde por uma taxa de execução (run rate) de US$ 300 milhões (cerca de um terço do faturamento total da Modal).
Novos vetores de receita: A empresa lançou recentemente um produto de treinamento que Bernhardsson espera alcançar US$ 100 milhões em run rate dentro de 6 a 12 meses. O pipeline inclui ferramentas de pós-treinamento, processamento em lote (batch), reinforcement learning, esteiras de CI (continuous integration) e infraestrutura de dados/armazenamento.

O Impacto da IA na Engenharia de Software e Agentes

Limites do pós-treinamento: O pós-treinamento com reinforcement learning funciona bem em domínios com mecanismos de validação objetivos e curtos (programação, matemática formal via Lean, cibersegurança). Bernhardsson questiona se a técnica se sustentará em tarefas com ciclos de feedback humanos longos (semanas ou meses).
Demanda secular por engenheiros de software: Bernhardsson rejeita a ideia de que a IA extinguirá a profissão de programador. Ele traça paralelos históricos: cartões perfurados nos anos 1960 → Assembly → COBOL → C++ → Python → Agentes. Cada salto de abstração aumentou a produtividade e disparou a demanda agregada por software.
Gastos internos com agentes: A Modal possui 150 engenheiros e gasta cerca de US$ 500 mil mensais em agentes de programação (com uso intensivo de ferramentas como Claude Code). Bernhardsson projeta que o gasto absoluto com computação para agentes continuará subindo mesmo com a queda do custo unitário por token.

Mercado de Dados e Roteamento de Modelos

Venda de ambientes de dados: Bernhardsson afirma que o negócio mais rentável a curto prazo para fundadores jovens é criar ambientes de dados de código e vendê-los para laboratórios de fronteira, embora questione a viabilidade de construir um negócio de venture capital perene apenas nisso.
"Ter a própria inteligência" não é imperativo universal: Bernhardsson relativiza a tese de que toda empresa deve ter seu próprio modelo proprietário. Muitas empresas prosperam usando modelos abertos tunados para controlar latência e estabilidade de parâmetros; outras (como Suno, Runway e Typeface) operam modelos proprietários hospedados diretamente na Modal.
Roteamento de modelos (model routing): Como investidor-anjo da OpenRouter, Bernhardsson enxerga o roteamento como um negócio viável de curto prazo, mas argumenta que a longo prazo ele precisa estar integrado a uma plataforma mais ampla com evals, fine-tuning e orquestração.

Gestão de Talentos, Mercado e Perspectivas Rápidas

Correção de mercado iminente: Bernhardsson prevê uma correção de 20% a 30% nas ações de empresas de tecnologia e no mercado de IA, mas vê o movimento como uma oscilação saudável de curto prazo dentro de uma tendência secular massiva.
Guerra de talentos e secundárias: Laboratórios de fronteira chegam a oferecer mais de US$ 20 milhões para recém-formados excepcionais. A Modal compete pagando no percentil 95 do mercado e oferecendo liquidez periódica em rodadas secundárias (limitada a cerca de 10% da participação de funcionários) para transformar equity em moeda tangível.
Investimento-anjo favorito: TurboPuffer (fundada pelo dinamarquês Simon), focada em bancos de dados vetoriais eficientes com potencial de expansão para sistemas de consulta e data warehousing.
Categorias de risco: Startups dependentes de injeções constantes de capital primário que não possuem caminho claro de monetização antes de uma eventual retração de mercado.
Aplicações de maior impacto futuro: Descoberta e síntese de medicamentos assistida por IA (AI drug discovery) para longevidade e tratamento de condições crônicas.