A Model For Everyone: How Ronak From Trajectory Is Building Products For Continual Learning

Ronak Malde, cofundador da Trajectory (com passagens anteriores pela equipe do Windsurf e DeepMind), detalha os fundamentos técnicos, a arquitetura de produto e a visão de longo prazo para o aprendizado contínuo (continual learning) em agentes de inteligência artificial em conversa com Pat Grady e Lauren Reeder, da Sequoia Capital.

Aprendizado contínuo real versus "pseudo-contínuo"

Malde define o estado atual da IA aplicada como um "pseudo-aprendizado contínuo". Embora os agentes sejam avançados, eles dependem de atualizações em lote (offline batch updates).

• Analogia da navegação: O modelo tradicional equivale aos mapas impressos da AAA dos anos 1990 — para alterar a rota, era preciso ligar ou ir fisicamente a uma agência. A democratização inicial do ajuste fino equivale ao MapQuest (cálculo de rotas sob demanda, mas ainda estático e desconectado). O aprendizado contínuo real funciona como o Google Maps, que ajusta rotas em tempo real agregando a telemetria e o tráfego de todos os motoristas em trânsito.
• Debate arquitetural (Sutton e Silver): Respondendo às teses de Rich Sutton e David Silver de que os transformadores atuais não suportam aprendizado contínuo sem rupturas arquiteturais, Malde aponta que modelos recentes (como o DeepSeek v4.1 Flash) já introduzem memórias rápidas e lentas nos pesos e conexões residuais (skip connections) que saltam dezenas de camadas (ex.: da camada 2 para a 50). Para ele, a lacuna crítica não está apenas na arquitetura base, mas na camada de produto que traduz a experiência empírica do mundo real em sinais de treino.

Da consultoria de US$ 100 milhões à plataforma de produto

Até recentemente, treinar um modelo de ponta proprietário exigia equipes dedicadas de pesquisa, seis a nove meses de desenvolvimento e centenas de milhões de dólares em computação de P&D (como ocorreu no desenvolvimento do SWE-1 no Windsurf ou no Cursor Composer).

Os cofundadores da Trajectory identificaram padrões comuns em suas experiências prévias:

• Michael: Ex-DeepMind, trabalhou em robótica no Gemini e infraestrutura de aprendizado contínuo para robôs atualizados diariamente no mundo real.
• Arjun: Ex-Apple, trabalhou no Vision Pro integrando feedback direto de artistas para treinar modelos fundacionais multimodais.
• Limitação dos laboratórios centrais: Laboratórios como DeepMind e OpenAI focam em treinar um único modelo massivo universal. A infraestrutura para treinar e manter modelos altamente customizados e isolados para clientes individuais é inviável no modelo de negócios tradicional dos grandes laboratórios.

O caso Harvey

A Harvey utilizava modelos fechados de fronteira para atender escritórios de advocacia, acumulando 30 anos de heurísticas e dados jurídicos sem conseguir incorporá-los aos pesos do modelo. Usando a Trajectory e seu próprio benchmark de agentes jurídicos:

• A precisão subiu de 4% (baseline de código aberto) para 18%;
• O custo de inferência tornou-se 6 vezes mais barato que o de modelos de fronteira, permitindo expandir massivamente o orçamento de tokens gasto por tarefa.

A unidade de trabalho: Trajetórias e primitivas do sistema

Malde propõe substituir o token pela trajetória (uma tarefa completa de valor econômico) como a unidade fundamental de trabalho em IA. Em aprendizado por reforço (RL), o mecanismo de rollout de uma simulação tradicional é substituído no aprendizado contínuo pela inferência e pelos tokens gerados na produção real.

As três primitivas necessárias para fechar o ciclo de aprendizado contínuo são:

1. Rastreamento (Traces): Registro contínuo de chamadas do agente principal, subagentes e feedbacks do usuário (via ferramentas como LangChain, Braintrust, Raindrop ou soluções internas).
2. Ambientes reproduzíveis: Capacidade de recriar o contexto da execução via Dockerfiles ou requisitos de sistema para evals e treinos.
3. Mecanismo de modificação e treinamento: Stack completa de perda (loss), modelagem de recompensa e algoritmos de pós-treinamento.

Inovações de pesquisa da Trajectory: Group Size 1 e Meta-Grader

A Trajectory desenvolveu duas soluções algorítmicas para eliminar os dois maiores gargalos operacionais do RL em produção:

1. Eliminação do ambiente simulado via "Group Size 1"

• Problema no GRPO convencional: O algoritmo tradicional de pós-treinamento (GRPO) exige simulações repetidas da mesma tarefa em grupos de 8 a 16 rollouts paralelos para calcular a vantagem da recompensa.
• Solução: Uma variante que opera com Group Size = 1, permitindo que o modelo aprenda com execuções únicas e heterogêneas no mundo real a partir de 10.000 trajetórias de tarefas distintas, eliminando a dependência de um simulador perfeito.

2. Eficiência de dados via Meta-Grader (ganho de 100x)

• Problema de rotulagem: Avaliar e pontuar 10.000 trajetórias reais de fluxos complexos (jurídicos ou bancários) exige esforço humano inviável.
• Solução: O sistema seleciona estrategicamente 100 trajetórias representativas. Especialistas definem critérios e rubricas densas para essa amostra reduzida. A plataforma treina um meta-grader que generaliza a função de recompensa para as 10.000 trajetórias restantes.

Plataforma, roteamento e densidade de inteligência

A plataforma integra treino, avaliação e deploy em um único clique, espelhando a integração que a Apple fez entre computação, internet e telefonia móvel. O ciclo permite coletar novos traces imediatamente após o deploy do modelo refinado.

• Densidade de inteligência (Caso Rogo): A Rogo (plataforma financeira) utilizou a Trajectory para eliminar respostas prolixas de modelos generalistas em favor de concisão e eficiência analítica, gerando um modelo proprietário mais rápido, barato e com consumo reduzido de tokens por resposta.
• Roteamento econômico híbrido: Modelos de fronteira caros processam ~10% das tarefas mais complexas, enquanto 90% das requisições rotineiras são roteadas para modelos proprietários especializados treinados na plataforma, otimizando margens operacionais.

Curiosidade e alinhamento: Aprendizado Contínuo vs. RSI

Malde contrasta dois paradigmas de evolução de agentes:

• Auto-aperfeiçoamento recursivo (RSI): Isola o modelo em uma caixa preta para que ele atue como seu próprio pesquisador de IA, criando riscos severos de desalinhamento com os objetivos humanos.
• Aprendizado Contínuo: O aprendizado decorre diretamente da interação com humanos reais no fluxo de trabalho, mantendo o humano no ciclo (human-in-the-loop).

Para avançar a autonomia dos agentes, Malde formaliza a curiosidade através de Processos de Decisão de Markov (MDPs). Enquanto LLMs atuais funcionam como preditores de próximo token ligando o estado $S_0$ diretamente a $S_1$, eles não codificam a função de transição intermediária. Agentes com curiosidade quantificada devem identificar quando uma função de transição do mundo é desconhecida e executar ações deliberadas para explorá-la e construir heurísticas mentais.

Estrutura operacional e o desenvolvedor como jardineiro

A Trajectory unificou pesquisa e produto sob padrões rigorosos de engenharia de software:

• Código de pesquisa em produção: O trainer e o motor de rollouts rodam em microsserviços conteinerizados em Kubernetes com autoescalonamento, permitindo que engenheiros de design disparem treinos de modelos rotineiramente.
• Desenvolvimento via agentes: O time foca o tempo em discussões de arquitetura e whiteboarding, delegando a implementação de código para agentes de programação (coding agents).
• O desenvolvedor como jardineiro: Em um contexto onde o harness e o modelo se autoaperfeiçoam a partir do uso real, o papel do construtor de produto deixa de ser codificar regras estáticas e passa a ser o de instalar "treliças" (trellises) que guiam e moldam o crescimento autônomo do produto conforme seu gosto e critérios.

Visão de longo prazo: Da subsistência à especialização de Adam Smith

Citando A Riqueza das Nações, Malde compara o mercado atual de IA a uma economia pré-industrial de artesãos ou caçadores-coletores, onde todos consultam o mesmo "oráculo" centralizado para todas as tarefas. A abundância exige especialização e divisão de trabalho.

Atualmente, a taxa de adoção real de IA no ambiente corporativo gira em torno de 1%. O objetivo da Trajectory é expandir essa penetração para 99%, convertendo a experiência tácita acumulada nas empresas em modelos e harnesses customizados, eficientes e especializados.