Daily Journal
Daily Journal

Anthropic detalha como agentes de IA organizam memória

A Anthropic descreve como o Claude organiza memória entre sessões e admite que o ganho varia: o wiki ajudou em tarefas que exigem cruzar documentos e pouco em outras.

Daily Journal
||
10/11 às 13:20

Pontos principais

  • A ideia de sleep-time compute, de usar o tempo ocioso para reorganizar o contexto, é de pesquisadores da Letta e da UC Berkeley; a Anthropic aplica a lógica à memória e chama o processo de dreaming.
  • O dreaming corrige notas, cria representações de memória e pode definir o que é carregado no início das sessões seguintes.
  • Memória de agente é o conhecimento que o Claude ganha da experiência e guarda entre sessões; ficam de fora ajustes de pesos, aprendizado dentro de uma conversa e compactação.
  • No Pokémon Red, o Claude Sonnet 3.7 gravou 413 arquivos em 225 pastas e ganhou uma insígnia; o Claude Fable 5 gravou dez arquivos, em duas pastas mais um global.md, e ganhou quatro.
  • No CL-Bench 1.0, tarefa de consultar um banco de dados, o Claude Opus 5 foi o primeiro a fechar o ciclo de aprendizado: registra o erro, testa hipóteses e transforma o achado em regra. Opus 5.5 e Sonnet 5.5 também fecharam o ciclo.
  • Em um corpus interno da Stainless, empresa de software que a Anthropic comprou em maio, com cerca de 350 mil arquivos (420 milhões de tokens), o acerto em 25 perguntas foi de 13% para 48% dos critérios em 128 sessões de dreaming, usando só o wiki.
  • Com busca junto, o wiki elevou a média de 54% para 61%, contra 53% só com busca, e economizou cerca de 20 mil tokens por pergunta.
  • Em 24 perguntas sobre uma fusão, as que exigiam cruzar vários documentos ou julgamento e contas chegaram a 87% com o wiki e 73% com busca; em outra tarefa, com critérios num só documento, o wiki não trouxe ganho claro.
  • Em uma tarefa com contratos, uma tabela compartilhada escrita por vários agentes ao mesmo tempo preservou 41 dos 57 fatos (72%); com uma página por contrato, citando os termos palavra por palavra, preservou os 57.

A Anthropic compara o processo ao hipocampo, que reproduz experiências recentes durante o sono e as consolida em conhecimento de longo prazo. Em um dos casos relatados, uma nota errada sobre o lado de um Centro Pokémon levou o agente a cair numa borda de mão única e voltar à rota anterior. Depois que o dreaming corrigiu a nota a partir das transcrições, ele voltou à caverna e chegou à cidade seguinte.

No Pokémon Red, a diferença entre os modelos esteve no que cada um considerou digno de guardar. O Sonnet 3.7 registrava quase tudo; como o estado do jogo muda o tempo todo, os registros envelheciam, e houve um trecho de 17 passos sem nenhuma ação no jogo, só com arquivos criados e apagados. O Fable 5 guardava estratégias e planos, que só existem se o modelo os elabora. A própria empresa lembra que cada modelo fez uma única corrida.

A Anthropic lista como questão em aberto quando o Claude deve criar memória: registrar durante a tarefa desvia a atenção do trabalho principal, e o dreaming em segundo plano pode produzir saídas que não ficam acessíveis na hora. Manter a memória atualizada exige computação, e verificar todas as notas o tempo todo pode não ser prático. Para a empresa, ainda há muito a aprender sobre o desenho de sistemas de memória do Claude.

Fonte primária

Tópicos relacionados

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.