Meta lança Muse Realtime Avatar com latência inferior a um segundo

Bringing Your Muse to Life

Meta apresenta o Muse Realtime Avatar, tecnologia de embodiment em tempo real que transforma o Muse Realtime Voice em avatares expressivos e interativos, animando qualquer imagem (retrato, ilustração, animal ou objeto) com movimentos faciais, das mãos e do corpo sincronizados durante conversas ao vivo. A arquitetura é um pipeline de streaming único que conecta inteligência, voz e embodiment: tokens de fala do modelo de voz alimentam diretamente um Diffusion Transformer que gera vídeo em chunks causais, mantendo coerência via janelas de contexto móveis. Por destilação, a Meta reduziu a inferência de 120 para 2 avaliações de função neural por chunk (redução de 60x) mantendo a qualidade, com o stack otimizado gerando vídeo retrato 448x768 a 25 quadros por segundo e suportando 12 sessões simultâneas em tempo real numa única GPU GB200. A latência ponta a ponta, do fim da fala do usuário até a resposta sincronizada de voz e vídeo, é de aproximadamente 870 milissegundos. Em avaliações com avaliadores humanos em conversas ao vivo, o Muse foi preferido em 78% frente ao Runway Characters e em 88% frente ao HeyGen LiveAvatar, destacando-se em expressividade facial, naturalidade de movimento, sincronia labial e preservação de personagem. O sistema incrusta marcas d'água invisíveis via Meta Video Seal para rastreabilidade da mídia gerada e reduzir riscos de uso indevido; o uso do Muse requer usuários com 18 anos ou mais.