World Labs lança Atlas, modelo de inteligência espacial para capturas 3D
A World Labs apresentou o Atlas, modelo que reconstrói cenas 3D a partir de duas a três fotografias e também gera vídeos com controle de câmera, superando modelos especializados em testes da própria empresa.
Pontos principais
- O modelo Atlas foi desenvolvido pela World Labs, empresa cofundada por Fei-Fei Li, Ben Mildenhall e Justin Johnson.
- Segundo a World Labs, o Atlas gera reconstruções 3D fiéis a partir de apenas duas a três imagens e pode usar mais de cem quando disponíveis, superando a necessidade anterior de centenas de fotos.
- Na demonstração do campus de Stanford, o Atlas recebeu de duas a 25 fotos do nível do chão do Main Quad e gerou vistas aéreas da área, incluindo a fachada da Memorial Church.
- O modelo também gera vídeos com controle de câmera a partir de imagens de referência, produzindo até 1 minuto de vídeo em resolução 1440p, além de panoramas de 360° a partir de texto.
- Em avaliações com avaliadores humanos, o Atlas foi preferido a modelos de vídeo concorrentes em controle de câmera: 75% contra o MiniMax Hailuo, 81% contra o Gemini Omni Flash, 93% contra o FLUX e 94% contra o Seedance.
- Em reconstrução 3D, o Atlas teve erro médio absoluto-relativo de 25,3, contra 28,7 do Pi3X, o modelo especializado de melhor desempenho entre os testados pela empresa.
- O sistema simula a perspectiva de robôs em ambientes reconstruídos a partir de vídeos de celular, usando 24 quadros por ambiente nos exemplos mostrados pela empresa.
- O projeto tem potencial para superar gargalos de dados em áreas como a robótica, permitindo o uso de arquivos de fotos e vídeos casuais, segundo a World Labs.
- O Atlas está em acesso antecipado, disponível apenas para parceiros selecionados via formulário de solicitação.
A World Labs apresentou o Atlas, um "world model" multimodal treinado do zero para operar com texto, imagens, vídeo e mapas de profundidade 3D. Segundo a empresa, o modelo produz reconstruções 3D fiéis a partir de apenas duas a três fotografias e pode incorporar mais de cem imagens quando disponíveis, dispensando os métodos tradicionais que exigiam centenas de capturas; na demonstração do campus de Stanford, o Atlas recebeu de duas a 25 fotos do nível do chão do Main Quad para gerar vistas aéreas da área.
Além da reconstrução, o Atlas gera vídeos com controle de câmera a partir de imagens de referência, produzindo até um minuto de vídeo em 1440p, e cria panoramas de 360° a partir de texto. Em testes com avaliadores humanos, a empresa diz que o modelo foi preferido a concorrentes de vídeo em 75% a 94% dos casos, e teve erro médio de reconstrução 3D de 25,3 pontos, ante 28,7 do Pi3X, o melhor especializado testado. O Atlas também simula a perspectiva de robôs a partir de vídeos de celular, o que a empresa diz poder ajudar a superar gargalos de dados em robótica, e está em acesso antecipado com parceiros selecionados.
Fonte primária
Cobertura da mídia
@a16z: >blogs about ray tracing for a CS project in 2012
x.com • 4 set, 17:30
@a16z: >be dr. fei-fei li
x.com • 4 set, 16:45
@drfeifei: Next view prediction is the key to Atlas, enabling us to unify pixel-level generation and reconstruction. @jcjohnss @BenMildenhall @martin_casado and I had a deeper discussion on s…
x.com • 4 set, 14:27