Yann LeCun on What Comes After LLMs

Contexto

O vídeo apresenta uma entrevista de Jacob Effron com Yann LeCun, um dos pioneiros da inteligência artificial moderna. A conversa foca nas limitações dos Grandes Modelos de Linguagem (LLMs), na visão de LeCun sobre a necessidade de arquiteturas baseadas em "modelos de mundo" (world models) para alcançar uma inteligência de nível humano e em sua recente transição da Meta para fundar a AMI (Advanced Machine Intelligence).

Limitações dos LLMs e a Tese de LeCun

LLMs não são o caminho: LeCun argumenta que, embora úteis para tarefas de linguagem e código, os LLMs não possuem a capacidade de raciocínio, planejamento ou compreensão do mundo físico necessária para uma inteligência avançada.
Falta de planejamento: LLMs operam prevendo o próximo token, sem capacidade intrínseca de prever as consequências de ações ou realizar planejamento por otimização.
Insegurança intrínseca: Segundo LeCun, LLMs são inerentemente inseguros porque não podem ser impedidos de alucinar ou de tomar ações cujas consequências não foram previstas.
O papel da linguagem: "LLMs são particularmente bem-sucedidos em domínios onde a linguagem é o substrato do raciocínio, não para qualquer outra coisa."

A Arquitetura JEPA e Modelos de Mundo

JEPA (Joint Embedding Predictive Architecture): LeCun defende arquiteturas de "embedding" conjunto, que aprendem representações abstratas do mundo em vez de gerar pixels ou tokens. Isso permite que o sistema entenda a dinâmica física sem a necessidade de dados massivos de imitação.
Eficiência de dados: O objetivo é criar sistemas que aprendam com eficiência comparável à humana, sem depender de milhões de horas de dados de treinamento ou simulações sintéticas.
Objetivo-Driven AI: Sistemas baseados em modelos de mundo permitem que o agente planeje sequências de ações para minimizar uma função de custo, garantindo que o objetivo seja alcançado com restrições de segurança integradas.

Reflexões sobre a Meta e o Ecossistema

Saída da Meta: LeCun explica que a Meta se tornou excessivamente focada em LLMs e em pressões de curto prazo, o que dificultou a continuidade de pesquisas exploratórias de longo prazo, como os modelos de mundo.
Soberania de IA: Ele menciona o projeto Tapestry, uma plataforma federada que permitiria a países e organizações treinar modelos globais sem abrir mão do controle sobre seus dados locais, promovendo soberania cultural e política.
O mito do "Godfather": LeCun critica a narrativa de que ele e outros pioneiros (como Hinton e Bengio) compartilham a mesma visão sobre os riscos apocalípticos da IA, destacando que suas visões divergiram significativamente em 2023 após o lançamento do GPT-4.

Implicações

Mudança de Paradigma: LeCun prevê que a necessidade de modelos de mundo se tornará óbvia para a indústria até 2027, à medida que as limitações dos LLMs em robótica e controle industrial se tornarem um gargalo insuperável.
Foco em Pesquisa: Para pesquisadores, a mensagem é clara: trabalhar apenas com o refinamento de LLMs atuais é uma área de pesquisa saturada e menos criativa. O futuro está na resolução de problemas de representação e planejamento em espaços abstratos.
Aplicações Práticas: A AMI Labs focará em aplicações industriais, como controle de processos complexos, robótica e saúde, onde a capacidade de prever consequências de ações é indispensável.