Kevin Weil on AI: The New Rules for Skills, Coding & Building Startups

Este vídeo apresenta uma conversa entre Lenny Rachitsky e Kevin Weil, CPO da OpenAI, sobre o impacto da inteligência artificial (IA) no desenvolvimento de produtos, habilidades profissionais e na construção de startups. Kevin compartilha insights sobre o ritmo acelerado da inovação em IA, a importância das avaliações de modelos (evals) e a filosofia de produto da OpenAI, além de discutir o futuro da criatividade assistida por IA e o papel dos marketplaces.

Adoção Interna e Expectativas para Novos Modelos

Reação ao Lançamento do Modelo de Imagem: Kevin Weil revela que a OpenAI esperava uma forte reação ao novo modelo de imagem devido ao uso interno explosivo. Ele compara a experiência com o lançamento do Stories no Instagram, onde a alta utilização interna indicava sucesso iminente. "Image Gen was definitely one of those. Uh so we've been playing with it for I don't know couple months and um uh when it first went live internally to the company there was kind of a a a little gallery where you could generate your own. You could also see what everyone else was generating and it was just like non-stop buzz." (Kevin Weil)
Capacidade de Emulação de Estilo: O modelo de imagem é muito capaz de emular estilos e seguir instruções complexas, como arranjar objetos em uma sala a partir de duas imagens.

A Natureza Mutável da IA e o Papel dos Evals

IA como o "Não Feito Ainda": Kevin concorda com a ideia de que "IA é tudo o que ainda não foi feito", pois uma vez que funciona e se torna ubíqua, é chamada de aprendizado de máquina ou algoritmo. Ele cita carros autônomos como exemplo de algo que era "IA" e agora é "normal".
Pace da Inovação: A cada dois meses, os computadores conseguem fazer algo novo, exigindo uma reavaliação constante do que está sendo construído.
Diferença entre LLMs e Sistemas Tradicionais: Diferente de bancos de dados que oferecem entradas e saídas definidas, LLMs lidam com entradas e saídas "difusas", o que exige uma abordagem diferente no desenvolvimento de produtos. A confiabilidade do modelo (60% vs. 99.5% de acerto) impacta diretamente o design do produto.
O que são Evals: Evals são como "testes" ou "quizzes" para modelos de IA, medindo sua capacidade em áreas específicas, como escrita criativa, ciência ou codificação competitiva. Kevin os descreve como "testes de unidade para modelos".
Importância dos Evals: Evals são cruciais para entender a capacidade de um modelo em um caso de uso específico e para guiar o desenvolvimento do produto. Eles permitem o "hill climbing" (melhora contínua) do modelo, testando se ele está melhorando nas métricas definidas como importantes para o produto. "It's when you start seeing that and you start seeing performance on eval going up, you start saying okay I think we have a product here." (Kevin Weil)
Modelos como Inteligências Multidimensionais: Modelos de IA são inteligências multidimensionais, excelentes em uma área (ex: codificação competitiva) mas não necessariamente em outra (ex: codificação front-end). O futuro envolverá modelos de base amplos, ajustados com dados específicos de empresas ou casos de uso, medidos por evals personalizados.

Construindo Startups no Cenário da IA

Oportunidades para Startups: Kevin acredita que há imensas oportunidades para construir produtos baseados em IA em todas as indústrias e verticais. A OpenAI não pode e não quer construir tudo sozinha, focando em fornecer uma API robusta para milhões de desenvolvedores. "No matter how big your company gets, no matter how like incredible the people are, there are way more smart people outside your walls than there are inside your walls." (Kevin Weil, citando Ev Williams)
Filosofia de Produto da OpenAI:
- Agilidade e Planejamento: A OpenAI adota um planejamento trimestral e estratégico anual, mas espera que os planos mudem rapidamente devido à evolução tecnológica. "Plans are useless. Planning is helpful." (Kevin Weil, citando Eisenhower)
- Abordagem Bottoms-Up: Equipes são empoderadas para tomar decisões, com engenheiros, PMs e designers apaixonados pelos produtos que constroem.
- Iterative Deployment: A filosofia é lançar e iterar rapidamente, aprendendo com os modelos em público. "It's way better to like ship something even when you don't know the full set of capabilities and iterate together like in public and we we kind of co-evolve together with the rest of society as we learn about these things and where they're different and where they're good and bad and weird." (Kevin Weil)
- Model Maximalism: A crença de que os modelos de IA melhorarão rapidamente, então os desenvolvedores devem continuar construindo mesmo que o produto esteja no limite das capacidades atuais. "If you're building and and the product that you're building is kind of right on the edge of the capabilities of the models, keep going because you're doing something right because you give it another couple months and the models are going to be great and suddenly the the product that you have that just barely worked is really going to sing."
Vantagem Competitiva da OpenAI: Ser o primeiro a lançar novas capacidades e oferecer um "balcão único" (one-stop shop) como o ChatGPT, que integra diversas funcionalidades (vídeo em tempo real, fala para fala, pesquisa profunda, codificação), tem sido crucial para a liderança da OpenAI na mente do consumidor.

O Futuro do Trabalho e da Criatividade com IA

IA e Equipes de Produto: Kevin prevê um futuro onde pesquisadores estarão integrados em todas as equipes de produto, mesmo fora das empresas de modelos de fundação. A sintonia fina de modelos se tornará parte do fluxo de trabalho central para a construção da maioria dos produtos.
"Vibe Coding": Um termo popularizado por Andrej Karpathy, refere-se a usar ferramentas de IA (como Cursor ou Windsurf) para gerar código rapidamente, aceitando sugestões e corrigindo erros de forma iterativa, focando em provas de conceito e demos, não necessariamente em código de produção final.
Chat como Interface Universal: Kevin defende que o chat é uma interface "incrível" e "versátil" para interagir com LLMs, pois a comunicação humana é inerentemente "não estruturada". "It's an interface that's exactly fit to the power of these things." (Kevin Weil)
Otimismo em Relação à IA: Kevin é um grande otimista tecnológico, acreditando que a IA impulsionará avanços econômicos, geopolíticos e de qualidade de vida. Ele reconhece as "dislocações temporárias" e a necessidade de apoiar os indivíduos durante a transição.
Criatividade Assistida por IA: A IA, como o Sora, pode democratizar a criatividade, permitindo que pessoas sem habilidades artísticas criem. Para profissionais, a IA pode acelerar o processo criativo, permitindo explorar mais variações e chegar a resultados finais melhores.
A IA de Hoje é a Pior que Você Usará: Kevin enfatiza que os modelos de IA estão melhorando exponencialmente em capacidade, velocidade, custo e segurança. "The AI models that you're using today is the worst AI model you will ever use for the rest of your life." (Kevin Weil)

Implicações

Para Desenvolvedores e Startups: Focar na construção de produtos que aproveitem as capacidades emergentes dos modelos de IA, mesmo que as capacidades atuais sejam limitadas, pois os modelos melhorarão rapidamente. Utilizar a API da OpenAI para construir soluções específicas para nichos de mercado.
Para Profissionais de Produto: Desenvolver a habilidade de criar e usar evals para guiar o desenvolvimento de produtos baseados em IA. Estar preparado para um ambiente de trabalho com IA, onde a colaboração com pesquisadores e a sintonia fina de modelos serão comuns.
Para a Sociedade: A IA tem o potencial de transformar a educação (tutoria personalizada) e a criatividade. É crucial que a sociedade se prepare para as mudanças, com a IA atuando como uma ferramenta de requalificação (reskilling).
Para a OpenAI: Continuar com a filosofia de "iterative deployment" e "model maximalism", lançando novas capacidades rapidamente e permitindo que a comunidade co-evolua com a tecnologia. Focar em tornar o ChatGPT um hub para diversas interações com IA. Kevin sugere que a OpenAI está trabalhando em avanços na codificação e na escrita criativa, com lançamentos mais frequentes de modelos "O-er" (a cada 3-4 meses) que são mais inteligentes, rápidos, baratos e seguros. Ele encoraja os usuários a fornecer feedback sobre o que funciona e o que não funciona no ChatGPT.