Chefe de IA da Expedia defende uso de evals para substituir PRDs
Xavi Amatriain propõe que avaliações automatizadas guiem o desenvolvimento de sistemas de IA, priorizando segurança e governança baseada em risco.
Pontos principais
- Xavi Amatriain sugere que as 'evals' devem definir o comportamento esperado de produtos de IA antes do início da codificação.
- A Expedia adota uma arquitetura de agentes especializados em vez de focar em um modelo único de AGI.
- A empresa mantém a supervisão humana obrigatória para transações críticas, como reservas de viagens.
- Estratégia da companhia inclui governança baseada em risco com portões de liberação para novos agentes.
Durante o evento VB Transform 2026, Xavi Amatriain, chefe de IA da Expedia, defendeu uma mudança fundamental no desenvolvimento de produtos de inteligência artificial. Segundo o executivo, as avaliações automatizadas, conhecidas como 'evals', devem substituir os tradicionais documentos de requisitos de produto (PRDs), codificando o comportamento esperado do sistema antes mesmo da escrita do código. Essa abordagem visa garantir maior precisão e alinhamento técnico desde as fases iniciais do projeto.
A estratégia da Expedia prioriza uma arquitetura composta por agentes especializados em tarefas específicas, em detrimento de um modelo único de AGI. Para mitigar riscos, a empresa implementou um sistema de governança com portões de liberação e mantém a supervisão humana em transações críticas. A iniciativa contrasta com o mercado, onde pesquisas indicam que muitas empresas já permitem a implantação de agentes sem revisão humana, apesar da recorrência de incidentes operacionais.
Comentários
Carregando comentários...