Cerebras testa assistente de IA 19 vezes mais rápido
Empresa de infraestrutura de IA demonstrou um assistente capaz de realizar reservas em restaurantes em 22 segundos, superando concorrentes populares.
Pontos principais
- O teste comparou o assistente da Cerebras com o Grok Bot, Claude Cowork e Meta Muse na tarefa de reservar uma mesa via OpenTable.
- Enquanto o Grok Bot levou 7 minutos e 40 segundos na tarefa, o sistema da Cerebras concluiu o processo em 22 segundos.
- A solução utilizou o modelo Qwen 3.8 27B executado em hardware de inferência da própria Cerebras.
- A otimização incluiu a execução paralela de verificações de disponibilidade e o armazenamento prévio de procedimentos de navegação.
- O uso de 'habilidades' pré-configuradas reduziu o número de chamadas de ferramentas em mais de 80% durante o teste.
- A Cerebras ressaltou que a latência de inferência e a eficiência do fluxo de trabalho são gargalos críticos para agentes de IA.
A Cerebras, empresa especializada em infraestrutura para inteligência artificial, publicou um estudo apontando que assistentes de IA atuais podem ser significativamente lentos devido a ineficiências em seus fluxos de trabalho. Ao testar ferramentas como Grok Bot, Claude Cowork e Meta Muse, a empresa observou que a execução de tarefas simples, como reservar um restaurante, levava vários minutos devido a chamadas sequenciais e processos repetitivos de descoberta de sites.
Para demonstrar uma alternativa, a companhia desenvolveu um assistente próprio utilizando o modelo Qwen 3.8 27B e sua infraestrutura de hardware. Ao implementar a execução paralela de consultas e fornecer ao modelo instruções pré-definidas sobre a navegação nos sites, a equipe conseguiu reduzir o tempo total da tarefa para 22 segundos. A empresa argumenta que, embora o resultado seja promissor, a velocidade final depende não apenas da capacidade do modelo, mas da otimização da arquitetura de agentes e da redução de pausas desnecessárias entre decisões e ações.
Comentários
Carregando comentários...