Modo ultrafast do Astra 6 atinge 300 tokens por segundo
Nova funcionalidade do modelo Astra 6 acelera geração de tokens, mas execução de ferramentas ainda limita a velocidade total de agentes de IA.
Pontos principais
- O modo 'ultrafast' do Astra 6 alcança 300 tokens por segundo, superando em 8 vezes a velocidade do modo regular.
- A aceleração real na execução de tarefas por agentes varia entre 2 a 4 vezes devido a gargalos em chamadas de ferramentas.
- O uso intensivo da nova funcionalidade esgotou o limite semanal do pesquisador Sayash Kapoor em cerca de duas horas.
- Modelos concorrentes, como o Sol da Cerebras, já operam a 750 tokens por segundo com projeções de crescimento acelerado.
O pesquisador Sayash Kapoor avaliou o novo modo 'ultrafast' do modelo Astra 6, destacando que a ferramenta atinge 300 tokens por segundo. Essa marca representa um desempenho oito vezes superior ao modo regular, sendo considerada um fator crítico para a eficácia de agentes em tarefas de uso de computador.
Apesar da alta velocidade de geração, a aceleração global na execução de tarefas pelos agentes é limitada a um ganho de 2 a 4 vezes. O gargalo reside no tempo necessário para chamadas de ferramentas e execução de código, além do alto consumo de limites de uso, que esgotou a cota semanal do autor em apenas duas horas.
Cobertura da mídia
Comentários
Carregando comentários...