OpenAI deve usar arquitetura de loop transformers no GPT-6 Astra
O novo modelo da OpenAI utilizará a técnica de loop transformers para elevar a profundidade computacional sem aumentar o número de parâmetros.
||
14/09 às 23:45
Pontos principais
- O GPT-6 Astra emprega a arquitetura de loop transformers para processar camadas múltiplas vezes.
- A técnica possibilita maior profundidade sem expandir o tamanho físico do modelo.
- A estratégia sinaliza uma possível desaceleração no crescimento do número de parâmetros em futuros modelos.
O GPT-6 Astra, próximo modelo da OpenAI, utilizará a arquitetura de loop transformers para processar camadas de forma repetida. Essa técnica permite aumentar a profundidade computacional do sistema sem a necessidade de elevar a contagem total de parâmetros. A mudança indica uma tendência de desaceleração no crescimento físico dos modelos, focando em eficiência estrutural em vez de expansão de escala.
Comentários
Carregando comentários...
