Pesquisador alcança aceleração de 232x em kernel de GPU com IA
Desenvolvedor utiliza agentes autônomos para otimizar decomposição QR em competição de computação de alto desempenho.
Pontos principais
- O projeto conquistou o 12º lugar entre 183 participantes em um desafio da GPU Mode e Core Automation.
- A otimização focou na decomposição QR compacta de Householder, essencial para álgebra linear em larga escala.
- O ganho de 232x foi obtido através de um loop de 'auto-research' utilizando o modelo Codex como agente de codificação.
- Foram realizadas mais de 1.500 submissões ao longo de 14 dias para refinar o kernel de GPU.
- A estratégia utilizou o algoritmo de Householder bloqueado para maximizar o uso de núcleos tensoriais (GEMM).
- O processo demonstrou a eficácia de agentes autônomos em tarefas complexas de engenharia de software e otimização.
Um desenvolvedor independente, conhecido como 'sankalp', obteve um ganho de performance de 232 vezes em relação ao baseline ao otimizar um kernel de GPU para decomposição QR. O feito ocorreu durante uma competição da série 'Linear Algebra Kernels in the Age of Research', organizada pela GPU Mode em parceria com a Core Automation. O resultado foi alcançado através de uma abordagem de 'auto-research', onde o modelo Codex atuou como um agente autônomo em um loop de feedback contínuo para testar, realizar benchmark e submeter melhorias ao código.
O desafio exigia a implementação de uma fatoração QR compacta de Householder para matrizes quadradas em FP32. A otimização superou gargalos de latência ao transitar de operações seriais para o algoritmo de Householder bloqueado, permitindo que o processamento fosse executado de forma mais eficiente pelos núcleos tensoriais da GPU. O sucesso do experimento destaca o potencial de ferramentas de IA no auxílio à otimização de kernels complexos, reduzindo o tempo de execução de 419 milissegundos para cerca de 1,8 milissegundos em formas específicas.
Comentários
Carregando comentários...