Pesquisador da Goodfire aponta maior interpretabilidade em redes neurais
Nick Cammarata afirma que a maioria dos neurônios em modelos de larga escala são compreensíveis, desafiando visões anteriores sobre polissemantismo.
||
15/10 às 18:45
Pontos principais
- Nick Cammarata, da Goodfire, defende que neurônios em modelos de até trilhões de parâmetros são interpretáveis.
- O pesquisador argumenta que o polissemantismo em modelos anteriores decorria de problemas técnicos corrigíveis, e não de superposição.
O pesquisador Nick Cammarata, da Goodfire, sustenta que as redes neurais modernas apresentam um nível de interpretabilidade superior ao que se acreditava anteriormente. Segundo o especialista, a maioria dos neurônios em modelos de até trilhões de parâmetros são compreensíveis. Cammarata afirma ainda que o polissemantismo observado em modelos iniciais não era causado pela superposição, mas sim por questões técnicas passíveis de correção.