Google DeepMind lança modelo de IA para traduzir língua de sinais

Putting sign language AI into users' hands

Google DeepMind anuncia o SL2T (sign-language-to-text), primeiro modelo de IA para língua de sinais levado a produtos de consumo, alimentando ditado por sinais no Gboard e no Live Transcribe do Pixel 11, começando com tradução de ASL (língua de sinais americana) para inglês. O modelo foi treinado em mais de 100.000 horas de dados cobrindo mais de 50 línguas de sinais, cerca de um quarto em ASL. Em vez de usar 'glosses' intermediários (mapeamento sinal-palavra), o sistema traduz diretamente de pontos de referência da pose corporal para texto, usando o modelo on-device MediaPipe Holistic para extrair coordenadas geométricas em vez de processar vídeo bruto, descartando a filmagem original imediatamente por privacidade. No benchmark FLEURS-ASL, o SL2T atingiu pontuação zero-shot de 70 BLEURT, que a DeepMind afirma ser significativamente superior a qualquer pontuação reportada anteriormente. A equipe otimizou para latência de streaming, suporte a sinalizantes canhotos (10% dos usuários) e sinalização com uma mão para uso em smartphones.