Meta lança Muse Voice Transcribe para transcrição de áudio em tempo real
O novo modelo de percepção de áudio em tempo real da Meta Superintelligence Labs (MSL) une transcrição, diarização de falantes e detecção de fim de fala numa só arquitetura e já lidera rankings de transcrição em streaming.
Pontos principais
- O Muse Voice Transcribe é o primeiro modelo de percepção de áudio em tempo real da Meta Superintelligence Labs (MSL), um modelo autorregressivo da família Muse Spark.
- Tokens especiais unificam transcrição de fala, diarização de falantes e endpointing (detecção de início e fim da fala) numa única arquitetura, sem pós-processamento.
- O "atraso adaptativo" usa aprendizado por reforço, combinando recompensas de taxa de erro de palavras e de atraso, para decidir quanto esperar antes de transcrever cada palavra.
- "Context biasing", com nomes e palavras-chave informados de antemão, melhora o reconhecimento.
- Suporta mais de 70 idiomas, com 25 validados extensivamente no lançamento, entre eles mandarim, francês, hindi, japonês, espanhol e vietnamita.
- Processa áudio com mais de uma hora de duração e mais de 20 falantes simultâneos, sem pós-processamento.
- Já está disponível via Meta Model API, Meta AI para Mac e Muse Code; a Meta diz que o áudio da demonstração pública não é armazenado, mas não detalha a política de retenção de dados na API.
- Segundo a Meta, o modelo lidera o ranking da Artificial Analysis em transcrição de fala em streaming e também os benchmarks públicos de diarização.
A Meta Platforms anunciou o Muse Voice Transcribe, modelo de percepção de áudio da Meta Superintelligence Labs (MSL) e o primeiro da equipe voltado à transcrição de fala em tempo real. É um modelo autorregressivo da família Muse Spark que processa o áudio em blocos de 80 milissegundos e usa tokens especiais para unir, numa única arquitetura, a transcrição de fala, a diarização de falantes (identificação de quem fala) e o endpointing (detecção do início e do fim de cada fala). O ajuste de latência, chamado de "atraso adaptativo", combina por aprendizado por reforço uma recompensa de taxa de erro de palavras com uma recompensa de atraso, decidindo quanto esperar antes de transcrever cada palavra conforme a dificuldade. A precisão também é reforçada por "context biasing", quando nomes e palavras-chave informados de antemão ajudam o reconhecimento.
O modelo é treinado em mais de 70 idiomas, dos quais 25 foram validados extensivamente para o lançamento, e processa áudio com mais de uma hora de duração e mais de 20 falantes simultâneos, sem pós-processamento. Já está disponível via Meta Model API, Meta AI para Mac e Muse Code. Na demonstração pública, a Meta diz que o áudio processado não é armazenado, mas não detalha a política de retenção de dados para uso via API. Segundo a empresa, o modelo lidera o ranking da Artificial Analysis para transcrição de fala em streaming e também os benchmarks públicos de diarização.
Fonte primária
Tópicos relacionados
Cobertura da mídia
Meta launches Muse Voice Transcribe, MSL's first real-time audio perception model, with streaming automatic speech recognition, trained with 70+ languages (Meta AI Research)
Techmeme • 1 set, 16:50
Meta Unveils New Audio AI Model
The Information • 1 set, 15:15
@alexandr_wang: 1/ today we're rolling out muse voice transcribe, our first real-time audio perception model - SOTA in streaming speech-to-text. also handles speaker diarization and endpointing na…
x.com • 1 set, 14:31
