最新の金融資格試験を用いた日本語金融ベンチマーク「JFinBench」を公開 ブログ:sakana.ai/jfinbench Sakana AIは、日本の金融分野に強いAIの開発に向けて、LLMの能力を評価するベンチマーク「JFinBench」を構築しました。公認会計士試験、税理士試験、FP技能検定1級など、日本の6つの金融資格 …
Sakana AI lança JFinBench para avaliar LLMs no setor financeiro japonês
A Sakana AI apresentou o JFinBench, benchmark com 321 questões de seis exames financeiros japoneses de 2026 para testar modelos de linguagem.
Pontos principais
- O JFinBench tem 321 questões de seis exames de qualificação financeira do Japão, edições de 2026, como os de contador público e tributarista.
- Das 321 questões, 193 (60%) são de múltipla escolha; as outras 128 pedem resposta escrita, e 12 dependem de uma figura, como o desenho de um terreno.
- Um agente de programação converteu os PDFs das provas, e um dos autores conferiu as 321 questões contra os originais em cerca de 12 horas, segundo a Sakana AI.
- Sem ferramentas, o Claude Fable 5 fez 95,8 pontos e o GPT-6 Astra, 93,6; o melhor modelo de código aberto, o Kimi K3.1 Pro, fez 83,4.
- Na maioria dos 12 modelos avaliados, o erro mais comum foi a falta de conhecimento das instituições japonesas, e não o cálculo.
- Com terminal e acesso à web, a distância entre o melhor modelo de código aberto (Kimi K3.1 Pro, 92,9) e o melhor proprietário (GPT-6 Astra, 97,3) caiu de 12,4 para 4,4 pontos.
- Sem ferramentas, a melhor nota na prova de tributarista foi 79,4 pontos.
A Sakana AI anunciou o JFinBench, benchmark para avaliar modelos de linguagem em finanças japonesas com provas de 2026. Segundo a empresa, provas antigas ficam defasadas quando as regras tributárias mudam, e questões já publicadas podem entrar nos dados de treino, fazendo o placar medir memória e não generalização.
A empresa afirma que o mesmo processo permite incluir novos exames com pouca mão de obra humana. Entre os 12 modelos testados, três são proprietários e nove são de código aberto, e a ordem entre eles quase não muda quando se dá acesso a ferramentas.
Fonte primária
Cobertura da mídia
Leia também
Sakana AI abre inscrições para testes beta de seu primeiro aplicativo
8 nov, 23:40
Pesquisador lança BizBench para avaliar agentes de IA em negócios
19 out, 15:40
Benchmark avalia desempenho de modelos de IA em auditoria financeira
1 out, 15:10
Japão amplia fiscalização sobre financiamento de data centers de IA
25 set, 05:30
Sakana AI expande equipe de Go-To-Market para escalar produtos
17 set, 05:10
Comentários (0)
Seja o primeiro a comentar.
