Daily Journal
Daily Journal

Sakana AI lança JFinBench para avaliar LLMs no setor financeiro japonês

A Sakana AI apresentou o JFinBench, benchmark com 321 questões de seis exames financeiros japoneses de 2026 para testar modelos de linguagem.

Daily Journal
Foto: x.com
||
16/11 às 06:10, atualizado 14:40

Pontos principais

  • O JFinBench tem 321 questões de seis exames de qualificação financeira do Japão, edições de 2026, como os de contador público e tributarista.
  • Das 321 questões, 193 (60%) são de múltipla escolha; as outras 128 pedem resposta escrita, e 12 dependem de uma figura, como o desenho de um terreno.
  • Um agente de programação converteu os PDFs das provas, e um dos autores conferiu as 321 questões contra os originais em cerca de 12 horas, segundo a Sakana AI.
  • Sem ferramentas, o Claude Fable 5 fez 95,8 pontos e o GPT-6 Astra, 93,6; o melhor modelo de código aberto, o Kimi K3.1 Pro, fez 83,4.
  • Na maioria dos 12 modelos avaliados, o erro mais comum foi a falta de conhecimento das instituições japonesas, e não o cálculo.
  • Com terminal e acesso à web, a distância entre o melhor modelo de código aberto (Kimi K3.1 Pro, 92,9) e o melhor proprietário (GPT-6 Astra, 97,3) caiu de 12,4 para 4,4 pontos.
  • Sem ferramentas, a melhor nota na prova de tributarista foi 79,4 pontos.

A Sakana AI anunciou o JFinBench, benchmark para avaliar modelos de linguagem em finanças japonesas com provas de 2026. Segundo a empresa, provas antigas ficam defasadas quando as regras tributárias mudam, e questões já publicadas podem entrar nos dados de treino, fazendo o placar medir memória e não generalização.

A empresa afirma que o mesmo processo permite incluir novos exames com pouca mão de obra humana. Entre os 12 modelos testados, três são proprietários e nove são de código aberto, e a ordem entre eles quase não muda quando se dá acesso a ferramentas.

Fonte primária

Sakana AI@SakanaAILabshá 9h

最新の金融資格試験を用いた日本語金融ベンチマーク「JFinBench」を公開 ブログ:sakana.ai/jfinbench Sakana AIは、日本の金融分野に強いAIの開発に向けて、LLMの能力を評価するベンチマーク「JFinBench」を構築しました。公認会計士試験、税理士試験、FP技能検定1級など、日本の6つの金融資格 …

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.