---
title: "Sakana AI lança JFinBench para avaliar LLMs no setor financeiro japonês"
url: https://dailyjournal.news/news/2026-11-16/sakana-ai-lanca-jfinbench-para-avaliar-llms-no-mercado-financeiro-japones
published: 2026-11-16T09:10:33.289284+00:00
updated: 2026-11-16T17:40:41.245+00:00
categories: ["technology"]
source_count: 2
outlet_count: 0
language: pt-BR
publisher: "Daily Journal"
---

# Sakana AI lança JFinBench para avaliar LLMs no setor financeiro japonês

A Sakana AI apresentou o JFinBench, benchmark com 321 questões de seis exames financeiros japoneses de 2026 para testar modelos de linguagem.

## Pontos principais

- O JFinBench tem 321 questões de seis exames de qualificação financeira do Japão, edições de 2026, como os de contador público e tributarista.
- Das 321 questões, 193 (60%) são de múltipla escolha; as outras 128 pedem resposta escrita, e 12 dependem de uma figura, como o desenho de um terreno.
- Um agente de programação converteu os PDFs das provas, e um dos autores conferiu as 321 questões contra os originais em cerca de 12 horas, segundo a Sakana AI.
- Sem ferramentas, o Claude Fable 5 fez 95,8 pontos e o GPT-6 Astra, 93,6; o melhor modelo de código aberto, o Kimi K3.1 Pro, fez 83,4.
- Na maioria dos 12 modelos avaliados, o erro mais comum foi a falta de conhecimento das instituições japonesas, e não o cálculo.
- Com terminal e acesso à web, a distância entre o melhor modelo de código aberto (Kimi K3.1 Pro, 92,9) e o melhor proprietário (GPT-6 Astra, 97,3) caiu de 12,4 para 4,4 pontos.
- Sem ferramentas, a melhor nota na prova de tributarista foi 79,4 pontos.

A Sakana AI anunciou o JFinBench, benchmark para avaliar modelos de linguagem em finanças japonesas com provas de 2026. Segundo a empresa, provas antigas ficam defasadas quando as regras tributárias mudam, e questões já publicadas podem entrar nos dados de treino, fazendo o placar medir memória e não generalização.

A empresa afirma que o mesmo processo permite incluir novos exames com pouca mão de obra humana. Entre os 12 modelos testados, três são proprietários e nove são de código aberto, e a ordem entre eles quase não muda quando se dá acesso a ferramentas.

## Fontes

- [@SakanaAILabs: JFinBench: A Continuously Refreshable Japanese Financial Benchmark from the Latest Certification Exams](https://x.com/SakanaAILabs/status/2122381688680686066) (2026-11-16)
- [@SakanaAILabs: 最新の金融資格試験を用いた日本語金融ベンチマーク「JFinBench」を公開](https://x.com/SakanaAILabs/status/2122251724564070518) (2026-11-16)

---

Publicado por Daily Journal. Versão HTML: https://dailyjournal.news/news/2026-11-16/sakana-ai-lanca-jfinbench-para-avaliar-llms-no-mercado-financeiro-japones
