Benchmark da Taktile Labs: modelo de decisão ajustado com 64 extratos bancários supera todo modelo usado de fábrica
publicado (OK do Fabricio 30/10 BRT).
A Taktile Labs, braço de pesquisa da Taktile (software para crédito), publicou um benchmark de classificação de extratos bancários (David Ahn, Maximilian Eber), anunciado em 29/10/2026. São 23 métodos, de regras por palavra-chave e LLMs de fronteira até modelos de decisão com fine-tune, em 72 extratos sintéticos (25.593 transações, 25 categorias, 8 formatos de banco).
Resultados (rodada da própria Taktile, UnverifiedClaim). Sem dados rotulados, o Claude Opus 5.5 foi o mais preciso (95,5%, US$ 2,52 por mil transações); os melhores modelos de decisão de fábrica ficaram entre 92,1% e 93,0%, por US$ 0,002 a US$ 0,107. Depois do fine-tune com 24.400 transações rotuladas (uns 64 extratos de três meses), o modelo de decisão da Taktile sobre o Qwen3.5-4B chegou a 97,3% no conjunto principal (97,2% nos três), por cerca de US$ 0,03 por mil. O Kev-4B, ajustado com os mesmos dados, foi de 80% para 96%.
Confiança. Abaixo de 0,90 de confiança, o modelo da Taktile separou 16% das transações; mandando essas primeiro para um segundo modelo, sobraram 4,4% para revisão humana, com 98,8% certas ou revisadas.
Por que importa aqui. É uma avaliação independente e de domínio que cita um modelo do catálogo (Kev) e mede calibração dentro do fluxo de trabalho, não só acurácia. Os dados são sintéticos e o estudo é da própria Taktile; nenhuma nota do catálogo muda.