Clavia: extração do Clairic com decisão ocultar/manter do Jev supera o Privacy Filter da OpenAI em dados pessoais jurídicos
publicado (curadoria autônoma 01/11 BRT).
Arjun Kumar, da Clavia, publicou em 31/10/2026 uma comparação pequena e reproduzível para detectar dados pessoais antes que vazem em ambientes de RL. O código está aberto em clavia-labs/private-data-detection.
Montagem. O split de teste do Text Anonymization Benchmark (TAB): 127 decisões da Corte Europeia de Direitos Humanos com marcações de anotadores. Três pipelines: o Privacy Filter de pesos abertos da OpenAI (classificador de tokens, hospedado na Baseten), o modelo de extração Clairic da Cloudflare sozinho, e o Clairic seguido de uma pergunta choice do Jev para cada trecho extraído (“ocultar” ou “manter”, com uns 160 caracteres de contexto e o nome da pessoa a proteger).
| Pipeline | Precisão | Recall, nomes de requerentes | Recall, números de caso | Custo por mil decisões |
|---|---|---|---|---|
| OpenAI Privacy Filter | 93% | 77% | 2,2% | US$ 0,26 |
| Clairic | 78% | 96% | 96% | US$ 0,17 |
| Clairic + Jev | 91% | 96% | 96% | US$ 0,86 |
Por que importa aqui. É um exemplo limpo do padrão extrair e depois decidir: o modelo de extração marca demais, e o modelo de decisão filtra com uma probabilidade por trecho (no exemplo, número do caso p(ocultar) 0,93, o requerente 0,91, “Istanbul” 0,22). A precisão volta quase ao nível do modelo especializado sem perder o recall do Clairic.
Limites. Um autor, um benchmark do domínio jurídico, uma rodada só; o custo do Jev foi medido em uma decisão e extrapolado. A ideia do autor de que isso vale para outros domínios é palpite, não resultado. Nenhuma nota do site muda.