ENPT

SanSi

Última atualização:

Aberto—$0/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade4.6/10

    LoRA Apache-2.0 e um readout por loop sobre Ouro-1.4B e Ouro-2.6B congelados. Card, decide() no GitHub e paper. Sem pacote, servidor /v1/systemone, integração de terceiros ou SLA.

  • Capability4.7/10

    Só choice: 2–26 opções em letras, sem score nem boolean. CE mais Brier em cada loop; ECE 0,078 do autor. Sem latência em milissegundos. 75,8% é a média de três seeds; este checkpoint marca 75,2%.

  • Adoção1/100

    HF em 12/10: SanSi-2.6B tem 2 likes e 26 downloads; o adapter de 1.4B tem 1 like e 17. Sem integração de terceiros ou uso em produção reportado.

Vendor claims

Leia antes

  1. Só choice. Uma pergunta, de 2 a 26 opções, lidas como letras A–Z. Não há tipo score nem sim/não de primeira classe, e não há servidor /v1/systemone.
  2. 75,8% é a média de três seeds dos autores. O checkpoint deste repositório (seed 0) marca 75,2% nos mesmos 10.027 itens. Itens in-distribution, vindos das fontes de treino, marcam 88,4%; transferência distante, de fontes que não entraram no treino, marca 71,6%.
  3. O backbone fica congelado. O Ouro é baixado na revisão pinada. O que este repositório treina é uma LoRA de rank 64 mais um readout pequeno por loop.

O que é

O SanSi (Shuyu Gan, Young-Jun Lee, Dongyeop Kang; Minnesota NLP) transforma um modelo de linguagem pré-treinado para repetir as mesmas camadas num modelo de decisão tipada. O Ouro aplica uma pilha compartilhada de camadas várias vezes. O SanSi lê a probabilidade das opções depois de cada loop, então um forward pass entrega a decisão em todo orçamento de um a oito loops. Não gera texto.

Adapter Backbone Parâmetros treinados Acurácia após o loop 8 (média de 3 seeds)
SanSi Ouro-1.4B 60,8M 72,0%
SanSi-2.6B Ouro-2.6B 121,4M 75,8%

Os dois adapters são Apache-2.0, publicados em 8/10/2026. O carregamento é sansi.hub.load / decide a partir do repositório no GitHub, em GPU, com o backbone em bfloat16. O prompt é fixo: estado, depois Question:, depois Options: (A) …, depois Answer:. decide(..., loops=4) para em quatro loops.

A loss em cada loop é entropia cruzada mais Brier contra a distribuição-alvo do item. Itens que o estado não permite responder foram treinados na direção da distribuição uniforme. O paper trata uma resposta fechada como comprometida quando a probabilidade do topo chega a (1 + 1/K) / 2.

Comparação dos autores

Mesmos dados e a mesma receita, exceto a linha do Kev-4B, que usa o código do Kev nestes dados. O custo é o tempo de GPU de uma passada no conjunto de teste, com um loop do Ouro-1.4B valendo 1. Todos os números são dos autores.

Modelo Params Loops Custo Tudo In-dist. Near Far ECE
Qwen3.5-4B 4,2B 1 2,4 73,8 88,5 68,9 70,1 0,113
Kev-4B (dados deles) 4,2B 1 2,1 74,3 88,6 70,9 70,3 0,119
SanSi 1.4B 1,4B 8 7,7 72,0 86,6 67,7 68,0 0,093
SanSi-2.6B 2,7B 8 14,8 75,8 88,4 74,4 71,6 0,078

Oito loops do modelo de 1.4B custam 7,7× um loop e ficam 13,4 pontos acima da linha de um loop do Ouro-1.4B (58,6%). Rodar mais de oito loops derruba a acurácia. O desvio-padrão no teste, entre as três seeds, é de 0,6 ponto. Só inglês.

Conta das notas (12/10/2026, pontuado no SanSi-2.6B)

  • Maturidade 4,6 = disponibilidade 8 × 0,30 + docs 7 × 0,25 + integrações 1 × 0,25 + suporte 1 × 0,20 = 2,40 + 1,75 + 0,25 + 0,20.
  • Capability 4,7 = tipos 3 × 0,30 + calibração 7 × 0,25 + latência 4 × 0,25 + acurácia 5 × 0,20 = 0,90 + 1,75 + 1,00 + 1,00 = 4,65 → 4,7. Tipos valem 3 porque a interface é só choice. Latência vale 4 porque o card publica custo relativo de GPU, não um p50 em milissegundos. Acurácia vale 5 porque a suíte é dos autores.
  • Adoção 1 = engajamento 2 × 0,35 + ecossistema 1 × 0,35 + produção 0 × 0,30 = 0,70 + 0,35 = 1,05 → 1.