ENPT

H2O-Lightning-4B

Última atualização:

Aberto29–38ms$0/M input

Notas do quadrante

Ver o quadrante completo

Pontuação pela rubrica pública do quadrante (maturidade × capability; bolha = adoção). Revisamos conforme a evidência.

  • Maturidade5.8/10

    Pesos Apache-2.0 com revisões fixadas, card detalhado, serve.sh em vLLM padrão com um shim aberto que serve /v1/systemone e demo no Spaces. Empresa responsável, mas sem SLA, sem API hospedada e sem integrações de terceiros.

  • Capability8.1/10

    JevBench oficial (17/10): Intelligence 60,0, calibração 90,0, p50 0,029 s. Choice (2–255, melhor até ~16), sim/não, score, texto e imagem. ECE 0,017 do vendor nos próprios sets de imagem. Intelligence 60 fica atrás dos modelos de 31B.

  • Adoção12/100

    Cerca de 4,1 mil downloads e 81 likes em 15 dias, demo no Spaces feita pelo time do Hugging Face, post de lançamento com 8 likes. Empresa estabelecida. Sem integrações nem usuários em produção reportados.

Vendor claims

publicado (OK do Fabricio 17/10 BRT). Auditoria dos placares de 17/10/2026: veja a seção “Auditoria dos placares” abaixo; onde ela conflita com afirmações antigas de placar nesta página, ela vale.

publicado (OK do Fabricio 17/10 BRT).

Leia primeiro. Há três “versões” em jogo. O placar do JevBench mediu a v1.1 (tag v1.1 no HF). O main do card é a v1.3.1, que não está no placar. O “205/231” do card é a v1.2.3, uma terceira revisão, rodada one-way pela própria H2O.ai. Só o número do placar (72,5) é independente; o resto aqui é UnverifiedClaim.

O H2O-Lightning-4B é um modelo de decisão de 4B da H2O.ai, fine-tune do Qwen3.5-4B sob Apache-2.0. Ele lê um registro (e, desde o build de imagem, as imagens que o acompanham) mais perguntas tipadas e devolve uma probabilidade para cada opção em uma passada e um token de saída, então o custo é só de tokens de entrada. Roda em vLLM sem modificação atrás de um shim pequeno e aberto (h2o_lightning_shim.py) que serve POST /v1/systemone.

Specs

Atributo Valor
Empresa H2O.ai
Pesos Apache-2.0 no Hugging Face, 4,66B parâmetros em BF16 (o card diz “4B”; base Qwen3.5-4B com a torre de visão)
Repo criado 2/10/2026; post de lançamento no X em 13/10/2026
Revisões main = v1.3.1 (leitura two-way, recomendada); v1.3.0.5; v1.2.3; v1.1 = os pesos do placar do JevBench
Tipos de pergunta noul (sim/não), choice (2–255 opções; “decide melhor com até cerca de 16”), score (ordinal)
Entrada Texto e imagem (JPEG/PNG como data URI no state, até ~1 MP por padrão); sem vídeo. Existe uma pergunta box no pacote de imagem
Serving serve.sh (vLLM 0.30.0 padrão + shim) em http://127.0.0.1:8741/v1/systemone; também uma rota da OpenAI Decisions API (/v1/decisions)
Contexto 40.960 tokens no setup avaliado; entrada acima do limite devolve HTTP 422
Latência O JevBench mediu p50 de 29 ms na GPU (RTX 5090, loopback, sem rede); o card relata 38 ms de p50 do cliente numa L40S
Preço Self-hosted (só computação). Estimativa de custo do JevBench: US$ 0,021 por 1.000 decisões, a partir de preços de mercado do Qwen3.5-4B e 654 tokens de entrada em média
Demo Demo no Spaces feita pelo time do Hugging Face (ZeroGPU)

Placar independente: JevBench (conferido em 17/10/2026, board v1.7.46)

O resultado que a H2O.ai mostra no card é real no placar. É o composite oficial do placar de pesos abertos, a média harmônica de pesos iguais de Intelligence, Calibration, Speed e Cost.

Sistema Composite Intelligence Calibration Speed Cost US$ por 1.000
H2O-Lightning-4B v1.1 (aberto, 1º oficial) 72,5 60 90 93 60 US$ 0,021 (est.)
Jev 1.13.0 (referência hospedada, sem posição) 71,5 64 91 91 55 US$ 0,032
Quyet-1.0-Large (31B) 71,4 73 90 87 51 US$ 0,045 (est.)

Conferência: 4 / (1/60,0 + 1/90,0 + 1/92,6 + 1/60,3) = 72,5, igual à tabela do card. Três coisas para ler junto:

  • Composite não é Capability. No headline de Capability do placar (média de Intelligence e Calibration, sem velocidade nem custo) o H2O-Lightning-4B faz 75,0 e fica em 9º na tabela de pesos abertos. Os modelos de 31B lideram em Intelligence bruta (Quyet 73, decisio v0.8.0 70, contra 60 aqui). O 4B ganha em velocidade e custo.
  • Um sorteio, uma revisão. A linha são os pesos v1.1, medidos no pool selado da v1.6 com estimativa de custo rotulada. O main do card (v1.3.1) não tem resultado no placar.
  • Placar de imagem. No ImageJevBench v0.3.0 a linha “H2O-Lightning-4B (image)” de pesos abertos tem Capability 60,4 (Intelligence 44,9, Calibration 76,0), 11º por Capability, oficial #10, atrás de vários sistemas hospedados (kettei-fat 75,9, Sage 1.4 + images 75,8).

Fora do placar Decision Index 0.3 do Hugging Face. A rodada própria da H2O.ai do kit público do DI 0.3 dá à v1.3.1 texto 57,86 (two-way) / visão 67,13, um resultado próprio, não do placar (o Jev 1.13 tem 60,11 no placar; os dois não são comparáveis).

O que o card afirma (UnverifiedClaim)

  • 205/231 nos itens públicos do JevBench é a revisão v1.2.3, one-way, numa RTX PRO 4500. O main entregue (v1.3.1) faz 203/231 two-way e 198/231 one-way, e os testes pareados do card não acham diferença significativa entre v1.3.1 e v1.2.3 (p 0,75 two-way, 0,12 one-way).
  • Sets de imagem: 87,4%, ECE 0,017 em 1.877 perguntas que os autores montaram a partir das anotações de datasets públicos. Pontos fracos listados: contar muitos objetos pequenos (63%), ler valores em gráficos de linha, elementos de UI do Rico (65%).
  • Tabela de roteamento: com limiar de confiança 0,9, 53% das perguntas são escaladas e 0,7% passam confiantemente erradas, medido pela H2O.ai em 3.474 perguntas públicas de terceiros (v1.2.3, one-way).
  • O post no X diz que “venceu o Microsoft-Decision-1 e a Decisions API da OpenAI no JevBench” (verdade no composite: 72,5 contra 69,1 e 62,5 no placar de API, que o placar mantém separado do de pesos abertos) e que é “mais rápido que o Jev e quase tão capaz” (composite 72,5 vs 71,5, Intelligence 60 vs 64, p50 de 29 ms na GPU vs 0,24 s ponta a ponta do Jev 1.13).

Fit / anti-fit

Serve quando você precisa de: um modelo de decisão pequeno e aberto que roda numa GPU com vLLM padrão, no formato /v1/systemone, com imagens e um resultado de placar que não depende do vendor.

Não serve quando você precisa de: a maior acurácia bruta (os modelos de 31B pontuam mais em Intelligence), uma API hospedada com SLA, perguntas de escolha com muitas opções (melhor até ~16) ou vídeo.

Limites

  • Avaliado sobretudo em inglês. As probabilidades são calibradas para perguntas de decisão, não para texto aberto.
  • O placar mede a v1.1; os pesos do main são outros e não foram medidos pelo placar.
  • A latência é medida na GPU em loopback; a estimativa do próprio placar com rede é 0,21 s.
  • Fora do placar Decision Index 0.3 e do índice da Artificial Analysis.

Pesos abertos Apache-2.0, servidor /v1/systemone tipado, card documentado e um resultado de placar independente (1º composite entre pesos abertos). Mesma lógica de inclusão de Quyet e Span-02.

Conta das notas (17/10/2026)

  • Maturidade = disponibilidade 8 × 0,30 + docs 8 × 0,25 + integrações 3 × 0,25 + suporte 3 × 0,20 = 2,40 + 2,00 + 0,75 + 0,60 = 5,75 → 5,8
  • Capability = tipos 10 × 0,30 + calibração 7 × 0,25 + latência 7 × 0,25 + acurácia 8 × 0,20 = 3,00 + 1,75 + 1,75 + 1,60 = 8,10 → 8,1
  • Adoção = engajamento 25 × 0,35 + ecossistema 8 × 0,35 + produção 2 × 0,30 = 8,75 + 2,80 + 0,60 = 12,15 → 12

Disponibilidade 8: pesos Apache-2.0 com revisões fixadas (como o Lumma-fev); sem API hospedada, então não é 9. Docs 8: card longo e reproduzível com serving, calibração e modos de falha, mas sem site de docs separado. Integrações 3: /v1/systemone e uma rota da OpenAI Decisions servidas localmente (compatibilidade = 3). Suporte 3: empresa, sem SLA.

Tipos 10: choice, sim/não e score, mais imagens. Calibração 7: o eixo do placar é forte (90,0) e o card mostra método e ECE, mas o ECE é nos sets da própria H2O.ai (precedente: Quyet, Sage). Latência 7, não 8: os 29 ms são medidos pelo placar, mas em self-hosted por loopback e sem p99 (precedente linne-oak); com 8 a capability iria a 8,4. Acurácia 8: resultado de placar independente (regra GLiDE / d1-ultra), não 9 porque Intelligence 60 fica abaixo dos 63,6 do Jev.

Auditoria dos placares (17/10/2026)

publicado (OK do Fabricio 17/10 BRT). Conferido nos placares oficiais em 17/10/2026: Decision Index 0.3.2 (dados de 16/10, 19:00 UTC), JevBench e ImageJevBench ao vivo. Os placares são fontes separadas e nunca são combinados. Afirmações e posições antigas de placar mais abaixo nesta página ficam superadas quando conflitam com esta seção.

Placar Linha Resultado
JevBench pesos abertos (ao vivo 17/10) H2O-Lightning-4B v1.1 Capability 75,0; Intelligence 60,0; calibração 90,0; p50 0,029 s; US$ 0,021/1k
ImageJevBench v0.3.0 H2O-Lightning-4B Capability 60,4; Intelligence 44,9; calibração 76,0; p50 0,57 s; US$ 0,078/1k

Afirmações de status de placar nesta página para reconferir com a tabela (podem estar superadas):

  • “O main do card é a v1.3.1, que não está no placar.”
  • “Fora do placar Decision Index 0.3 do Hugging Face.”
  • “Fora do placar Decision Index 0.3 e do índice da Artificial Analysis.”

Atualização da nota (auditoria, 17/10/2026). Capability 8,1 → 8,1 (inalterada) = tipos × 0,30 + calibração × 0,25 + latência × 0,25 + acurácia × 0,20 = 10 × 0,30 + 7 × 0,25 + 7 × 0,25 + 8 × 0,20 = 8,10 → 8,1. Tipos, calibração e latência vêm da conta anterior (10 / 7 / 7); só a acurácia é refeita pelo placar (8; era 8): JevBench Intelligence 60,0 ÷ 63,6 × 8 = 7,5, arredondado para cima. Maturidade e adoção inalteradas.

Hugging Face em 17/10 (h2oai/h2o-lightning-4b): 4.142 downloads, 81 likes, tag de licença apache-2.0, última modificação 2026-10-17.

H2O Lightning 31B v1.1 no Decision Index (29/10/2026)

publicado (OK do Fabricio 29/10 BRT).

O irmão maior, h2oai/h2o-lightning-31b (fine-tune completo do Gemma 4 31B; repositório com acesso restrito, licença marcada como “other”, modificado em 29/10), entrou no Decision Index 0.4.1 como v1.1 em 28/10 (08:52 BRT): Full 68,64, #7 de 243, público 67,75, ECE do placar 0,074, mediana de 100 ms e p95 de 702 ms. No JevBench, o changelog de 28/10 (v1.7.13) também inclui o H2O-Lightning-4B v1.4.1 no novo sorteio de 27/10, por enquanto sem posição.

Notas inalteradas (5,8 / 8,1 / 12): a ficha é pontuada no 4B, cuja acurácia já é 8. O 31B, de acesso restrito, não é pontuado à parte.