01 / BUILD
Artefato construído
Erro ou estado não observável não satisfaz a métrica principal.
Hipótese pública, resultado auditável
Antes de dizer “melhor”,
publicamos como medimos.
A comparação usa os mesmos pedidos full-stack, projetos vazios, avaliação funcional cega e uma grade congelada antes da primeira execução. Falha e timeout continuam no denominador.
Grade pré-registrada
Cinco produtos.
Seis problemas.
Cinco repetições.
Cada célula é sorteada antes da execução. Não existe “melhor tentativa”: um novo teste cria outra rodada, sem apagar a anterior.
Produtos
05
mesmo prompt, conta e versão registradas
Prompts
06
domínios full-stack com invariantes reais
Repetições
05
toda falha permanece na amostra
A régua
Velocidade sozinha não entrega
Sucesso autônomo exige todas as dimensões. Ausência de evidência não vira aprovação.
02 / BOOT
Candidato inicia
A aplicação precisa responder sem falha fatal de runtime.
03 / FUNÇÃO
Todos os checks passam
Autorização, concorrência e integridade contam — não só aparência.
04 / HUMANO
Intervenção registrada
Follow-up, edição, retry e debugging retiram o trial do numerador autônomo.
05 / CUSTO
Evidência ou indisponível
Valor ausente fica ausente; a planilha nunca converte falta de dado em zero.
06 / TEMPO
Até o terminal real
Falha e timeout conservam a duração completa, sem cortar cauda ruim.
Arquivos públicos
Audite antes de acreditar
Regra de publicação
Claim vence junto com a prova.
Uma mudança na metodologia ou na versão testada invalida a comparação. A rodada também expira por idade. O site só aceita numerador, denominador e taxa derivados do digest vigente.
O protocolo mede estes casos e versões. Ele não autoriza concluir que um produto é superior em qualquer app, para qualquer pessoa ou indefinidamente.