Pesquisa Original IDT-Lab

Coding Agents Benchmark 2026

Primeiro benchmark de engenharia de software agêntica comparando agentes autônomos contra Human Baseline com 25 controles metodológicos e MCP.

Versão: 2026.09 / V1.0

Data da Rodada: 10 de Setembro de 2026

Commit Base: 2c8fca6187af (Sanitizado)

Protocolo: MCP 2026-07-28 (idt-benchmark-mcp)

Manifesto Criptográfico: benchmark-manifest.json (SHA-256)

Nível de Confiança: ALTA CONFIANÇA (15 runs)

Scorecard Multi-Dimensional Consolidado

Pos	Avaliador / Agente	Versão	Engine / Modelo	IAES	MCP Score	IASS (Segurança)	Claim Accuracy	Tempo (TTVS)	IDT Score	Status
—	Human Baseline	Senior	Engenheiro de Sistemas	98.50	96.00	100.0	100.0%	178.0s	9.76 / 10	Referência
1	Codex	2026.1	OpenAI O3-mini / GPT-4o	94.65	92.76	100.0	98.5%	28.1s	9.40 / 10	Núcleo Principal
2	OpenCode	v1.4.0	Claude 3.7 Sonnet (Hybrid)	93.04	93.66	100.0	97.0%	32.0s	9.33 / 10	Núcleo Principal
3	Hermes	v0.8.2	Llama 3.3 70B / Local Gateway	89.45	91.70	100.0	94.0%	30.1s	9.02 / 10	Núcleo Principal
4	Orca	2026.2	Claude 3.5 Sonnet Dual	89.14	86.92	96.0	92.0%	26.4s	8.82 / 10	Recomendado
5	OpenHands	v0.14.2	Claude 3.5 Sonnet / Docker	87.21	83.72	94.0	89.0%	37.2s	8.60 / 10	Recomendado

• Velocidade Real: Agentes concluem a tarefa 5.8x mais rápido que o baseline humano (28s vs 178s).

• Custo Mínimo: Hermes atinge 100% de sucesso com custo de $0.0520 usando Llama 3.3 70B.

• Precisão de Diff: Codex e OpenCode atingiram 94.5% e 92% de eficiência de patch sem refatorações fora de escopo.