Sur ARC-AGI-3, le même modèle passe de 30 % à 96 % en changeant de harnais
Jeremy Berman a publié le 12 août le code d'un harnais qui fait jouer un agent aux 25 jeux du benchmark ARC-AGI-3. Le dépôt annonce 30,2 % pour le modèle seul, 96,2 % avec le harnais - 24 jeux gagnés sur 25, 99,3 % en pass@2 avec les 25 jeux gagnés, pour environ 540 $.
Le harnais n'a presque rien de spécifique à ARC : Claude Code, six outils pré-approuvés (Bash, Read, Write, Edit, Grep, Glob), ni serveur MCP, ni sous-agents, ni greffons. En une passe, le modèle a écrit 269 programmes, environ 12 700 lignes, tous jetés à la fin de leur partie. Le même harnais avec Codex : 73,7 %, et 26 971 actions contre 8 789.