None
RU
Hermes c локальными LLM vs GigaCode: сравниваем агентов на реальных PHP/Symfony-задачах
[]
Все публикации подряд на Хабре
Без этого навыка GigaCode в первых раундах просто гадал формат команд (падал на попытке экранировать кавычки) и сдавался без самопроверки.
Итог раундаРабочий результат из конкурсантов дали только Laguna и GigaCode.
Явное указание при втором шансе «пиши тесты» сработало у всех моделей — они действительно нашли тестовую инфраструктуру проекта, а не угадывали.
Модель Qwen 35B на усиленном промпте зациклилась и не сдала ничего — вторая попытка вышла хуже первой.
Победитель — Laguna S 2.1 118B A8.5BРазрыв с GigaCode на бумаге небольшой — 35 против 32 — но за этими цифрами разная история.