Тесты для кода, который пишет ИИ: контракты вместо ассертов — создание сервера для онлайн ММО игр на PHP, ч. 20
Часть 20: контракты вместо ассертов — проверка того, что не ложится в юнит-тест.
Часть 20: контракты вместо ассертов — проверка того, что не ложится в юнит-тест.
Вступление Когда в компании начинают выстраивать автоматизацию тестирования, чаще всего обсуждают инструменты, фреймворки, CI/CD, архитектуру тестов и покрытие. Но заметно реже задают более приземлённый вопрос: а что вообще не стоит автоматизировать?
Помню, как несколько лет назад на собеседовании, когда я ещё была, считай, новичком в тестировании, меня спросили: «Что делать, если до релиза остался день, а полная регрессия занимает три?» Точно помню, что тогда я прекрасно поняла, что собеседующий хочет проверить не знание определения, а ход моих размышлений. Но с ходом размышлений случилась проблема.
Тесты зелёные, покрытие растёт, а багов меньше не становится. На QA-митапе инженер из крупной продуктовой компании показал механику: AI-агенты подгоняют моки, меняют ассерты, генерируют результаты, которые ничего не проверяют. Стек у команды — near-SOTA. Модель свежая. Агент — один из лидеров open-source. Значит, дело не в инструментах. А в чём именно — разбираю ниже: от […]
Меня зовут Тимофей, я руководитель отдела разработки kkube. В этой статье я хочу поделиться с вами своими мыслями об автотестах. Коротко пройдёмся по темам: Тесты — это для «правильных айтишников» или действительно необходимая вещь? Как быть с тестами в условиях дефицита бюджета и времени? Почему разработчики сами саботируют тесты — и даже не замечают этого? […]
В первой части мы озвучили следующие тезисы: