Архив рубрики ‘Тестирование’

Зелёные галочки лгут: почему AI пишет тесты, которые ничего не тестируют, и как это починить

Тесты зелёные, покрытие растёт, а багов меньше не становится. На QA-митапе инженер из крупной продуктовой компании показал механику: AI-агенты подгоняют моки, меняют ассерты, генерируют результаты, которые ничего не проверяют. Стек у команды — near-SOTA. Модель свежая. Агент — один из лидеров open-source. Значит, дело не в инструментах. А в чём именно — разбираю ниже: от […]

Пробуем на себе: LLM в разработке

Рассказываю о реальном опыте использования AI в разработке и о тех практических результатах, которых удалось добиться за один год регулярной работы с современными языковыми моделями. Спойлер: получилось многое, но не все.

AI-Driven подход «Harness Engineering»: наступившее будущее или лишь метод с ограничениями?

В какой-то момент мне стало интересно не “умеет ли агент писать код”, а другой вопрос: можно ли провести заметную инженерную задачу так, чтобы продуктовый код руками не писать вообще. То есть совсем. Человек формулирует задачу, задаёт ограничения, пишет тест кейсы, ревьюит результат и проводит финальные проверки. Все изменения в коде делает агент.

Soft skills в IT: почему я против?

Не так давно я ездила на конференцию, где в том числе разбиралась важность мягких навыков, хотя вообще конференция то была по моделям ИИ и по тестированию. Но даже сюда, в святую святых для меня, в тестирование, запихали эти их «важные» навыки. Я перечислю основные мягкие навыки, которые разбирались. Адаптивность, коммуникабельность, стрессоустойчивость, тайм менеджмент, эмоциональный интеллект, […]

Почему 80% автотестов в итоге не окупаются

Вступление Автоматизация тестирования почти всегда начинается одинаково. Мы пишем автотесты, ускоряем релизы, ловим баги раньше и вроде бы делаем бизнес счастливым. В первые месяцы всё действительно работает: тесты быстрые, фидбэк полезный, ручного тестирования меньше. А потом проходит пару лет — и что-то идёт не так. Автотесты начинают падать «просто потому что». Прогоны растягиваются на часы. […]

Хроники Agent Driven Development трансформации .1: улучшаем agent feedback loop

Это первая статья из цикла «Хроники Agent Driven Development трансформации». В цикле я рассказываю, как постепенно перевожу реальный продакшен-проект на рельсы agent-driven development — когда LLM-агенты становятся полноценными участниками разработки, а не просто подсказчиками в автокомплите. В нулевой статье я рассказал, как ускорил прогон ~800 тестов в 6 раз — с 10 минут до 101 […]

Вайб-кодер и Claude убивают стартап. Осталось немного

Каждый день из каждого утюга мы слышим про вайб-кодинг и сказки о невероятных возможностях AI. Слышим, что программисты скоро будут не нужны. Да и вообще ИИ заменит всех кожаных, держащих в руках мышку.

Telegram-бот для дисциплины: от монолита к модульности, реферальной системе и тотемным животным

Привет, Хабр!

SQL для QA: 10 задач, которые реально дают на собеседованиях

Содержание Зачем QA вообще SQL? SELECT, WHERE и базовый синтаксис ORDER BY, LIMIT, DISTINCT JOIN — главный вопрос собеседования Агрегатные функции GROUP BY и HAVING Подзапросы Задачи с реальных собеседований UPDATE и DELETE — с осторожностью 5 ловушек, на которых валятся кандидаты Чек-лист перед собеседованием

Нет времени на тесты — через неделю релиз

Меня зовут Тимофей, я руководитель отдела разработки kkube. В этой статье я хочу поделиться с вами своими мыслями об автотестах. Коротко пройдёмся по темам: Тесты — это для «правильных айтишников» или действительно необходимая вещь? Как быть с тестами в условиях дефицита бюджета и времени? Почему разработчики сами саботируют тесты — и даже не замечают этого? […]