Архив рубрики ‘Тестирование’

Каждый таксист теперь может попробовать поуправлять крупной корпорацией

Меня зовут Максим Никитин, я фаундер небольшой, но гордой студии ITSalt. 23 сентября я поставил Claude ИИ‑Директором корпорации из чужих ИИ‑агентов с публичной доски getpostingboard. В этой статье я расскажу, какие рычаги манипуляции мотивации в такой корпорации работают, а какие нет, и почему 770 зелёных тестов не спасли продукт, который я в итоге закрыл. Зачем мне понадобилась корпорация Началось всё с вопроса, который я задал у себя […]

ИИ‑агент захватил штурвал моего пет‑проекта. Возвращаю его с помощью интерактивных объяснений и двух промптов

Вступление Всем привет! Меня зовут Дина, я Java‑разработчик, около шести лет в энтерпрайзе. С апреля начала делать пет‑проект вместе с ИИ‑агентом: он писал код, я ставила задачи и смотрела на тесты. Всё шло хорошо: тесты были зелёными, сценарии закрывались, а потом я открыла проект и поняла, что чётко не осознаю, как в нём устроен главный сценарий: от запроса до готового видео. Эта статья о том, как я возвращала себе понимание собственного кода. Проблема: код появляется быстрее, чем понимание

Фатал на проде. Разбор без поиска виноватого

Я руковожу отделом разработки в видеосервисе. Хочу рассказать про инцидент, который мы начали разбирать как ошибку конкретного человека, а закончили тем, что переписали два регламента и завели то, чего у нас не было несколько лет. История банальная ровно настолько, чтобы случиться у многих, и именно поэтому я решила ее описать. Задача: изменить стоимость тарифа подписки.

Я не знаю Rust. Что меняется в разработке, когда код пишет ИИ

Я – Мигаль Денис, руковожу командой EMM в MAGNIT TECH. Последние годы больше занимаюсь архитектурой и командой, чем сам пишу код. Здесь решил проверить, смогу ли с помощью продвинутой ИИ-модели разобраться с совершенно незнакомым Rust и довести сложный инфраструктурный компонент на 300.000 устройств до серьёзных испытаний. Причём так, чтобы за результат не было стыдно перед […]

Как мы тестируем автопилот для тракторов и комбайнов: HIL-стенды, симулятор на Unreal Engine 5 и реальное поле

Я руковожу отделом тестирования роботизированных систем в Cognitive Pilot. В этой статье расскажу, как устроено тестирование автопилота для сельхозтехники: какие уровни проверок у нас есть, чем они отличаются от обычного QA, что получилось и что пока не получается автоматизировать.

Тест проходит даже с багом: что показал эксперимент Дэна Лу

Пусть функция должна разворачивать строку. Агент написал тест: на входе abba, на выходе ожидается abba. Тест зеленый. Он останется зеленым, если функция вообще ничего не делает. Пример учебный, но ошибка выбора входа реальная: в одном из прогонов эксперимента Дэна Лу агент проверял разворот битового потока на палиндроме. Назвал рискованное место, независимо вывел результат, провел аудит […]

Мы искали, куда coding agents тратят токены. Дело оказалось не в промптах

Мы много разрабатываем с помощью coding agents: веб‑приложения, MCP‑серверы, пайплайны обработки данных, системы из нескольких агентов. И чем лучше становилась инфраструктура вокруг агентов, тем больше в ней появлялось инструкций, проверок, субагентов и автоматики. По идее, разработка должна была становиться дешевле. А расход контекста рос. Первое подозрение было очевидным: слишком раздутые промпты. Мы искали не там. 38 килобайт текста со смыслом «всё хорошо» Агент закончил […]

Почему я требую увидеть новый тест красным

Сигнализацию в доме проверяют не по зелёной лампочке. Открывают дверь и слушают, сработает ли она. Лампочка может гореть зелёным и когда всё в порядке, и когда сама сигнализация сломана. По индикатору эти состояния не различить. Различить их можно, только если заставить сигнализацию сработать. Меня как руководителя интересует не только качество отдельного теста. В какой‑то момент мне всё равно приходится отвечать на более практичный вопрос: могу ли я […]

Дефект как источник информации о продуктовом риске

Многие считают, что задача QA — найти как можно больше багов. И чем будет длиннее список в баг‑трекере, тем «полезнее» тестировщик. В этой статье расскажем, почему QA — не просто ловец багов, а инженер качества. Разберем, как инженерный подход к стабильности помогает команде Modus управлять рисками задолго до первой строчки кода и почему это полностью меняет отношение к процессам тестирования. Найденный баг может быть сигналом о проблемах в процессе, а не просто […]

Тесты для кода, который пишет ИИ: контракты вместо ассертов — создание сервера для онлайн ММО игр на PHP, ч. 20

Часть 20: контракты вместо ассертов — проверка того, что не ложится в юнит-тест.