Copier + LLM: почему одной LLM не хватило

Copier + LLM: почему одной LLM не хватило - 1

Привет, Хабр! Я Владимир Кузнецов, тимлид бэкенд разработки продукта FindFace Multi (и других продуктов на его основе) в компании NtechLab.

Этой весной мы получили от бизнеса задание, требующее создания 8 объемных сервисов за полгода командой из 3-х человек. Мы поняли, что ручным набором кода не успеем. Попробовали LLM — обожглись. Увидели пользу детерминированной генерации (copier) и поверх нее подключили LLM.

В итоге на 6 сервисах сэкономили порядка 1 человеко-года разработки, количество багов в фичах упало почти до нуля. devx улучшился.

Хочу поделиться с вами рассуждениями и технологиями, которые позволили этого достичь — уверен, они и вам помогут повысить скорость и качество разработки.

Цель: создать 8 python сервисов в сжатые сроки

Сервисы различались интерфейсом (grpc / http), очередями (nats / kafka).

Но в тоже время некоторые из них имели повторяющиеся части (настройки логирования, обработку ошибок, otel инструментацию, БД + object storage, outbox паттерн).

Stakeholder-ы были разными, поэтому нужны были разные сервисы.

Гипотеза: LLM позволит нам это сделать и нас устроит результат

Вдохновлялись экспериментом OpenAI, показавшим успешное создание продукта, в котором весь код и тесты написаны LLM, а человек лишь направлял генерацию.

Мы использовали Qwen3-Coder-30B-A3B-Instruct (в начале года только на него хватало железа, а публичную LLM использовать было нельзя).

Оказалось, что нет стабильности и воспроизводимости

Проблемы начались уже с попытки настроить наблюдаемость: ИИ агент не смог сгенерировать рабочий docker-compose.yaml и конфиги для Victoria stack.

При написании кода пытался починить тесты переносом файлов в другие папки, чем ломал требуемый layout.

Стало понятно, что человеку придется читать код и, скорее всего, лично его дорабатывать.

С корректностью кода была надежда на улучшение за счет обновления harness и модели.

Однако LLM писала код всегда по-новому.

Если бы мы отмасштабировали это на несколько сервисов, то погрязли бы в поддержке как в болоте: знакомство с организацией кода в одном сервисе не помогало бы разобраться в другом + везде были бы разные ошибки.

Что и как пытались стабилизировать:

  1. код

    1. стандарты (приведен не весь список)

      1. snake / kebab case

      2. API

      3. наблюдаемость (json логи, otel)

      4. cloudevents

      5. Vertical Slice Architecture (VSA)

    2. линтеры

      1. codespell

      2. ruff

      3. ty

      4. wemake-python-styleguide (WPS)

  2. результат выполнения кода

    1. тесты

    2. ralph loop (manual)

    3. self evolution (промпты модель сама меняла)

Решение: генерация каркаса сервиса по шаблону (copier) + LLM для уникальных фич

За кажущимся многообразием сервисов получилось увидеть паттерн:

src
  {service_name}
    config
      settings.py
      {di}  # dishka
    features
      {feature_name}
        {operation}
    infrastructure
      {clients}
      {messaging}  # faststream (pub & sub)
      {migrations}
      {observability}  # OTEL, pyroscope, structlog
      {orm}  # advanced alchemy
      {outbox}
    interfaces
      {cli}
      {grpc}
      {http}  # litestar + msgspec
justfile
Dockerfile
pyproject.toml

И превратить его в copier шаблон с вопросами (не cookiecutter, т.к. хотели обновлять генерацию при изменении шаблона).

Cгенерировали из него каркасы для нескольких сервисов и стали подключать LLM к генерации конкретных слайсов (в папке features).

Используемые инструменты перечислены в конце статьи.

Почему такой layout

Для высокой эффективности разработки нужно (g = goal):

  1. Быстро найти, где менять код

    1. на основе лога

    2. со слов менеджера => ubiquitous language

  2. Чтобы изменения “здесь” не сломали что-то “там” => VSA (слайсы по бизнес-функциям, а не по техническому сходству)

Полезные принципы (p):

  1. Better clear than clever © Rob Pike

  2. Screaming architecture

Для себя сформулировал такое определение на основе вышесказанного:

Код — дословная проекция бизнес-процесса с явным вызовом бизнес-правил.

Как это привело меня к такому экспериментальному layout

(g1) + (g2) => VSA (она также соответствует (p2))

Автор VSA, Jimmy Bogard, в вертикальный слайс помещал, помимо бизнес-логики, инфраструктурный код (для взаимодействия с БД как минимум) и сериализацию.

Но часть кода не относится к конкретной бизнес-функции:

  • код для наблюдаемости

  • интерфейсы сервиса

  • конфигурация инфраструктуры

  • общие клиенты к инфраструктуре

  • outbox паттерн

  • миграции БД и т.д.

=> согласно (p1) лучше сделать их отдельными папками. (Взаимодействие с БД мы пока перенесли туда же).

=> вертикальные слайсы — это содержимое папки features (там остается бизнес-логика, нужные ей интерфейсы и сериализация).

Что размещать в один слайс, а что в разные — пока экспериментируем.

Что внутри слайса:

Программа реактивна: она либо реагирует на событие о наступлении времени (как cron job), либо на внешний сигнал (команда пользователя или сообщение от другой системы).

(g1) + (p1) + (p2) => внешние сигналы (и их обработчики) стоит явно выделить папками и назвать глаголами.

Архитектура слайса:

В простом случае — слоеная (layered). В сложном — гексагональная (hex). dishka позволяет получать зависимость как по интерфейсу (hex), так и по реализации (layered).

Согласно (p1) лучше начинать со слоеной.

Выводы и дальнейшее направление разработки

На создание стандартов и каркаса потребовалось 2 человеко-месяца. Сейчас каркас лежит в основе 6 сервисов, что уже сэкономило порядка 1 человеко-года разработки.

Приятным бонусом стало почти полное отсутствие багов в фичах (для сравнения: legacy сервисы отнимали около 50% времени на исправление багов, из которых 95% выявлялись на этапе тестирования).

Также оказалось, что код каркаса стал хорошим контекстом для LLM (in-context learning), повысив качество генерации (naming, паттерны и т.д.).

Следующий шаг — построение фабрики генерации ПО и изменение связанных процессов ради этого.

Кроме этого, мы продолжаем обогащать каркас востребованными фичами и стабилизировать implementation loop, в которой ИИ агент генерирует и чинит код.

На этом все, спасибо за внимание!

P.S. используемые в каркасе инструменты:

Инструмент

Функция

Архитектура и зависимости

dishka

Внедрение зависимостей (DI): скоупы, финализация, singleton в рамках скоупа. Удобно для unit тестов, решает проблему утечки файловых дескрипторов.

Линтеры

codespell

Линтер и форматтер опечаток.

deptry

Линтер импортов сторонних библиотек. Требует явного указания в pyproject.toml импортируемых в коде библиотек.

hadolint

Линтер для Dockerfile.

ruff

Линтер и форматтер кода. На Rust.

tach

Линтер импортов между модулями проекта. Аналог import-linter, но позволяет создать правила без перечисления всех модулей, например, path = "service.features.*" depends_on = [] запретит импорты между фичами на уровне подмодулей. На Rust.

ty

Type checker и language server для Python. На Rust.

wemake-python-styleguide (WPS)

Линтер “когнитивной нагрузки” и code smells . Единственный линтер из списка, который приводит к рефакторингу кода.

Управление проектом

copier ~ uv tool copier

Генератор кода на основе jinja шаблонов. Аналог cookiecutter, но умеет обновлять генерацию после изменения шаблона (полагается на git).

just (justfile) ~ uv tool rust-just

Аналог makefile, только удобнее. На Rust.

uv

Менеджер пакетов, версий питона и инструментов (uv tools). На Rust.

БД, сериализация и конвертация

adaptix

Конвертер инстансов разных классов. Автоматически маппит одноименные поля, остальное кастомизируемо.

advanced-alchemy

Компаньон для SQLAlchemy: готовые репозитории для CRUD-операций.

msgspec

Быстрая сериализация и валидация данных: JSON, MessagePack, YAML, TOML. Удобен тем, что одна библиотека для HTTP и очередей.

HTTP

httpx

HTTP-клиент: синхронный и асинхронный API, поддержка HTTP/1.1 и HTTP/2.

litestar

ASGI сервер с поддержкой msgspec.

gRPC

grpcio

Официальный Python-пакет для реализации gRPC.

grpcio-reflection

Аналог ручки с OpenAPI схемой у HTTP сервера. По ней grpcui может сгенерировать интерактивный web интерфейс.

grpcui

Интерактивный веб-интерфейс для gRPC-серверов (аналог OpenAPI UI).

Асинхронная коммуникация и очереди

faststream

Единый API для разных очередей: Kafka, RabbitMQ, NATS.

Тестирование

mutmut

Мутационное тестирование. Проверяет чувствительность тестов к мутациям кода. Тривиальный пример: 100% покрытие, везде assert True => чувствительность тестов к мутациям кода = 0.

schemathesis

Тестирование API по OpenAPI/GraphQL: генерирует запросы по спецификации и сверяет ответ сервера с ней. Целенаправленно проверяет граничные случаи.

testcontainers

Docker-контейнеры с БД, очередями и прочими сервисами, которыми можно управлять из кода. Удобны для интеграционных тестов и генерации миграций для БД.

Наблюдаемость

opentelemetry-python

Официальный Python API и SDK для OpenTelemetry — стандарта сбора телеметрии (трейсы, метрики, логи).

pyroscope

Сэмплирующий профайлер, который можно не выключать (делает снимки стэка вызовов несколько десятков раз в секунду и показывает, что долго длится).

structlog

JSON logs + pretty print (можно переключаться в зависимости от sys.stderr.isatty()).

Автор: Yoggdrasil

Источник

Оставить комментарий