Разработка аппаратного продукта — это результат совместной работы архитекторов, схемотехников, конструкторов и программистов. Однако ни одна аппаратная платформа не сможет пойти в серию без специалистов, которые соберут все воедино: выполнят сборку, проведут отладку, доработают решения, запустят систему и при необходимости выполнят ремонт.

Меня зовут Артём Болтов, я ведущий специалист в отделе сопровождения разработки YADRO. Наша команда связывает проектирование и разработку с реальной эксплуатацией оборудования. Мы находимся между схемами, репозиториями, задачами в таск-менеджере и реальностью серверных стоек, стендов и лабораторий. В статье расскажу, какие задачи решают специалисты отдела разработки, какими навыками должен обладать такой инженер и при чем тут тонкое инженерное искусство.

Что такое предсерийные образцы и зачем нужен отдел сопровождения разработки

Предсерийные образцы — первые «живые» версии будущего продукта: платы и устройства ранних ревизий, которые еще далеки от серийного производства. Именно на этом этапе становится понятно, как теоретические решения работают в реальности: совмещаются ли компоненты с платами и механикой, запускается ли устройство, выдерживает ли нагрузку, не «всплывают» ли ошибки, которые невозможно увидеть в моделировании.

Без предсерии невозможно выпустить стабильный продукт: здесь выявляются проблемы, исправление которых на стадии серийного производства было бы в разы дороже и рискованнее.

Отдел сопровождения разработки находится между проектированием, активной разработкой и тестированием. Команда подключается после первичного бринг-апa плат схемотехниками и сопровождает продукт вплоть до готовности к передаче в производство и сервис.

Упрощенно цепочка работ выглядит так:

• схемотехника,

• топология плат,

• bring-up,

• сопровождение разработки (предсерия),

• тестирование,

• новая ревизия — предыдущие пункты повторяются заново, пока количество доработок станет минимальным, чтобы сократить время производства новых плат без доработок, 

• производство и сервис.

Отдел работает сразу со всеми участниками процесса: конструкторами, схемотехниками, системными архитекторами, разработчиками прошивок, тестировщиками.

Чем сопровождение разработки отличается от сервиса

По функциям команда частично похожа на сервис, но принципиальная разница — в стадии продукта. Сервис работает с уже зрелыми решениями, где известны типовые проблемы и способы их устранения.

Предсерия же — работа в условиях высокой неопределенности: прошивки обновляются ежедневно, часть функциональности еще не реализована, стандартные инструменты диагностики могут просто не работать на ранних стадиях продукта. Способы диагностики появляются по мере разработки прошивок.

Фактически отдел сопровождения разработки — это «руки» R&D. Все физические операции с железом выполняются здесь. Подробнее о них — ниже.

Диагностика и ремонт предсерийных образцов

Ремонт начинается с воспроизведения проблемы. Если баг заявлен тестировщиком или разработчиком, сначала подтверждается, что он действительно повторяется.

Дальнейшие шаги зависят от симптомов.

Если устройство не запускается или зависает — в первую очередь проверяется конструктив. 

Если проблема появляется после обновлений или ведет себя нестабильно от версии к версии — проверяются прошивки и выполняется откат на последнюю заведомо рабочую конфигурацию. 

Если наблюдаются спонтанные перезагрузки, ошибки или нестабильность под нагрузкой — проверяются линии питания и потребление. 

Если есть подозрение на аппаратный дефект — выполняется замена компонентов или доработка платы.

Если устройство определяется, но работает некорректно — например, не поднимается интерфейс или есть ошибки передачи — проводится ручная диагностика сигналов с использованием осциллографа и логического анализатора.

Во многих случаях главным инструментом остаются опыт инженера и понимание, на какой стадии разработки находится продукт и какое поведение для стенда является нормой.

Поиск причин отказов

Так как разработка идет одновременно и по железу, и по софту, команда всегда проверяет оба направления. Проблема может оказаться:

• в прошивке — например, некорректное обновление,

• в питании или разводке,

• в механике (плата физически повреждается при установке).

Иногда дефекты проявляются только спустя время, и тогда обратная связь возвращается конструкторам, системным архитекторам для доработки следующих ревизий.

К моменту зрелых ревизий устройство проходит через множество циклов сборки, ремонта и обновления. Команда обеспечивает, чтобы у всех подразделений были актуальные стенды, а накопленные проблемы и решения были зафиксированы и переданы дальше по цепочке.

Задачи команды на реальных примерах

Первые стенды редко выглядят как полноценные серверы. На старте это может быть просто материнская плата без корпуса и дополнительной начинки, а иногда механика приходит позже.

Сборка начинается с совместной сессии: схемотехник, конструктор и команда сопровождения разработки вместе собирают первый стенд, проверяют совместимость, фиксируют механические и конструктивные проблемы. Формируется список замечаний: что не встает, где мешает, что требует доработки. По мере готовности прошивок стенд «обрастает» компонентами, но строго поэтапно, чтобы не повредить устройство.

Эксперимент с bypass ретаймеров PCIe

На фото ниже — пример типичной предсерийной доработки платы.

Задача была проверить, сможет ли линия PCIe работать без ретаймеров. Ретаймеры ставят на длинных трассах — например, в бэкплейнах серверов, чтобы восстанавливать сигнал. Но они добавляют задержку, повышают энергопотребление, сложность схемы. Поэтому иногда возникает вопрос: действительно ли они нужны в конкретной топологии?

Чтобы проверить гипотезу, выпускать новую ревизию платы не стали — это заняло бы несколько недель. Вместо этого ретаймеры физически обошли на существующей плате.  Для этого инженер отдела сопровождения разработки отключил сигнальные линии PCIe от микросхем, соединил дифференциальные пары напрямую — тонким эмалированным проводником — под микроскопом. Каждый такая пара проводов — это одна дифференциальная пара. А у PCIe их 16, так что таких ретаймеров нужно четыре штуки.

В итоге на одном бэкплейне появилось несколько десятков проводников. Поскольку эксперимент проводился на четырех платах, работа получилась довольно масштабной. Подобные временные доработки обычно называют bodge wires — проводные модификации схемы прямо на существующей плате. Выглядит немного хаотично, но позволяет проверить инженерную гипотезу за один день, а не ждать новую ревизию PCB.

Диагностика и устранение неисправности интерконнекта

Иногда причина сбоя работы системы оказывается совсем не там, где ее ищут. Производительность оборудования может упасть не из-за ошибки в коде, а из-за перегрева, пыли или изношенного компонента на тестовом стенде, который работает под нагрузкой. Например, в ходе стендовых испытаний выявили неработоспособность интерконнекта между устройствами. Стандартные диагностические процедуры (обновление firmware и повторная переустановка соединений) проблему не устранили.

После частичной разборки стенда обнаружили признаки термического повреждения и деградации контактов разъемов питания. Это привело к нарушению цепей питания и некорректной работе интерфейсов.

В результате такой тип подключения заменили на альтернативный интерфейс с более высокой надежностью и пропускной способностью.

Кто работает в отделе: роли и специализации

Работа делится между тремя пространствами:

• тестовые лаборатории (работа со стендами),

• сборочные столы,

• лаборатории пайки.

Отдел состоит из двух основных групп.

Инженеры по сборке оборудования

Работают с устройствами целиком: сборка, разборка, диагностика, замена компонентов, взаимодействие с разработчиками и тестировщиками.

Сборочный стол — это центр повседневной работы сборщиков. Здесь разбирают и собирают серверы, меняют компоненты, готовят стенды. На столе обычно находятся:

• наборы отверток и инструментов,

• магнитные лотки для десятков видов крепежа,

• расходники и комплектующие.

Инженеры по электронике

Подключаются на ранних этапах и при сложных отказах: выполняют доработки плат, перепайку компонентов, исправление ошибок схемотехники. Работают в отдельной лаборатории, но в тесной связке с основной командой.

Всего в отделе 10 человек.

Я работаю инженером по предсерийным образцам. Если сборщики работают с устройством на уровне системы — с сервером или стендом целиком, то я подключаюсь на уровне электронных компонентов.

Моя зона ответственности — печатные платы ранних ревизий: материнские платы, бэкплейны и различные модули, которые приходят с производства в виде первых прототипов. На этом этапе практически всегда требуется ручная инженерная работа.

Первая ревизия платы редко оказывается идеальной. В предсерии довольно часто приходится вносить изменения прямо на существующую плату. Это может быть замена компонентов на другие номиналы, установка дополнительных элементов, отключение отдельных цепей, прокладка инженерных соединений, исправление недоработок схемы или топологии PCB. Приходилось даже «спасать» уникальный прототип — плату в единственном экземпляре.

Иногда изменения выглядят довольно необычно — например, на многослойной плате появляется провод толщиной меньше человеческого волоса, который соединяет две точки схемы. Такие модификации позволяют проверить гипотезу разработчиков без выпуска новой ревизии платы, что экономит недели времени.

Работа с платами — это не только пайка

Очень часто приходится заниматься аппаратной диагностикой: проверять линии питания, анализировать состояние аппаратных шин, измерять сигналы на интерфейсах, искать короткие замыкания и дефекты монтажа.

Например, на одной из плат не работал USB-интерфейс. Программная часть выглядела корректной, питание и тактирование тоже были в норме. После проверки сигнальных линий выяснилось, что дифференциальная пара USB была перепутана — линии подключены крест-накрест. 

Исправлять схему новой ревизией платы долго, поэтому проблему решили так: отключили дорожки, выполнили правильное соединение тонкими проводниками. После этого интерфейс заработал корректно.

Для диагностики устройств используется лабораторное оборудование: осциллографы, логические анализаторы, мультиметры, программаторы. На ранних этапах разработки стандартные средства диагностики могут еще не работать, поэтому иногда единственный способ понять, что происходит, — посмотреть сигнал напрямую на плате.

В предсерии аппаратная и программная части развиваются одновременно. Поэтому инженерам часто приходится работать и с программной частью: прошивать микросхемы, проверять версии прошивок, подключаться к отладочным интерфейсам, анализировать логи системы. Очень часто проблема оказывается на границе двух миров: схема может быть исправна, но из-за особенностей прошивки устройство ведет себя не так, как ожидается.

Иногда для экспериментов требуется нестандартная оснастка: держатели плат, адаптеры, элементы крепления. Для таких задач используются 3D-принтеры, простая механическая обработка, изготовление временных приспособлений.

Роль инженера по электронике требует одновременно понимания схемотехники, навыков точной пайки, опыта работы с измерительным оборудованием, базовых знаний программной части систем. Поэтому внутри команды такие специалисты часто становятся «мостиком» между разработчиками, тестировщиками и реальным железом.

Навыки, которым нужно обладать, чтобы попасть в сопровождение разработки

Работа подойдет тем, кому хочется:

• применять системное мышление,

• разбираться в электронике не только на уровне схем и документации, но и на уровне реального железа,

• развивать внимание к деталям,

• общаться с большим количеством команд,

• работать руками и головой одновременно.

Подойдет выпускникам радиотехнических специальностей техникумов и вузов. Это хорошая возможность войти в сферу электроники и разобраться во всем цикле разработки.

В течение одного дня можно заниматься диагностикой питания на новой ревизии платы, проверять сигналы на интерфейсах, перепрошивать микросхемы или искать причину, по которой устройство не запускается. Многие задачи приходится решать сразу на прототипах: проверять гипотезы, делать временные доработки и смотреть, как система ведет себя в реальных условиях.

Такая работа требует внимательности, терпения и инженерного любопытства. Чаще всего в эту область приходят инженеры электроники, специалисты производства или hardware-поддержки — те, кому интересно не только проектировать системы, но и работать с ними руками, понимая, как теоретические решения ведут себя в физическом устройстве.

Тем, кто хочет развиваться в этом направлении, полезно изучать смежные области: схемотехнику, проектирование печатных плат, диагностику электроники и embedded-системы. Сейчас есть много открытых материалов по этим темам — лекции, технические блоги и инженерные каналы, где подробно разбирают реальные задачи разработки электроники. Если вы только погружаетесь в мир схемотехники, то начните с этого курса.

Однако большая часть навыков все равно приходит из практики — работы с платами, измерительным оборудованием и прототипами устройств.