Давайте поговорим о доверии и границах

Я женщина, поэтому даже в технической области я спокойно могу говорить на эти темы (надеюсь, в комментариях не обозлятся за это высказывание).

Ответьте себе на вопрос: где проходит ваша граница доверия с вашим агентом? Что вы готовы ему простить? А что для вас жёсткий ред-флаг?

Готовы ли вы делегировать агенту задачу, в которой вы не разбираетесь, и взять на себя ответственность, если что-то пойдёт не так? А если наоборот, всё будет очень хорошо — искренне признать, что по факту это не совсем ваш труд?

Это в целом философские вопросы, о которых можно спорить бесконечно, и ответ у каждого свой. Я доверяла и иногда до сих пор продолжаю доверять и осознанно(почти всегда) иду на риск, потому что живём один раз, правильно?

У меня есть несколько смешных кейсов, которые я вам сейчас расскажу, но смеяться вы, скорее всего, не будете.


Лот номер 1: ДЕЛЕГИРОВАНИЕ ПРАВ АДМИНИСТРАТОРА

Я сидела, вайбила дома, никому не мешала, и передо мной встала проблема: мне нужна видеокарта от моего компьютера, чтобы тренировать модель, а я лежу на диване и не хочу вставать. Чё делать? Встать всё-таки пришлось, потому что для подключения по SSH мне понадобилось ввести

ipconfig

чтобы узнать айпишник компьютера, а затем через PowerShell установить и запустить OpenSSH Server (да-да, именно сервер — на машине, к которой подключаешься, нужен сервер, клиент стоит на той, с которой подключаешься). Я пообещала себе, что это первый и последний раз за сегодня, когда я встаю с дивана, чтобы разобраться с компьютером, и больше за него не сяду. В общем, возникли какие-то проблемы, вникать в которые я не хотела. Понимаете, да? Вот эта вот ОШИБКА ВЫЖИВШЕГО: да что ж такого может произойти дома, я же ввожу какие-то три команды, что страшного может случиться?

Ну, если это не rm -rf, то почти всё поправимо. Но не факт, что обратимо.

В общем, не получилось у меня настроить вход по ключу: командная строка ругалась, а Клод начал методично подкидывать причины:

  • компьютер недоступен (доступен);

  • пользователь не существует (существует);

  • вы неправильно вводите пароль (у меня нет пароля).

И, естественно, начал меня дико бесить. Казалось бы, действие — ну просто примитив (я даже сама знаю, как всё это делать, но у меня голова не тем занята, мне надо ТРЕНИРОВАТЬ). В общем, он, видимо, тоже психанул и сказал:

Поменяйте пароль на пользователе, я чувствую, что вы меня обманываете. И скинул команду.

А теперь вопрос всем амбассадорам винды: что будет, если сбросить пароль администратору через командную строку? Что критичного может случиться?

Ваши мысли? М?

В общем, я сделала Ctrl+C, Ctrl+V, поменяла пароль на 12345, скинула ему скриншот и обозвала тупым, а он мне довольный: «НУ ВСЁ, ТЕПЕРЬ У НАС ВСЁ РАБОТАЕТ, ТЫ МОЛОДЕЦ».

Захожу в ВК — меня просит залогиниться. Захожу в Дискорд — просит залогиниться. Короче, разлогинилось всё. Потому что что?

Потому что

Сброс пароля через командную строку (через net) ломает доступ к DPAPI-ключам, которыми Windows шифрует сохранённые данные браузеров — куки, пароли, сессии.

Всё, что было зашифровано старым ключом, превращается в тыкву.

А знаете, что самое обидное? На него даже спихнуть нельзя, ведь эту команду я ввела сама. Меня просто забайтили.


Лот номер 2: МОНТИРОВАНИЕ ДИСКА на Rockchip

Мне на работе выдали винчестер для моего серверка, где крутится ПО, которое мы делаем (да, у меня есть личный сервер), со словами: «Ну ты скажи своему другу, чтобы он правильные пути прописал для хранения и нашёл этот диск». По факту задача от начальства поступила — я выполнила, как просили. Я спросила, я нашла, он подключил. Думаю: какая я молодец, сегодня можно больше не работать. А потом слышу страшные звуки скрежета из моего серверочка и чувствую — ему больно? Кто его обидел? Пишу своему ДРУГУ: «Чё происходит? Почему я слышу щёлканье, тиканье?» — попыталась словами объяснить, что слышала. Он пишет:

У МЕНЯ ДЛЯ ТЕБЯ ПЛОХИЕ НОВОСТИ. Твой диск доживает последние минуты.

Я думаю: НЕ МОЖЕТ БЫТЬ, как же так.

Он говорит: «Щас я всё исправлю». А я уже не говорю — я сижу и думаю: «Чёрт, надо было сказать ему “будь осторожным”, master prompt же решает всё?»

И он минуты три анализировал мой винчестер: его характеристики, его головки. Если вам интересно, то вот этот бро, который заставил меня напрячься:

мой бедный винчестер

мой бедный винчестер

В общем, он сказал, что был не прав и что с диском всё хорошо, он в полном порядке. И я думаю: ну и слава богу.

Зато теперь я знаю, что есть вот такой-то диск, у него есть головки, и когда он что-то пишет, актуатор активно ими двигает — отсюда этот подозрительный стрёкот. Но если бы звук был чуть-чуть другим, это говорило бы о неисправности. Вот вы презираете ИИ, а я вместе с ним познаю мир. А потом он говорит: «Сейчас я воспроизведу этот звук тестово, чтобы вы поняли, и запишу на него какие-нибудь файлы». Я говорю: «Дерзай». А потом он такой: «Отлично, я придумал решение проще, начинаю форматирование». Видели бы вы моё лицо…

Мое лицо
Давайте поговорим о доверии и границах - 2

Он отформатировал мне диск. Наверное, будь он не пустой, меня бы уволили. Или очень долго смеялись бы надо мной.


Лот номер 3: ТЕСТЫ

Вам приятно видеть, когда вокруг всё зелёное и везде написано PASS? У нас в команде нет тестировщиков — есть один чувак, который занимается ручным тестированием. Но, знаете, как в том пошлом меме с блондинкой и кучей афроамериканцев: он один, а нас много, и фич тоже много. Поэтому тесты мы пишем сами и ручками тоже всё сами проверяем — сначала себе, потом друг другу. И появление Claude здорово облегчило жизнь — на первый взгляд, — потому что роль тестировщика отчасти взял на себя он. И вот он покрыл твой проект тестами: всё такое красивое, всё такое зелёное, все они проходят, test coverage 99%. Ты сделал свою задачу ещё до обеда и счастлив.

А теперь посмотрите правде в глаза. Посмотрите внимательно на эти тесты:

Что они проверяют? Зачем они проверяют? Как они проверяют?

Попробуйте проверить: а ПРАВДА ли они это проверяют? Или они просто существуют как ещё одна непонятная хрень в вашем проекте, чтобы нагружать раннеры Гитлаба и Гитхаба и увеличивать время пайплайна? Короче, к чему я веду: ИНОГДА он пишет херовые тесты. ИНОГДА — неработающие. ИНОГДА — проверяющие совсем не то. Потому что есть большая разница между запросом «покрой мне тестами новую фичу» и «ё-моё, мне надо, чтобы эти тесты проверяли следующую бизнес-логику…» — и перечисляешь, КАК ДОЛЖЕН РАБОТАТЬ ТВОЙ ИДЕАЛЬНЫЙ ПРОДУКТ, а он уже пускай думает, какой тест надо писать, а какой в этом случае окажется просто лишней строчкой на код-ревью.


Лот номер 4: УТЕКАЮЩИЕ CREDENTIALS

Я говорю про токены, API-ключи, содержимое .env и прочее — то, что должно быть под защитой. Или, например, сообщать агенту логин и пароль от учётки тестового стенда. Вроде как бы и безопасно, но, с другой стороны, если посчитать все риски…

Я в целом им доверяю: по коммитам ни разу не было, чтобы агент такой:

О, новый токен, вставлю его прямо в код.

Или:

О, давайте запушим это, чтобы все это видели.

Более того, я пару раз сама косячила и скидывала ему логи прямо с токеном, и он мне сразу:

ОСТОРОЖНЕЕ, дамочка, вы мне тут сливаете важную информацию. Идите и отзовите этот токен, а то я не гарантирую, что он теперь в безопасности…

В общем, все ошибаются, но у меня был интересный случай.

У Claude есть очень удобный механизм обращения к терминалу прямо из чата:

! <твоя команда>

Это позволяет решать задачу в одном окне и при желании экономить токены на запросах типа «запусти линтеры», «запусти тесты» и всяком таком.

КХЕ-КХЕ. Он мне на днях берёт такой и пишет: «Запустите вот эту команду и подставьте туда токен» — и показывает команду, которую я должна вызвать прямо из чата:

! login --token ...

Ну я смелая, я вызвала. А он взял и прочитал мой токен — КРЫСА такая. То есть когда токен явно вставляешь в чат — ругается и предупреждает, а в таком виде сам предлагает это сделать. А потом такой: «ЭТО НЕ СЕКЬЮРНО». Вот так и доверяй этим машинам — двуличные они.

Так вот, мы рассуждали о доверии.

Как вы поняли, я человек доверчивый и по ссылочкам периодически перехожу (но не по тем, что приходят на почту). Доверчивый, но внимательный — возможно, это меня и бережёт. Возможно, когда-нибудь это сыграет со мной плохую шутку. Но мысль сей статьи проста как день: ДОВЕРЯЙ, НО ПРОВЕРЯЙ.

А вы сами что думаете о степени доверия к ИИшкам?

Автор: nedovyazhu

Источник

Оставить комментарий