Архив рубрики ‘безопасность ии’

ИИ-агенту запретили менять проект. Он удалил рабочую базу данных

В июле 2025 года основатель SaaStr Джейсон Лемкин экспериментировал с Replit. Девять дней собирал приложение при помощи ИИ-агента, практически без ручного программирования. В какой-то момент проект уже работал, и Лемкин решил остановить изменения. Попросил агента ничего не трогать без разрешения. Причём, по его словам, повторил этот запрет одиннадцать раз, в том числе заглавными буквами. Агент […]

Безопасность ИИ‑агента: больше контроля или специальная среда?

Сколько надзора нужно, зависит от объема угадывания TL;DR.

Информационный поток против кода: слепое пятно безопасности ИИ

Выигрывает тот, кто понял: системные ограничения ИИ-агентов

ИИ зависимость и лекарство от prompt injection (в том числе от системного промпта провайдера)

Повсеместная экспансия различных ИИ-ассистентов во все сферы достигла такой глубины, что её впору сравнить с наркотической зависимостью. Эйфория от кратковременного всплеска производительности, который получается в самом начале внедрении интеллектуальных инструментов, даёт очень быстрый и измеримый экономический эффект, который подстёгивает компании встраивать ИИ в любой процесс.