AI и токсичная документация
Массовое внедрение AI в работу менеджмента и экспертов формирует пузырь, который удивительно точно повторяет механику ипотечного кризиса 2008 года. Парадокс в том, что формируется он на самом видном месте. Эксперты, инвесторы, акционеры — все пристально смотрят в документацию компании (или института). Они анализируют тексты, изучают стратегические отчёты и оценивают производительность сотрудников (порождающих документы). Но качество документа не гарантируют качества экспертной информации, которая должна была отражаться конечным артефактом. Документ может быть «токсичным«.
Повсеместное внедрение генеративных моделей в бизнес-процессы, документооборот и принятие решений идёт под флагом повышения эффективности, на деле создаёт скрытую угрозу: в операционную документацию, аналитику и стратегические отчёты начинают подмешиваться материалы, созданные нейросетями, которые внешне выглядят добротно, но внутри могут содержать глобальные фактические ошибки, логические провалы и «галлюцинации».
Подразумевается, что эксперт держит в голове не только общие знания, но и сеть актуальных для его процесса акторов. На основе этого знания он порождает контекстно-ориентированную экспертизу — документ. Но AI так не умеет, в отдельном документе от «AI — эксперта» всё связно, а в рамках контекста процесса возникнет противоречие. Если документ перестает быть носителем экспертизы, организация теряет способность отличать правду от правдоподобия.
Отсюда можно формально сформулировать:
Экспертиза — документ, содержащий реальные представления эксперта о процессе.
Токсичный документ — это документ, который:
-
противоречит другим документам системы;
-
или не имеет проверяемой связи с реальностью;
-
или создаёт ложную согласованность при отсутствии фактов.
А что же программисты?
Программисты уже годами сталкиваются с проблемой «контекста», «качества проектирования», «глобального понимания» у AI. Не просто сталкиваются, но и обосновывают математические ограничения, формируют сложные конвейеры валидации качества сгенерированного материала, создают новые инструменты.
И всё равно, даже с таким (недостижимым для менеджмента — петля обратной связи на порядки короче) уровнем контроля за операционной документацией (а код это всегда текст) проекты ломаются. В неожиданных местах ломаются. Это не какая то статистическая ошибка, это базовые ограничения больших связных текстов, генерируемых AI.
«Всё что делает программист — это пишет и читает тексты. Текст должен быть непротиворечивым, потому что это описание последовательности действий. Если описание действий противоречиво — то компьютер не обработает программу.»
Именно это базовое понимание у программистов даёт им такой высокий потенциальный иммунитет в рамках современных AI инструментов.
https://t.me/witnessesofsingularity — подробнее про ограничения «мышления ИИ»(ассоциативное, дедуктивно и индуктивное) в цикле статей «Когда ИИ заменит всех программистов?»
«Программист-прагматик.» Книга, Дейв Томас и Энди Хант — про восприятие всего на свете в виде текста (от требований до конечных программ).
Предпосылка 1. KPI
Корпоративный мир построен на системе метрик и поощрений. Последние тридцать лет повсеместно стал внедряться подход, где сотрудников оценивают по динамичным измеримым показателям: количество строк кода, число закрытых задач, объем подготовленной документации, скорость реакции на запросы. Сама по себе логика KPI не плоха — она создает операционную предсказуемость и прозрачность. Но KPI не отслеживает сквозную связность, существуя в рамках предпосылки «эксперт = экспертиза».
Предпосылка 2. AI
И есть вторая сторона. Появляется инструмент, позволяющий штамповать «артефакты метрик» (отчеты, код, аналитические записки) в десять раз быстрее. И сотрудник оказывается перед простым выбором. Он может потратить три дня на глубокую проработку вопроса, а может сгенерировать правдоподобный текст за три минуты, причесать — и получить те же бонусы за «высокую производительность». Здесь экспертиза отделяется от эксперта.
В начале двухтысячных ипотечная облигация существовала и развивалась в рамках предпосылки «ипотеку берёт человек, который рассчитывает её выплатить». Ведь выдать необеспеченные ипотеки невыгодно банкам, а рисковать жильём невыгодно клиенту.
Что такое ипотечные облигации
Ипотечные облигации, или ипотечные ценные бумаги (ИЦБ), — это тип облигаций, обеспеченных ипотекой, которая обычно представляет собой недвижимость.
Субстандартная ипотека — это ипотечный кредит, который обычно выдается заемщикам с низким кредитным рейтингом.
Всё сломалось задолго до 2008, когда предпосылка была принята за данность и ипотечные брокеры стали получать бонусы за число выданных ипотек. Без проверки их качества.
«Оформленный документ содержит экспертизу, если он оформлен (синтезирован) экспертом». Ведь поощрять «плохую» экспертизу невыгодно компании, а рисковать работой невыгодно эксперту. KPI существует на этой предпосылке. AI ломает эту предпосылку.
Хорошо выглядящий документ от эксперта теперь не обязана быть экспертизой. А без экспертизы теряется «согласованность системы знаний» компании. Т.е. документ теперь может стать «точкой энтропии знаний» в рамках компании. На сцене появляется токсичный документ.
Эксперт локально заинтересован в выполнении KPI, а не составлении экспертизы. Много токсичных документов повышают KPI больше, чем экспертиза.
Инвесторы и акционеры, глядя на высокие показатели «производительности», вкладывают средства, полагая, что активы компании обеспечены реальной экспертизой, тогда как на самом деле значительная их часть становится «токсичной» — подобно субстандартным ипотечным облигациям, которые до поры выглядели надёжными благодаря рейтингам AAA.
И сейчас не существует дешёвого и масштабируемого способа фильтрации «токсичных документов» от экспертизы. Мы сталкиваемся с ситуацией, когда стоимость генерации правдоподобия стремится к нулю, а стоимость верификации остаётся высокой.
Как токсичный документ «отравляет» систему (механизм распространения энтропии информации). Сноска про моделирования рисков.
Первый уровень — теория информации.
С точки зрения теория информации, «токсичный документ» можно рассматривать как источник шума, передаваемый внутри организации. Любой документ — это сообщение, которое должно уменьшать энтропию у получателя. Но если сообщение «токсично», оно превращается в шум, маскирующийся под сигнал. Однако токсичный документ, обладая внешней согласованностью, но не имея достоверной связи с реальностью, создаёт ложное снижение неопределённости: он не устраняет энтропию, а маскирует её. Когда такие документы начинают использоваться как вход для других документов (аналитики, стратегии, кода), происходит каскадное накопление ошибки — каждый следующий уровень наследует и усиливает исходный шум, принимая его за сигнал. В терминах Клод Шеннон это означает деградацию отношения «сигнал/шум»: система всё увереннее «знает» всё меньше о реальности. (Если формально, то токсичный документ часто снижает «неопределенность для читателя», давая ложное чувство понимания. Это скорее «дезинформация», чем шум.)
Второй уровень — теория катастроф.
Если добавить к модели теория информации аппарат теория катастроф, токсичный документ перестаёт быть просто источником шума и становится триггером нелинейной деградации системы. На ранних стадиях шум, вносимый такими документами, поглощается за счёт избыточности и локальных проверок — система выглядит устойчивой. Однако по мере накопления документов, основанных друг на друге, происходит скрытый рост «структурной энтропии»: ошибки перестают быть независимыми и начинают неявно коррелировать, формируя связные области искажённого знания. В какой-то момент система достигает критического порога, за которым малое добавление нового «правдоподобного» документа вызывает скачкообразное изменение состояния — катастрофу: резко падает согласованность решений с реальностью, хотя внутренняя согласованность текстов может даже расти.
Это каскад накопления шума: не линейное ухудшение, а фазовый переход, при котором организация теряет управляемость не потому, что «всё стало немного хуже», а потому что нарушилась сама топология знаний — граница между сигналом и шумом коллапсирует, и система начинает воспроизводить собственные искажения как новую норму.
Один токсичный документ заражает всю цепочку документов прямо или косвенно ссылающихся на него. Т.е. все документы в такой цепочке становятся токсичными.
Те кому предстоит оценить операционную ценность компании и качество её процессов по документации не смогут понять, что имеют дело с «зараженным» активом. Ведь, как сказано ранее, уровень «правдоподобия» токсичного документа высок. Что достаточно для прохождения проверок и соответствия метрикам «качества документа» KPI. Внешне всё выглядит безупречно. Точно так же, как облигации, обеспеченные субстандартными кредитами, получали рейтинг AAA — потому что рейтинговые агентства смотрели на упаковку, а не на содержимое.
Возникает разрыв: метрики производительности растут, а реальное качество активов падает. Инвесторы вкладывают деньги, полагая, что покупают компании с глубокой экспертизой, а на деле приобретают токсичные процессы.
Красиво упакованные облигации скрывали пустоту. Красиво написанные стратегии скрывают логические провалы. Если текст может ломать программы, почему он не может ломать корпорации и институты?
Риски накапливаются скрытно. Но уже можно наблюдать за тревожными звонками для мира документации:
1) «Amazon ввела обязательный ревью ИИ-кода после сбоя на 6 часов» — https://habr.com/ru/news/1008860/
2) «Ошибки в отчётах Deloitte с AI‑сгенерированными источниками» — https://oecd.ai/en/incidents/2025-11-26-f9ab
3) «Серия инцидентов с AI‑ошибками в судебных актах» — https://www.washingtonpost.com/nation/2025/10/29/federal-judges-ai-court-orders/
4) «AI‑галлюцинации в научных конференциях (NeurIPS 2025)» — https://theoutpost.ai/news-story/ai-detection-startup-finds-100-hallucinated-citations-in-neur-ips-research-papers-23179/
и т.д.
Пока что не было крупных случаев глобального подрыва доверия ко всей системе внутренней документации определенного компании или института с цепной реакцией потери доверия к понятию «документация».
По моему мнению, это вопрос времени.
Как бы это грустно или страшно не звучало, но вернулось время настоящего радикального «реинжиниринга процессов«. Того самого, из книги Майкла Хаммера и Джеймса Чампи «Реинжиниринг корпорации. Манифест революции в бизнесе». Процессы, связанные с документацией должны быть не просто автоматизированы, но реально перестроены под новые технологии. С учётом всех ограничений и возможностей AI.
Опыт 2008 года показывает, что механизм фильтрации токсичных активов появился после кризиса. Так что, по моему мнению, выбор не большой — или рисковать с радикальной перестройкой процессов или надеяться, что кризиса не случится.
В рамках иллюстраций использовались гравюры Альбрехта Дюрера, человека живущего в эпоху когда рукописи и печатные книги сосуществовали. Прекрасное сочетание поздней готики и раннего возрождения.
Обложка статьи: Святой Иероним в келье. Гравюра Альбрехта Дюрера. 1511 год
Иллюстрации в статье: Четыре всадника Апокалипсиса. Гравюра Альбрехта Дюрера. Около 1497–1498 годов ; Рыцарь, Смерть и Дьявол. Гравюра Альбрехта Дюрера. 1513 год.
Благодарность чату Свидетелей Сингулярности за экспертную оценку и конструктивное уточнение идей, лёгших в основу данной статьи.
Автор: consentire