ИИ: доверять или проверять?

26 сентября 1983 года. Ночь. Командный пункт «Серпухов‑15». Компьютер выдает сигнал «Старт»: с территории США запущена межконтинентальная баллистическая ракета. Достоверность — ​высшая. Предписанный алгоритм действий: доложить немедленно, через 15 минут после доклада — ​ответный ядерный удар. Подполковник Станислав Петров, обращаясь к своему опыту и знаниям, принимает решение и сообщает по правительственной связи: «Вероятно, сбой системы».
 
Компьютер ошибся: датчики приняли за старт ракет отражение солнечных лучей от облаков. Атаки не было.
 
Петров, нарушив регламентные процедуры, оказался прав и спас мир.
 
Спустя почти полвека мы впадаем во всё бо́льшую зависимость от машин. И доверяем им там, где следовало бы сомневаться. Эта статья — ​призыв к действию. Если после ее прочтения вы захотите пересмотреть свои KPI, внутрикорпоративную культуру и культуру отчетности — ​у вас есть шанс оказаться в 5 % ИИ-проектов, преодолевших «долину смерти» и дошедших до реальной эксплуатации.

Диагностика: почему проекты проваливаются
95% провалов ИИ-проектов — ​закономерный итог системных ошибок на разных уровнях менеджмента. На операционном уровне мы не учитываем, как ИИ меняет людей. На управленческом — ​подменяем цели и интерпретируем результаты так, чтобы обезопасить менеджмент. На внешнем — ​попадаем в регуляторные ловушки.

Операционный уровень (внутренний контур): иллюзии о сотрудниках
Каждый директор, запускающий ИИ-проект, руководствуется несколькими убеждениями, очевидными для него и объективно ложными.

Убеждение первое: ИИ повышает эффективность работы сотрудников.
Что происходит на самом деле? Согласно данным глобального исследования Workday Beyond Productivity: Measuring the Real Value of AI, 85% активных пользователей ИИ сообщают: новая технология экономит им от одного до семи часов в неделю. Но это не так: 37% высвобожденного времени уходит на исправление ошибок, переписывание и проверку результатов, выданных ИИ-инструментами. Часть нагрузки смещается с создания продукта на его верификацию и доработку.
 
В исследовании Atlassian State of Teams 2026 говорится: ИИ может ускорить отдельные процессы, однако узкими местами становятся согласование, координация и принятие решений. 87% опрошенных работников умственного труда заявили, что им не хватает времени или возможностей для координации.

У опытных разработчиков схожая картина: по данным американской исследовательской организации, они верят в ускорение работы, но в реальности на работу с ИИ уходит на 19% больше времени. Ускоренное решение одних задач обесценивается усложнением других (проверки, поиска скрытых дефектов). То, что разработчик раньше делал сам, он вынужден теперь перепроверять, и это нивелирует экономию времени. В итоге совокупная нагрузка не уменьшается, а иллюзия продуктивности маскирует реальный прирост трудозатрат на контроль качества.
 
Сотрудники, взаимодействуя с ИИ, чаще оставляют решения на усмотрение начальников. Как отмечает MIT Technology Review со ссылкой на исследование профессора Бостонского университета Эммы Уайлс, ИИ-агенты меняют распределение ответственности в команде. Участники эксперимента на 44% чаще передавали сомнительные результаты ИИ на проверку руководителю, вместо того чтобы исправлять их самостоятельно.
 
Может показаться, что бизнес-­модель становится более эффективной. Но есть и обратная сторона медали: по оценке Atlassian, несогласованное внедрение ИИ создает для компаний из Fortune 500 «налог на фрагментацию» в размере $ 161 млрд в год — ​он возникает из-за дублирования работы, рассинхронизации приоритетов и растущих затрат на координацию. Сокращение найма начинающих специалистов может проявиться в 2032−2036 годах, когда вышедшее на пенсию поколение некем будет заменить.
 
Вместо развития бизнеса и ускорения решения задач — ​бесконечные эскалации и обсуждения. ИИ способствует деградации структуры управления.
 
Привычка взаимодействовать с ИИ снижает критичность сотрудников, атрофируется их экспертность, говорится в MIT Technology Review. Исследователи MIT Майкл Каосун и Синан Арал предупреждают о риске: если систематически использовать в работе ИИ, это может вызвать снижение интеллекта.
 
Итог: ИИ не помогает людям — ​он вытесняет человеческое мышление. Вскоре мы все почувствуем откат эффективности и получим поколение операторов, умеющих нажимать кнопки, но разучившихся сомостоятельно мыслить, а также тотально нерабочий ­менеджмент.
 
Попробуем рассмотреть внедрение ИИ на абстрактном примере.

Исходные данные
 
Без ИИ: оператор тратит 100% времени на решение некоторой задачи.
 
С ИИ: оператор тратит 60% времени на генерацию (быстрее) + 50% времени на проверку (медленнее, по данным исследований) = 110% от времени решения исходной задачи.
 
Итого: чистые потери времени — ​10%.
 
Вроде бы простая арифметика. Но есть один нюанс.
 
Современный бизнес устроен так, что проверку обычно осуществляет другой отдел. Технологическая цепочка разорвана. Отдел, внедряющий ИИ, определяет свою эффективность по скорости генерации. Проверяющая структура оценивает свою загрузку отдельно. И никто не сводит концы с концами.
 
В итоге
 
Отдел А: «Мы ускорились на 40%».
 
Отдел Б: «Наша загрузка выросла на 50%».
 
Компания: «Мы внедрили ИИ и стали эффективнее».
 
В результате — ​не инвестиция в эффективность, а налог на когнитивную нагрузку. Компании платят его годами: они не умеют оценивать совокупные затраты, а KPI завязаны на локальные оптимумы. И никто не хочет признать, что иллюзия ускорения маскирует реальный рост трудозатрат.

Убеждение второе: люди подстроятся под технологию.
«Проведем обучение — ​и все заработает», — ​думают руководители. На самом деле сотрудники сопротивляются ИИ, защищая свою экспертизу и профессиональные перспективы. Исследователи MIT NANDA считают человеческое и культурное трение главной причиной провалов ИИ-проектов.
 
Компании осуществляют ИИ-экспансию столь стремительно вовсе не в погоне за эффективностью, а из-за того, что реальные инвестиции в человеческий капитал (скиллы) остаются за скобками их финансовой отчетности, и они попросту перекладывают эти риски на других. М. Каосун и С. Арал называют это ловушкой аугментации: не всякая автоматизация усиливает человека — ​иногда она делает его зависимым от инструмента.
 
(Аугментация — ​от лат. augmentatio — ​увеличение, приращение. — ​Прим. ред.)
 
Молодые специалисты быстрее адаптируются к новым цифровым инструментам благодаря когнитивной гибкости и отсутствию профессиональных шаблонов. Однако здесь возникает ключевое противоречие: техническая адаптация — ​не мгновенный процесс, это длительная процедура. Так называемая точка пересечения эффективности, когда новый инструмент начинает приносить максимальную пользу, достигается лишь спустя годы.
 
По данным Федерального бюро статистики труда США, текучесть кадров среди сотрудников до 24 лет крайне высока (средний стаж на одном месте всего 1,3−1,5 года) — ​а вот после 35 лет этот показатель утраивается, достигая 4,5 года. В России цифры схожие.
 
Вывод: экономический эффект от быстрой когнитивной адаптации молодых сотрудников зачастую оказывается ниже, чем ценность накопленного опыта.
 
Быстрое обучение нивелируется краткосрочностью пребывания в должности, не позволяя компании полностью окупить внедрение технологий, в то время как опытные работники, несмотря на более медленное освоение новшеств, обеспечивают устойчивую отдачу в долгосрочной перспективе за счет стабильности и глубины знаний.
 
Важно также помнить: ИИ — ​не пассивный инструмент наподобие Exel, он активный участник процесса. Поэтому отношения с ним следует рассматривать не как простое использование технологии, а как взаимодействие, включающее постановку целей, делегирование, контроль, обратную связь и совместное принятие решений.
 
Резюме: ИИ не встраивается в культуру — ​он меняет ее. Если вы не управляете этими изменениями осознанно, культура будет меняться произвольно, и последствия — ​саботаж и эскалации в компании — ​не заставят себя ждать.
 
Обычно мы пытаемся решить возникающие при внедрении ИИ проблемы посредством работы с данными: усовершенствовать модель, добавить метрик. Это работает на уровне технологии. Но главная проблема — ​в головах людей.
 
Доверие не статично. Сегодня оператор верит ИИ, завтра он теряет к нему доверие. Или наоборот: начинает верить слепо, перестает проверять.
 
Выход есть: аудит динамики доверия, то есть регулярный мониторинг изменения отношения людей к ИИ.

Управленческий уровень (внутренний контур): два синдрома, убивающих проекты
Синдром первый: ИИ «для галочки»
 
Пилот запускается не для того, чтобы проверить гипотезу, а для того, чтобы в отчетности появилась строка: «Ведется работа по внедрению ИИ».
 
Симптомы. Ключевые показатели эффективности формулируются так, чтобы их нельзя было провалить (пример типовой формулировки — ​"запустить пилот"). Пилот всегда успешен в отчете, даже если в реальности ничего не изменилось. После пилота нет фазы масштабирования — ​проект «зависает» между отделами, у него нет ответственного лица и бюджета на развитие. Внедрение И И порождает активность ради видимости прогресса.
 
Причины. Важнее «показать движение», чем получить результат; KPI менеджеров завязаны на количество запущенных инициатив, а не на их экономический эффект; отсутствие личной ответственности за провал — ​никто не теряет бонусов, если пилот не масштабируется.
 
Последствия. Компания не анализирует ошибки. Инвестиции в ИИ проваливаются в "черную дыру": деньги уходят, эффекта нет, но формально «все идет по плану».
 
Выход. Внедрить принцип «негативных пилотов»: выделять бюджет на проверку. Оценивать менеджеров не по количеству запущенных пилотов, а по числу проверенных и либо подтвержденных, либо опровергнутых гипотез.
 
Синдром второй: управленческий мираж
 
Это когнитивное искажение, при котором менеджеры видят в данных только подтверждение своих решений, игнорируя остальное. Отрицательные результаты замалчиваются, несистемные успехи выдаются за закономерность.
 
Несмотря на то что многие компании заявляют о надлежащем управлении, на самом деле они не создали четких механизмов подотчетности, конкретных ограничителей, оценок или процессов обеспечения безопасности.
 
Симптомы. Отчет о пилоте содержит только успешные кейсы, все сомнительные результаты вырезаны или переформулированы. Операторы корректируют ИИ, но корректировки не фиксируются и не анализируются. Объективные данные, противоречащие ожиданиям, объявляются «ошибками измерений».
 
Причины. Психологическая потребность в подтверждении собственной правоты; организационная культура, в рамках которой «признать ошибку» равносильно «потерять лицо»; отсутствие независимой оценки результатов; KPI, завязанные на субъективных ­интерпретациях.
 
Последствия. Компания движется в ложном направлении, продолжая масштабировать не работающие решения. Копятся системные ошибки, обнаруживаясь только на этапе кризиса. Разрыв между декларациями и реальностью: руководство уверено в успехе, а на операционном уровне — ​хаос.
 
Выход. Создать институт «внутреннего аудитора ИИ" — ​выделить человека или группу, не подчиняющихся руководителю проекта и фиксирующих расхождения между ожидаемыми и реальными результатами. Ввести в отчеты по пилотам обязательный раздел: «Что не сработало и почему». Сделать анализ ошибок обязательным этапом перед принятием решения о масштабировании.

Убеждение третье: закон нас защищает
Кажется, что для обеспечения безопасности достаточно формально соблюдать законодательные требования. Принцип «человек в контуре» (Human-in-the-­Loop, HITL) и сертификация ИИ-систем воспринимаются как гарантия: если система спроектирована с участием человека и получила сертификат, значит, риски под контролем, от штрафов и инцидентов мы защищены.
 
Однако исследования показывают: ­размещение оператора внутри контура принятия решений не повышает надежность системы — ​человек перестает быть субъектом решения и превращается в функцию подтверждения.
 
А сертификация формализует процедуры и фиксирует состояние системы на момент аудита, игнорируя тот факт, что ИИ меняется еженедельно: дрейф данных, переобучение, обновление моделей.
 
Важно помнить: вы соблюдаете требования текущего дня, но система эволюционирует быстрее, чем переписываются нормативные акты. Вы, подобно генералам, готовящимся к прошедшей вой­не, защищены от прошлых штрафов, но не от будущих дисфункций. Регуляторика определяет минимальный, а не оптимальный порог. Компания, довольствующаяся «соответствием», получает систему, рассчитанную на избежание санкций, а не на создание ценности.
 
Кроме того, формальное соответствие не спасает от когнитивной деградации: сотрудник, годами нажимающий «Подтвердить» без критического анализа, теряет компетенции и вместе с ними рыночную стоимость. Когда система даст сбой или изменится закон, этот сотрудник окажется невостребованным не потому, что его уволит алгоритм, а потому, что он перестанет быть специалистом.
 
Выход не в том, чтобы поставить человека внутрь системы, а в том, чтобы вынести его за пределы контура. Так рождается новая парадигма — ​"Человек над контуром" (Human-on-the-­Loop, HOTL): человек проектирует систему, задает правила и оценивает результаты, но не участвует в каждом транзакционном решении.
 
Этот подход требует иной регуляторной логики — ​не "кто нажал кнопку?", а "как спроектирована система и как мы проверяем ее работу?".
 
В России действует ГОСТ Р 59 276−2020 «Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения», введенный 1 марта 2021 года. Этот документ определяет доверие как «уверенность потребителя и, при необходимости, организаций, ответственных за регулирование… в том, что система способна выполнять возложенные на нее задачи с требуемым качеством».

Звучит убедительно. Однако, как уже было сказано, формальное соответствие стандарту не решает проблемы доверия — ​между требованием и реализацией есть разрыв.
 
ГОСТ оперирует термином «понятность" — ​"свой­ство системы искусственного интеллекта, заключающееся в возможности открытого, исчерпывающего, доступного, четкого и понятного представления информации».
 
Но "понятность", как и другие характеристики в ГОСТе, не связана напрямую с "уверенностью потребителя". Это понятия из разных систем.
 
Между тем анализируемость системы ИИ с целью выяснения того, как он принимает решения, критически важна для обеспечения уверенности потребителя.
 
Итог: стандарт задает рамку, но не дает инструкции. Компании, ограничивающиеся формальным соответствием, получают галочку, но не реальное доверие операторов и ­регуляторов.

От 100 % инициатив к 1 % эффекта
Исследование BCG «Растущий разрыв в отдаче от ИИ» показывает: лишь 5% компаний в мире уже создали набор компетенций, позволяющий получать от ИИ масштабируемую и измеримую ценность.
 
А по данным международной аудиторско-консалтинговой сети, около 80% внедренных проектов не имеют формализованной методики расчета экономического/операционного эффекта; их ценность оценивается «экспертно».
 
97% компаний признают проблемы внедрения. Но признание проблемы не означает ее решения. Этот разрыв между осознанием и действием — ​главный индикатор того факта, что менеджмент находится в параличе анализа. Управленцы видят: что-то не так, но не знают (или не хотят знать), что делать.
 
Таким образом, из первоначальных 100% инициатив только 1% (5% x 20%) обладает измеримым и документированным эффектом, который можно защитить перед стейкхолдерами. Остальные 99% остаются зоной неопределенности и неоправданных рисков.
 
Почему же менеджмент продолжает запускать проекты, если 99% эффекта недоказуемы? Ответ — ​не в сфере экономики, а в сфере поведенческих паттернов руководства. Менеджерам нужен не результат, а отчетность и нарратив о прогрессе.

Три управленческих решения, которые изменят вашу культуру работы с ИИ
Ниже — ​решения, которые можно утвердить «на планерке в понедельник». Они не требуют дополнительных бюджетов. Нужно только пересмотреть критерии измерения успеха.
 
Решение № 1: от "метрик точности" к "метрикам роста экспертизы"
 
Текущая практика: измеряем только технические (Accuracy, Precision, Recall) и экономические (ROI, сокращение затрат) метрики.
 
Новая практика: добавить три показателя, показывающих, не деградирует ли ваша организация.
 

1. Процент эскалаций: доля рекомендаций ИИ, в связи с которыми сотрудник обращается к руководителю. (В норме показатель должен расти первые полгода внедрения ИИ-проекта [люди учатся], затем стабилизироваться. Если он растет постоянно — ​люди перестают думать.)
2. Процент корректировок: доля рекомендаций ИИ, которые оператор меняет вручную. (Он должен быть не ниже 5−10%. Если он составляет 0% — ​оператор не думает, он штампует.)
3. Время, необходимое для принятия решения: сравнение значений при работе с ИИ и без ИИ. (Этот показатель не должен падать ниже определенного порога «непродуктивной скорости».)

 
Что делать:

• внедрить эти метрики в еженедельный отчет по ИИ-проекту;
• премировать операторов за найденные ошибки ИИ;
• сделать корректировки оператора основой для дообучения модели.

 
Решение № 2: когнитивный рост, а не подмена мышления
 
Текущая практика: ИИ показывает ответ → оператор нажимает «Подтвердить» или «Отклонить».
 
Новая практика:
 
ИИ показывает не только ответ, но и степень уверенности (0−100%); причину своего решения; альтернативные варианты (что было бы, если бы был выбран другой путь).
 
Если уверенность ИИ > 90% — ​ИИ действует автономно, оператор получает уведомление с аудиторским доступом. Если 70−90% — ​ИИ предлагает решение, оператор утверждает, если не утвердил — ​фиксируется причина.
 
При уверенности < 70% — ​автоматический запрос на ручное управление. ИИ не вмешивается.
 
Что делать:

• запросить у UX-специалистов и разработчиков доработку интерфейса под эту логику;
• ввести обязательный пункт в ТЗ на любую ИИ-систему: «Отображение уверенности, причин и альтернатив».

 
Решение № 3: изменить культуру отчетности
 
Текущая практика: «Осуществил 1000 операций, точность 97%».
 
Новая практика: Еженедельно собирать «карту несогласий»: где и почему люди корректировали ИИ. Использовать эти данные для дообучения модели.
 
Что делать:

• премировать не за слепое доверие, а за критическое, обоснованное несогласие;
• создать кросс-­функциональную группу (ИТ, технологи, операторы), раз в две недели анализирующую не успехи, а ошибки и расхождения;
• преодолеть функциональную разобщенность — ​иначе любые решения будут саботированы организацией.

Симбиоз человека и ИИ
Преодолеть 95% провалов при внедрении нейросетей можно только перестав проектировать ИИ как замену человека и начав использовать его как дополнение к человеческому суждению.
 
В первых двух статьях («Промышленный И И: между хайпом и разочарованием», «ИИ: преодолеть „долину смерти“») мы пытались понять, почему внедрение ИИ в промышленности в большинстве случаев не выходит за рамки пилотных проектов и как сделать нейросети масштабируемым инструментом с измеримым экономическим эффектом. Это фундамент, но еще не здание. Надстройка — ​это культура доверия. И создавать ее надо в головах менеджеров, принимающих решения, и регуляторов, задающих правила.
 
Вы не сможете предотвратить все ошибки ИИ. Вопрос в том, сохранится ли у ваших сотрудников способность эти ошибки замечать. Если вы не инвестируете в эту способность — ​вы инвестируете в убыток.
 
Может быть, главный вызов сегодня не в том, чтобы сделать ИИ точнее, а в том, чтобы сохранить человеческий интеллект в мире, где машины умеют отвечать на вопросы быстрее, чем мы успеваем их задавать.
 
Если мы будем доверять машинам больше, чем собственному суждению, мы не станем умнее — ​мы станем удобнее.
 
Доминирующее представление об ИИ как о механизме автоматизации (замены человека) свидетельствует о нашей неспособности признать потенциал более глубокого, синергетического партнерства.
 
Самый неблагоприятный исход — ​жесткая система, лишенная важнейших качеств, присущих человеку: адаптивности, понимания контекста и способности к инновационному решению проблем. Оптимальный вариант — ​симбиотическое взаимодействие человека и ИИ.
 
Выбор за вами.