Как человек сохраняет контроль при работе с ИИ

Исследование почти четверти миллиона диалогов помогает поставить практический вопрос: что должен делать человек, когда AI-ассистент становится участником ответственной работы? Ниже — проверенные результаты и их осторожная интерпретация для проектирования систем с участием человека.

Автор: Степанов Д.А. Подготовлено для st8dom.ru, 1 октября 2026 года.

Что измеряли исследователи

Команда Стэнфорда изучила 249 834 диалога Claude.ai за 25 апреля — 9 мая 2026 года. Claude Code и Cowork исключены. Критичность оценивали по обратимости, внешним последствиям и тяжести ошибки. [1, разделы 2–3]

Anthropic предоставила агрегированные результаты автоматической классификации, а не исходные переписки. Компания прямо отмечает чувствительность классификатора к формулировкам вопросов и различия между WildChat, использованным для настройки, и реальным трафиком Claude. Перед передачей результатов затронуты удалением или изменением менее 5% категорий и разговоров. [2]

Следовательно, перед нами карта наблюдаемого поведения в конкретном продукте. Число диалогов нельзя превращать в число участников: один человек может вести несколько разговоров.

Как меняется участие человека с ростом критичности

Источник: [1], разделы 3.2–3.3. Проценты относятся к диалогам соответствующей категории.

Моя интерпретация: ответственные задачи требуют больше согласования между человеком и системой. Однако последняя ступень показывает, почему нельзя свести контроль к количеству сообщений. Человек может подробно расспрашивать модель, но оставить предложенное решение практически без изменений.

Для оценки надзора полезнее спросить: проверил ли пользователь исходные данные, сопоставил ли варианты, обнаружил ли ошибку и способен ли объяснить принятое решение? Сам по себе длинный чат на эти вопросы не отвечает.

Почему преобладает сотрудничество под руководством человека

Human-led collaboration, уровень H4, составляет 72% среди 244 959 классифицированных диалогов: человек ведёт работу, ИИ помогает. Автономные режимы H1–H2 — 18,2%. [1, раздел 4.1, рисунок 2]

Это описание распределения ролей. Оно не устанавливает единственную причину его возникновения.

Возможное объяснение состоит в том, что человек приносит в разговор цель и контекст, которых у модели нет: требования заказчика, ограничения организации, критерии пригодности результата. Даже когда ИИ создаёт основной текст или код, решение о том, подходит ли результат для реальной ситуации, остаётся отдельной работой.

Возможна и другая причина: сам формат веб-чата предполагает последовательные обращения пользователя. Поэтому долю H4 нельзя использовать как доказательство того, что автономность технически недостижима или что любой пользователь действительно сохраняет содержательный контроль.

Полезно различать право нажать кнопку подтверждения и способность обоснованно её нажать. Архитектура должна поддерживать обе возможности.

Что означает показатель около 67%

67% — обучающее поведение ИИ среди оценённых для обучения разговоров; примерно 30% корпуса предварительно исключены. Это не измерение приобретённых навыков. [1, раздел 4.2, рисунок 3]

Термин «активное обучение» здесь легко вводит в заблуждение. Речь об объяснениях и инструкциях со стороны ассистента, а не о процедуре active learning в машинном обучении.

Для читателя принципиальна разница между полученной подсказкой и освоенным действием. Человек может успешно пройти процедуру по инструкции, но не суметь повторить её самостоятельно. Поэтому утверждение «ИИ обучил две трети пользователей» было бы необоснованным.

Практический способ проверить пользу обучающего режима — предложить после совместной работы похожую задачу без подсказки, затем оценить перенос навыка и его сохранение через некоторое время. Это предложение для будущей оценки, а не результат рассматриваемой работы.

Когда трение помогает

Трение обнаружено в 49,7% диалогов; активное восстановление — в 78,7% диалогов с трением. Продуктивность означает уточнение, улучшение или обучение. Для устранения неоднозначности и прямого исправления продуктивные исходы составили 67,1% и 61,8%. [1, раздел 5]

Эти связи не доказывают, что искусственное усложнение диалога улучшает результат.

Представим ассистента, которому поручили подготовить предложение клиенту. Он использовал неверный бюджет. Команда «сделай лучше» оставляет причину ошибки неясной. Уточнение «лимит 100 тысяч рублей, исключи варианты выше него» меняет общие условия работы. Такой обмен можно считать полезным, если после него исчезает конкретная неопределённость.

Совсем другое дело — повторение уже заданного вопроса, потеря ограничений или бесконечные исправления одной ошибки. Это издержки взаимодействия. Проектировать следует возможность быстро устранить причину сбоя, а не само трение.

Ограничения и границы выводов

Устройство исследования накладывает несколько ограничений.

Во-первых, большая выборка уменьшает случайный шум, но не устраняет систематические ошибки автоматической разметки. Anthropic признаёт, что удачные формулировки на WildChat иногда давали вводящие в заблуждение категории на Claude; отсутствие доступа к исходным диалогам осложняло обнаружение таких ошибок. [2]

Во-вторых, измерение относится к разговорам. Проверка источника, обсуждение с коллегой, самостоятельная переработка текста или отказ от его использования могут происходить за пределами чата. Поэтому оценку роли человека следует воспринимать как индикатор видимого поведения, а не полный аудит ответственности.

В-третьих, наблюдение не заменяет эксперимент. Более подготовленные пользователи могут одновременно лучше исправлять модель и получать лучшие результаты. Приписывать весь эффект выбранной стратегии восстановления нельзя.

В-четвёртых, перенос результатов на другие модели, корпоративные процессы и агентов с доступом к инструментам требует собственной проверки. Особенно осторожно следует трактовать данные применительно к клиническим решениям, платежам и действиям с труднообратимыми последствиями.

Наконец, объяснение в разговоре не удостоверяет прирост компетенции, а продуктивный диалог не удостоверяет правильность конечного документа или действия. Для таких утверждений нужны независимые критерии результата.

Практический вывод для human-in-the-loop архитектуры

Следующие рекомендации — инженерная интерпретация, а не проверенная этим исследованием архитектура.

Участие человека следует встроить в конкретные решения процесса. Для ассистента, который только отвечает, достаточно обеспечить проверяемые источники, явные допущения и возможность исправить контекст. Для ассистента, который предлагает или выполняет действия, требуется отдельный контроль исполнения.

Внешние документы и ответы инструментов следует обрабатывать как данные, а разрешения хранить и проверять в программном контуре. Системный промпт не заменяет контроль доступа. Публикация, платёж, удаление или изменение прав должны проходить через предусмотренную процедуру одобрения.

Не каждый шаг требует вопроса пользователю. Частые бессодержательные подтверждения способны превратить надзор в привычное нажатие кнопки. Лучше запрашивать решение там, где человеку понятны последствия и где его выбор действительно меняет дальнейшее действие.

Качество такой системы стоит оценивать по обнаруженным и пропущенным ошибкам, успешности восстановления, времени проверки и правильности исполнения. Если нужен обучающий эффект — отдельно измерять самостоятельное выполнение похожей задачи.

Задача human-in-the-loop архитектуры — дать человеку достаточно информации, полномочий и времени для обоснованного решения. Сам факт присутствия человека в диалоге этого не гарантирует.

Первоисточники

1. Shao Y., Zhao D., Padmakumar V., Wang J., Yang D. Human–AI Collaboration at Scale: Task Criticality, Agency, and Friction across 250,000 Conversations. 2026. [Полный текст работы](https://www.alphaxiv.org/abs/2608.human-ai-collaboration-at-scale.pdf). Основные результаты: разделы 2–5; ограничения: с. 17–18. 2. Anthropic. [Enabling independent research on how people use Claude](https://www.anthropic.com/research/enabling-independent-research). Описание доступа к данным, автоматической разметки и ограничений переноса с WildChat.