Ограничения ИИ: галлюцинации, конфиденциальность, проверка

Почему модель ошибается уверенно

Языковая модель предсказывает продолжение текста. Она не ищет факт в базе и не сверяет его с документом — она строит наиболее вероятное продолжение. В большинстве случаев это продолжение случайно оказывается верным, потому что текст вокруг типичный. В закупочных документах типичность обманчива: номер пункта, размер штрафа и срок поставки у каждого договора свои.

Отсюда главное правило: модель хороша там, где ошибку видно, и опасна там, где результат выглядит гладким. Список условий договора, в котором один пункт выдуман, читается так же уверенно, как правильный.

Четыре типа ошибок

Выдуманные значения. Модель подставляет правдоподобные числа, даты и номера пунктов. Чаще всего это происходит, когда в документе значение есть, но записано неочевидно: в приложении, сноске, таблице с объединёнными ячейками.

Путаница единиц и валют. Тонны и килограммы, штуки и упаковки, рубли и доллары, цена с НДС и без. Модель переносит число, но не всегда сохраняет единицу измерения.

Потеря контекста при сокращении. Сокращённое изложение договора сохраняет смысл основного текста и теряет оговорки. Именно в оговорках живут исключения из ответственности и условия расторжения.

Ложная норма. Модель может сослаться на норму права или стандарт, которых нет, или пересказать существующую с искажением. Для закупок, где часть решений опирается на закон, это самый дорогой вид ошибки.

Конфиденциальность

Закупочные документы почти всегда содержат коммерческую тайну: цены поставщиков, условия, объёмы, персональные данные сотрудников. Отправка такого документа в публичный чат-бот — это передача данных третьей стороне, даже если ничего не сохранилось на диске.

Что делать до первого документа:

Определить разрешённые инструменты. Список утверждает компания, а не закупщик. Если списка нет — считайте, что публичные сервисы не разрешены.
Проверить режим обработки данных. У корпоративных версий обычно есть условия, при которых содержимое не используется для обучения. У бесплатных — часто нет.
Обезличивать, где можно. Для черновика письма не нужны реальные цены и имена поставщиков: замените их на условные.
Не загружать лишнее. Один пункт договора вместо всего договора снижает риск и почти не снижает пользу.
Зафиксировать правило письменно. Устная договорённость «не отправляйте ничего важного» не работает: у людей разные представления о важном.

Как проверять факты

Проверка — не перечитывание ответа, а сверка с источником. Работает такая последовательность.

Требуйте ссылку. В промпте просите указывать пункт, страницу или фрагмент. Ответ без ссылки проверяется целиком, а это дороже, чем сделать работу вручную.
Сверяйте выборочно, но по правилу. Проверяйте все числа, все даты и все ссылки на нормы — без исключений. Текстовые формулировки можно просматривать выборочно.
Используйте второй проход. Отдельный запрос «найди в этом ответе утверждения, которых нет в исходном тексте» ловит часть ошибок, но не заменяет сверку.
Оставляйте след. Если результат идёт в дело, сохраните исходный документ и версию промпта. Через месяц вопрос «откуда эта цифра» будет задан обязательно.

Когда ИИ применять нельзя

Есть задачи, где ошибка не исправляется проверкой, потому что цена ошибки — юридическая или репутационная.

Юридические заключения. Толкование договора, оценка судебной перспективы, вывод о законности процедуры — работа юриста, а не модели.
Решение о выборе поставщика. Модель может подготовить сравнение, но решение принимает комиссия по утверждённым критериям. Передача решения модели лишает процедуру защищённости.
Проверка обязательных требований. Соответствие лицензии, сертификату, допуску подтверждается документом, а не текстом модели.
Работа с персональными данными без правового основания и без инструмента, разрешённого для таких данных.
Подписание и заверение. Любой документ, который создаёт обязательства, подписывает человек, понимающий его содержание.

Как оформить это в правила

Компании, которые используют ИИ в закупках, рано или поздно пишут внутреннюю политику. Минимальный набор пунктов выглядит так: перечень разрешённых инструментов, категории данных, которые нельзя обрабатывать, требование проверки фактов, список задач, где применение запрещено, и порядок разбора инцидентов.

Для рамки можно опираться на документы по управлению рисками ИИ — например, AI Risk Management Framework Национального института стандартов и технологий США. Он не про закупки, но даёт структуру: описание назначения системы, карта рисков, меры контроля, мониторинг.

Что читать дальше

Промпты для закупщика: как формулировать запросы, чтобы ошибок было меньше.
Инструменты ИИ для закупок: что проверять у специализированных платформ.
Этика и конфликт интересов: правила работы с данными поставщиков.
ИИ в закупках: обзор раздела.