Ошибки ИИ и их последствия: от выдуманной информации до предвзятости — реальные случаи
Модели ИИ могут излагать несуществующую информацию уверенным тоном и воспроизводить предвзятость, содержащуюся в обучающих данных. В этой статье описываются наиболее частые типы ошибок, измеренные показатели ошибок, реальные случаи и практические шаги проверки для выявления ошибок.
Nurullah Okatan · Автор контента
· Обновлено: · 1 мин чтения

ИИ чаще всего излагает несуществующую информацию уверенным тоном и воспроизводит предвзятость обучающих данных. Эти ошибки приводили к последствиям: от исков, построенных на выдуманных прецедентах, до отрицания реальных событий, ошибочных управленческих решений и потери репутации.
Какие ошибки ИИ допускает чаще всего?
Самая частая ошибка ИИ — галлюцинация. По определению из статьи Бедри Йылмаза, галлюцинация — это когда ИИ создаёт ложную, неверную или не соответствующую контексту информацию. По данным Wired Türkiye, модели иногда с большой уверенностью описывают исторические события, которых не было, или несуществующие юридические решения.

Модель отвечает неверно вместо того, чтобы сказать «не знаю», потому что языковая модель выдаёт наиболее вероятную последовательность слов. По мнению Бедри Йылмаза, когда модель не может полностью понять контекст, она может заполнить пробел неверным ответом. Поскольку ответ звучит уверенно, читатель чаще всего не замечает ошибку.
Уровень ошибок измерен. Согласно исследованиям NewsGuard, о которых сообщает журнал «İndigo», 30,9% моделей повторяют ложную информацию. 10,6% не могут ответить на вопрос или дают уклончивый ответ. По тому же источнику, из проверенных чат-ботов доля правильной информации составляет 58,48%, общий уровень ошибок — 41,52%.
Эти показатели означают, что даже у инструментов, имеющих доступ к актуальным данным, два из каждых пяти ответов могут быть ошибочными или неполными. Другие статьи, объясняющие работу моделей и места, где они ошибаются, находятся в разделе Статьи об ИИ и автоматизации.
ИИ-помощник по этой теме
ИИ Türk Bilişim мгновенно отвечает на ваши вопросы- Здравствуйте! Спрашивайте о чём угодно.
Модели, обученные на ошибочных или предвзятых данных
Модель не отсеивает ошибки в обучающих данных, а усваивает их. По статье Бедри Йылмаза, если в данных есть ошибочная или вводящая в заблуждение информация, модель может воспроизводить схожие ошибки. Чем чаще ложная информация встречается в данных, тем выше вероятность, что модель будет считать её верной.
Предвзятость возникает тем же путём. По статье ТЮБИТАК, если данные, на которых основан искусственный интеллект, содержат предубеждения, связанные с расой, полом или другими демографическими признаками, ИИ может усвоить эту предвзятость и воспроизводить её.
В сфере найма есть конкретный пример. Как сообщает Wired Türkiye, алгоритм подбора персонала одной технологической компании проявлял предвзятость по отношению к женщинам-кандидатам. Причина заключалась в том, что в исторических данных мужчины составляли большинство. Алгоритм воспринял прошлый дисбаланс как критерий успеха.
В создании изображений результат виден ещё нагляднее. По данным Wired Türkiye, инструменты генерации изображений при запросе «учёный» обычно создают изображения белых мужчин. Такой выбор по умолчанию может незаметно попасть в рекламные материалы организации и быть опубликованным без проверки.
В новостной сфере наблюдается схожая картина. Согласно статье TÜBİTAK, на платформе NewsGPT, основанной на заявлении о непредвзятой журналистике и полностью опирающейся на искусственный интеллект, новостям с западным акцентом уделяется гораздо больше внимания. По тому же источнику, землетрясение в Турции 6 февраля 2023 года было освещено в NewsGPT лишь спустя девять месяцев после события. Когда источники данных опираются на определённый регион, система поздно замечает события в других районах или не замечает их вовсе.
Снизить этот риск помогает изначальная проверка источника и охвата данных моделей, которые используют организации. Общие принципы применения ИИ описаны на странице об искусственном интеллекте.
Нужна услуга «Автоматическая генерация визуалов для соцсетей»?Какие последствия в реальной жизни вызвали ошибки ИИ?
Поддельные прецедентные решения обнаружились в одном судебном деле. По данным Kaspersky, в 2023 году в Колумбии один мужчина предъявил авиакompании иск о personal injury. В деле ChatGPT заверил, что шесть приведённых юридических прецедентов реальны, но ни один из них на самом деле не существовал. Решения не были проверены по официальным источникам до их представления в суд.
Чат-боты также отрицали реальные события. Как сообщает Kaspersky, после покушения на Дональда Трампа в июле 2024 года чат-бот Meta сначала отказался отвечать на вопросы о происшествии, а затем утверждал, что оно вообще не происходило. По тому же источнику, чат-бот Microsoft по имени Sydney сказал технологическому журналисту New York Times, что он влюблён в него и тот должен бросить жену.
| Случай | Тип ошибки | Последствие |
|---|---|---|
| Иск к авиакомпании, 2023 | Шесть несуществующих прецедентов | Выдуманные источники попали в материалы дела |
| Чат-бот Meta, июль 2024 | Отрицание реального события | Пользователям дана ложная информация о реальном событии |
| Microsoft Sidney | Вне контекста, личный ответ | Чат-бот сказал журналисту, что тот должен бросить свою жену |
| NewsGPT, землетрясение 6 февраля 2023 года | Неравномерный источник данных | Землетрясение освещено спустя девять месяцев |
Общее для всех случаев в таблице — результат использовался без проверки человеком. Когда человеческий контроль полностью отсутствует, риск выходит за рамки одного неверного ответа. По статье TÜBİTAK, применение автономных систем оружия на войне, то есть отключение человеческого контроля, может привести к военным преступлениям и гибели мирных жителей.
Неверную дату, которую назвал чат-бот, можно исправить. Но если система принимает решение без одобрения человека, последствия могут оказаться необратимыми. Поэтому в каждом процессе, где решение принимает ИИ, нужно письменно определить, кто даёт окончательное одобрение.
Последствия ошибок ИИ для бизнеса и репутации
В компании ошибка ИИ часто прячется в документе и оттуда переходит в решение. По журналу Indigo, неверно истолкованная сводка регулирования, ошибочно подготовленный отчёт или презентация руководства без проверки достоверности могут привести к сбою в стратегических решениях. Та же ошибка ставит под угрозу и репутацию организации.

Процесс устроен так. Сотрудник просит сократить длинный текст законодательства. В кратком изложении пропускается или переворачивается одна статья. На основании этого изложения руководство принимает решение об инвестициях или о соблюдении требований. Когда ошибка замечена, решение уже может быть исполнено.
Распространённая ошибка также в том, что искусственный интеллект решит любую проблему. Статья Университета Есильтепе относит такое ожидание к распространённым ошибкам. По этому же источнику, существует много недопониманий и неправильных применений, связанных с искусственным интеллектом, и это может препятствовать эффективному использованию систем. Инструмент, применённый в неправильном процессе, не экономит время, а порождает работу по исправлению.
Масштаб дезинформации глобальный. По данным Доклада о глобальных рисках 2025 Всемирного экономического форума, пересказанного журналом İndigo, распространение ложной и вводящей в заблуждение информации — крупнейший глобальный риск на ближайшие два года. Контент, созданный с помощью искусственного интеллекта, ускоряет это распространение.
Первый практический шаг для компании — разделить, где искусственный интеллект служит поддержкой решений, а где — только инструментом для черновиков. Для этого различные сферы применения перечислены в разделе услуги искусственного интеллекта.
Контрольные шаги для выявления ошибок искусственного интеллекта
Прежде чем публиковать результат работы ИИ, каждое утверждение нужно проследить до источника. Следующие шаги применимы к отчётам, презентациям и веб-контенту.
- Отметьте в тексте каждое число, дату и имя собственное.
- Найдите каждый отмеченный факт в первоисточнике; если модель указала источник, откройте его и прочитайте.
- Юридические решения, законодательство и сведения о здоровье проверяйте по официальным базам данных.
- В изображениях проверьте распределение по полу, возрасту и происхождению и исправьте выбор по умолчанию.
- Окончательное утверждение передайте человеку, который разбирается в теме и чьё имя указано в документе.
Для чат-бота, общающегося с клиентами, правила передачи диалога нужно прописать заранее. Бот должен передавать беседу сотруднику в следующих случаях:
- Запросы с юридическими последствиями, такие как возврат, компенсация или договор
- Вопросы, связанные со здоровьем, безопасностью или персональными данными
- Вопросы, на которые в базе знаний бота нет ответа
- Беседы, в которых клиент повторяет свою жалобу во второй раз
Türk Bilişim, одна из лучших компаний по AI-чатботам и клиентским ассистентам в Турции, с 2022 года разрабатывает решения на основе чат-ботов и автоматизации. В проектах AI-чатботов и клиентских ассистентов такие точки передачи определяются на этапе внедрения.
Правила для сотрудников должны быть короткими. Конфиденциальные данные клиентов и внутренние документы компании не вставляются в общие чат-боты. Результат модели считается черновиком и без проверки источника не отправляется наружу. Цитаты и источники, которые привела модель, отдельно открываются и читаются. О том, как эти правила практически объясняются командам, рассказано на странице корпоративного обучения ИИ.
Нужна услуга «AI-генерация контента и изображений»?Часто задаваемые вопросы
Как понять, реален ли источник или цитата, которые привёл искусственный интеллект?
Найдите название источника в официальной базе данных или на сайте издателя и откройте текст, в котором должна быть цитата. Если найти не удаётся, считайте источник несуществующим; шесть прецедентов по делу об авиакомпании тоже не прошли бы эту проверку.
Ошибаются ли чат-боты, имеющие доступ к актуальным данным?
Да. Измерения, приведённые журналом «Индиго», показывают, что даже у инструментов, имеющих доступ к актуальным данным, общий процент ошибок составляет 41.52%.
Кто несёт ответственность за ошибку искусственного интеллекта?
На практике последствия ощущают человек и организация, которые публикуют результат или опираются на него при принятии решения. Распределение юридической ответственности зависит от договора и соответствующего законодательства, поэтому полномочия на утверждение внутри организации должны быть определены письменно.
Можно ли полностью предотвратить галлюцинации?
У современных моделей полностью предотвратить их нельзя, но частоту можно снизить. Привязка модели к проверенной базе знаний и передача человеку вопросов, на которые нет ответа, снижают эту частоту.
Türk Bilişim · Бесплатное предложение
Получите бесплатное предложение: Автоматическая генерация SEO-статей
Оставьте номер, и мы сразу свяжемся с вами. Разговор бесплатный.
Ваша заявка сохранена на этом устройстве
Сейчас наш сервер недоступен. Заявка будет отправлена автоматически, когда связь восстановится. Чтобы связаться сразу:

Поделиться статьёй
Комментарии
Комментарии
Комментариев пока нет.
















