Креативный компромисс
В последние годы искусственный интеллект стал неотъемлемой частью множества отраслей, от медицины и юриспруденции до финансов и маркетинга. Однако, наряду с огромным потенциалом, нейросети и большие языковые модели (LLM) все чаще становятся источником так называемых галлюцинаций — ложных данных, которые они выдают с удивительной уверенностью.
«Галлюцинации ИИ — это непреднамеренная ошибка модели, вызванная ограничениями данных или алгоритмов,— объясняет директор департамента расследований T.Hunter Игорь Бедеров.— Ее следует отличать от намеренной дезинформации — результата злоупотребления системой (например, jailbreaking — взлом ограничений модели для генерации вредоносного контента) или предвзятости в данных. В связи с этим важными критериями работы моделей являются достаточное количество источников и согласованность запроса».
По словам господина Бедерова, такие ошибки — это не дефект или баг в коде, а особенность самой архитектуры генеративных моделей, таких как большие языковые модели (LLM). Он отмечает, что «такие системы, как LLM, предсказывают следующее слово в тексте на основе статистических закономерностей, а не реального понимания контекста и ориентированы на создание правдоподобных ответов, а не на проверку их истинности».
«В то время как в творческих областях такие «галлюцинации» могут порождать инновации, в тех случаях, когда точность и достоверность важны, это превращается в серьезный недостаток»,— подчеркивает Игорь Бедеров.
«Были случаи, когда галлюцинации привели к юридическим последствиям,— напоминает Игорь Бедеров.— Так, американский адвокат использовал ChatGPT для подготовки иска, но модель сгенерировала несуществующие судебные прецеденты, что едва не привело к его дисциплинарному выговору».
Ранее эксперты также раскрыли новый способ применения языковых моделей для кибератак на компании.
Читать статью в полной версии «Коммерсант»
