Slopsquatting — несуществующие пакеты как вектор атаки

В ИИ-моделях изучают новый потенциальный вектор атаки на цепочку поставок — slopsquatting. Как можно догадаться, он связан с галюцинациями LLM’ок. Точнее, несуществующими пакетами, которые они придумывают в процессе кодинга.

Выдуманные пакеты ИИ предлагает с завидной регулярностью — до 20% случаев. Хуже дела обстоят у опенсорсных: ложных рекомендаций до 21,7%, в то время как коммерческие держатся на 5,2%. Ключевой момент, галлюцинации воспроизводимые: почти в 60% повторения промптов те же слоп-пакеты вновь всплывали в выдаче. Причём сами названия звучат убедительно.

Иными словами, злоумышленник может выловить их в выдаче модели, зарегистрировать вредоносные пакеты и ждать, пока любитель вайбкодинга и около того словит в инфраструктуру услужливо предложенный LLM’кой бэкдор. Причём о его существовании он даже не будет догадываться. Как вам такие вайбы?

Ранее также появилась информация о том, что ИИ-модели научились выполнять сценарии киберугроз.