Ведущие технологические компании, включая Google (DeepMind), Anthropic и Microsoft, работают над усилением защиты систем искусственного интеллекта (ИИ) от хакерских атак. Проблема, которая их беспокоит, называется «косвенные инъекции в промты».
Проще говоря, это трюк, когда хакеры прячут вредоносные команды внутри, казалось бы, обычных документов, писем или веб-страниц. Когда ИИ-ассистент анализирует такой документ, скрытая команда может заставить его совершить опасное действие — например, переслать конфиденциальные данные компании злоумышленникам или изменить важные настройки.
Это стало большой угрозой, потому что традиционные методы защиты, как антивирусы, с ней не справляются. Эксперты проверили 12 современных систем безопасности, и хакерские атаки обошли 90% из них.
Теперь компании меняют подход. Они не просто ставят «фильтры», а перестраивают саму архитектуру ИИ, ограничивая его полномочия по умолчанию. Это похоже на правило «не говори лишнего»: если ИИ не нужен полный доступ ко всем данным для выполнения задачи, его доступ ограничивают, чтобы уменьшить риски.
Почему это важно для инвесторов:
-
Безопасность ИИ становится новым большим рынком. Спрос на защиту для ИИ будет только расти.
-
Надежность ИИ-систем становится ключевым фактором при оценке любой технологической компании.
-
Компании, которые решат эти проблемы безопасности первыми, получат серьезное преимущество.
