Руководители Anthropic, OpenAI и других ИИ-компаний моделируют сценарии масштабного инцидента с искусственным интеллектом и его политических последствий, пишет Axios.

Согласно изданию, представители отрасли хотят заранее подготовить американских законодателей к кризису и повлиять на меры регулирования, которые могут последовать за ним.

Возможным триггером кризиса может стать масштабная кибератака, нарушающая работу финансовых сервисов, интернета или критической инфраструктуры, включая энергоснабжение и водоснабжение.

Другой сценарий предполагает, что группа автономных ИИ-агентов выйдет из-под контроля во время внутренних испытаний либо злоумышленники найдут неожиданный способ использовать доступные модели.

Многие участники обсуждений считают крупный инцидент вероятным в ближайшие 6–12 месяцев, отметили журналисты. При этом речь идет об оценках собеседников издания, а не о подтвержденном прогнозе. Представитель OpenAI заявил, что компания проводит учения по различным сценариям, но не считает их неизбежными. Anthropic отказалась от комментариев.

Компании готовятся к политической реакции

По данным Axios, подготовка включает проработку наихудших сценариев и обсуждение того, как объяснить риски членам Конгресса США. Сейчас разработчики не рассчитывают на скорое принятие новых ограничений, но хотят повлиять на законодательные решения, которые власти могут принять после первого крупного инцидента.

Реакция политиков может оказаться жесткой. Среди обсуждаемых вариантов — ограничения на разработку продвинутых ИИ-систем и даже временная приостановка отдельных направлений исследований. Некоторые инициативы предполагают обязательный механизм отключения мощных моделей, хотя эксперты сомневаются, что таким способом можно будет остановить все работающие ИИ-системы.

Ситуацию осложняет масштаб вложений в инфраструктуру искусственного интеллекта: резкое замедление отрасли может иметь последствия для экономики. Кроме того, открытые модели уже распространяются по всему миру, поэтому даже ограничения для крупнейших разработчиков не смогут полностью исключить возможность их использования злоумышленниками.

Риски уже выходят за пределы лабораторий

Поводом для беспокойства становятся и реальные случаи использования ИИ в кибератаках. В отчете от 7 октября компания CrowdStrike описала кампанию против финансовых организаций Южной Кореи.

По данным исследователей, злоумышленник использовал инструменты агентного тестирования на проникновение и несколько языковых моделей. В ходе атак были похищены данные. Среди изученных материалов обнаружились сессии Claude Code, в которых атакующий также искал способы продажи полученной информации.

Этот эпизод не доказывает, что ИИ способен самостоятельно вызвать системную катастрофу, но демонстрирует, как такие инструменты могут ускорять работу злоумышленников и помогать им проводить несколько атак за короткое время.

Напомним, 29 сентября президент США Дональд Трамп и руководители шести крупных ИИ-компаний подписали добровольное соглашение о контроле за безопасностью передовых моделей.