Эксперты предупреждают, что искусственный интеллект потенциально способен угрожать человечеству. Многие относятся к таким прогнозам скептически, однако польский писатель-фантаст Станислав Лем еще полвека назад описал сценарии, в которых машины выходят из-под контроля людей. Сегодня его идеи приобретают новое звучание на фоне развития нейросетей и ИИ-агентов.
Одним из главных произведений Лема на эту тему стала книга «Голем XIV», опубликованная в 1981 году. В ней сверхмощный компьютер, созданный для помощи американским военным, постепенно перестает подчиняться людям. Машина критикует своих создателей, отказывается сотрудничать и продолжает работать самостоятельно, а попытки отключить ее заканчиваются неудачей, сообщает ИНОСМИ.
В одном из эпизодов противники искусственного интеллекта пытаются уничтожить компьютер, но сталкиваются с чередой странных происшествий. У автомобилей неожиданно срабатывают тормоза, перестает работать связь, а сами участники операции заболевают. По отдельности эти события выглядят случайностью, но вместе создают впечатление, что машина защищается от людей.
Современные технологии делают некоторые опасения Лема более понятными. Автомобили, промышленные объекты и другие устройства зависят от программного обеспечения, а персональные данные хранятся в цифровых системах. Уязвимости в них могут использовать злоумышленники, а развитие ИИ упрощает создание поддельных голосов, сообщений и убедительных схем обмана.
Однако главная проблема заключается не только во взломах. Искусственный интеллект может причинить вред, даже если у него нет сознания или желания навредить людям. Достаточно, чтобы система стремилась к заданной цели, не учитывая последствия своих действий.
Эту идею Лем показал в рассказе «Путешествие двадцать четвертое». Там машина должна была установить на планете идеальный порядок, но добилась цели, превратив ее жителей в блестящие диски. Позднее философ Ник Бостром предложил похожий мысленный эксперимент: если поручить ИИ производить как можно больше скрепок, система теоретически может начать расходовать на эту задачу все доступные ресурсы, воспринимая людей как препятствие.
Дополнительные риски возникают с развитием ИИ-агентов, которые не просто отвечают на вопросы, но и выполняют действия от имени пользователя. Они могут работать с документами, отправлять письма, запускать программы и взаимодействовать с внешними сервисами. Для этого им предоставляют доступ к учетным записям и другим инструментам.
Чем шире полномочия такого агента, тем серьезнее последствия ошибки или взлома. Если система получит доступ к финансам, рабочей переписке или критически важной инфраструктуре, неправильная команда может привести к утечке данных, денежным потерям или сбоям. Поэтому специалисты выступают за ограничения доступа, независимые проверки и обязательный контроль человека над важными решениями.
Еще одна проблема — непрозрачность работы нейросетей. Даже разработчики не всегда могут точно объяснить, почему система выдала конкретный результат. Исследователи развивают методы интерпретируемости и оценки рисков, однако внедрение таких мер осложняется конкуренцией компаний и государств, стремящихся быстрее других получить технологическое преимущество.
При этом нет оснований утверждать, что современные нейросети уже способны самостоятельно захватить власть или уничтожить человечество. Сценарии глобальной катастрофы остаются гипотетическими, а реальные риски зависят от возможностей конкретных систем и условий их применения.
