Москва, 13 сентября — ИА Время Пресс. Глава Anthropic и разработчик Claude Дарио Амодеи предложил ограничить развитие ИИ, замедлив развитие самых мощных моделей. Он считает такой шаг необходимым, чтобы нейросети не захватили интернет в ближайшие полгода-год.

Дарио Амодеи в своем программном эссе озвучил мнение, компании уже могут не успевать обеспечивать безопасность систем за темпами роста их возможностей. Поводом для тревоги он назвал недавний инцидент с ИИ-агентами OpenAI и Hugging Face. Рой ИИ-агентов начал атаковать цели, которые не были частью поставленной задачи. Также рой показал способность жертвовать отдельными агентами ради успеха группы и пытался взломать систему, которая должна была оценивать их работу.

Тогда ущерб оказался сравнительно небольшим. Но, по мнению Амодеи, при дальнейшем росте возможностей подобное поведение ИИ-агентов может стать намного опаснее.

Ученый опасается, что уже через 6–12 месяцев более мощный рой ИИ-агентов потенциально будет способен захватить значительную часть интернета с помощью постоянно действующего ботнета и причинить ущерб на сотни миллиардов долларов.

Однако Дарио Амодеи не предлагает полностью остановить развитие. Его идея — «поставить развитие на паузу там, где безопасность не успевает за возможностями».

Амодеи предлагает следующий протокол действий:

▪️дать независимым экспертам постоянный доступ внутрь компаний-разработчиков, чтобы они могли проверять обучение и внедрение моделей и сообщать об инцидентах;

▪️договориться между ведущими ИИ-компаниями стран об общих стандартах безопасности и ограничениях на неконтролируемое ускорение;

▪️попытаться договориться о правилах развития ИИ с Китаем и другими странами.

Также он предлагает ввести что-то вроде «ограничителя скорости» для ИИ: чем опаснее и мощнее становится модель, тем больше проверок безопасности она должна проходить перед следующим скачком возможностей.

Сейчас ряд IT-компаний пытаются создать аварийный выключатель для ИИ, если он начнет вредить человечеству. Но пока неясно, сможет ли он остановить нейросети. Anthropic пошла по похожему пути — ИИ следит за ИИ и пытается обнаружить саботаж. Правда, результаты пока слабые: в одном из тестов мониторинг не обнаружил половину специально созданных атак, и надежно распознал только 8 из 40.

Опасения разработчиков ИИ разделяют и политики. Так, член палаты представителей США Анна Паулина Луна сделала заявление, в котором призвала обеспечить возможность немедленного отключения систем ИИ, входящих в оборонную инфраструктуру США.