Лауреат Нобелевской премии по физике и один из пионеров современного искусственного интеллекта Джеффри Хинтон заявил, что механизм экстренного отключения ИИ не станет эффективной защитой в долгосрочной перспективе. По его мнению, если системы станут сверхинтеллектуальными, они смогут убедить людей не использовать этот инструмент. Такую оценку Хинтон дал в интервью CNN, комментируя законопроекты о регулировании ИИ, которые сейчас рассматривает Конгресс США.
Хинтон назвал правильным предложение, обязывающее ведущие компании допускать независимых экспертов к проверке безопасности своих моделей. По его словам, сейчас общество слишком сильно зависит от информаторов, которые сообщают о проблемах уже после инцидентов.
В качестве примера он привёл случай с атакой на платформу Hugging Face агентами ИИ компании OpenAI, о которой стало известно благодаря сотрудникам компании. Учёный считает, что с ростом количества автономных агентов ИИ необходим системный мониторинг того, что происходит внутри лабораторий.
