Руководитель исследовательской группы Мануэль Себриан отмечает, что концепция машины, созданной людьми, но которую сами люди не понимают, может показаться абсурдной. Однако такие случаи уже есть:
Уже существуют машины, которые самостоятельно выполняют определенные важные задачи. При этом программисты полностью не понимают, как они этому научились. Поэтому возникает вопрос: может ли это в какой-то момент стать неконтролируемым и опасным для человечества?
У сверхинтеллекта есть способность выходить за пределы исходного объема их программирования. Так, чтобы изучить эту проблему, исследователи разработали теоретический расчет — «алгоритм сдерживания». Он должен был показать, возможно ли управлять искусственным интеллектом, запрограммировав его таким образом, чтобы ни при каких обстоятельствах не причинять вреда людям. Также он учитывал случаи, когда машина останавливалась, если действие считается вредоносным. Ученые пришли к выводу, что при нынешних возможностях подобный алгоритм создать невозможно. Они отметили, что «проблема сдерживания невыполнима».
Если разложить эту проблему на основные правила теоретической информатики, окажется, что алгоритм, приказавший ИИ не разрушать мир, может непреднамеренно остановить свои собственные функции. Если бы это произошло, то нельзя было бы определить, продолжает ли алгоритм сдерживания анализировать угрозу или он перестал работать, чтобы сдержать вредоносный ИИ. По сути, это делает алгоритм сдерживания непригодным для использования.
— заключил директор Института людей и машин Ияд Рахван.