«Красная кнопка», которая остановит ИИ в чрезвычайной ситуации

Насколько известно, использование искусственного интеллекта в настоящее время является наилучшим способом автоматизации выполнения целого ряда сложных и объемных задач, включая маркировку миллионов снимков в Интернете или создание роботов, самостоятельно выбирающих свои действия в той или иной ситуации. Группы программистов и ученых головокружительными темпами создают новые, совершенствуют и усложняют существующие алгоритмы систем искусственного интеллекта. Все это означает, что пора начинать задумываться о том, что же надо будет делать в случае, если какая-нибудь система искусственного интеллекта выйдет из-под контроля и начнет действовать во вред окружающим людям.Подразделение компании Google под названием Deepmind, совместно со специалистами Института будущего человечества (Future of Humanity Institute, FoH), провели исследования, касающиеся проблемы остановки деятельности систем искусственного интеллекта в случае начала их неправильного функционирования. Согласно результатам этих исследований, единственным надежным решением в данном случае является «большая красная кнопка», которая полностью прерывает деятельность системы искусственного интеллекта.

Основой для данных исследований стали исследования, проведенные в 2013 году. В прошлых исследованиях использовалась несложная система искусственного интеллекта, обученная управлять игрой в Тетрис. Через какое-то время этот алгоритм понял совершенно самостоятельно, что когда уровень игры поднимается выше его возможностей, ему стоит только нажать на паузу и он уже не проиграет.

Такой вид придуманной машиной хитрости является самым безобидным, но это полностью вписывается в прогнозы, выдвинутые специалистами Института будущего человечества. Ник Бостром (Nick Bostrom), основатель этого института, в свое время написал книгу под названием «Суперинтеллект /Superintelligence», которая является своего рода предупреждением всему человечеству. Это предупреждение заключается в том, что когда искусственный интеллект получит возможность неконтролируемого и ничем не ограниченного самообучения, он быстро разовьется до уровня, который во много раз превзойдет интеллектуальный уровень человечества. Такое событие было впервые описано в 1958 году ученым-математиком Стэнислоу Улэмом (Stanislaw Ulam) и оно, это событие, получило название «Сингулярность».

Разработанный учеными термин «прерывание безопасности» заключается в установке в недра вычислительной системы своего рода аппаратного предохранителя, который срабатывает в случае, если действия искусственного интеллекта становятся опасными для окружающих. Но в некоторых случаях система искусственного интеллекта сможет успеть развиться до уровня, когда она сможет эффективно противодействовать активации предохранителя, и ее, по мнению специалистов Google Deepmind и FoH, потребуется обмануть, как это часто и успешно делают люди.

Для того, чтобы реализовать все вышесказанное, специалисты, разрабатывающие системы искусственного интеллекта, должны установить «правила прерывания», спусковой механизм, который позволит «временно или на постоянной основе изменить поведение субъекта (ИИ) насильственным образом». Другими словами, это своего рода сигнал, наподобие ключевого слова, который должен заставить машину думать, что ей пора остановиться. Но машинный интеллект, развившийся выше определенного уровня, сможет воспротивиться такому побуждению, и следующим шагом станет следующая команда (скрипт, ключевое слово или нечто подобное) извне, которая должна заставить машину считать, что она уже внутренне согласилась с первым побуждением. Другими словами, это все является способом обойти автоматику или программы, которые перестали воспринимать команды от людей.

Исследователи отмечают, что сигналами к прерыванию деятельности систем искусственного интеллекта должны распоряжаться только люди, владеющие этими системами. Любые другие люди должны быть лишены возможности воспользоваться такими функциями. И реализация всего этого должна быть максимально проста, исследователи считают, что это может быть система дистанционного управления с одной единственной «аварийной красной кнопкой».

Но и такая технология защиты не будет эффективна при некоторых условиях. Если уровень развития системы искусственного интеллекта перешагнет определенный порог, то время будет упущено и система будет в состоянии просчитать все возможные варианты развития событий, удалить «правила прерывания» из своего собственного кода.

И в заключении следует отметить, что исследования, проведенные Google Deepmind и FoH, являются достаточно обобщенным, ведь на свете еще не существует вычислительной архитектуры, предназначенной для универсального искусственного интеллекта. Но такая архитектура несомненно появится в скором будущем и ее разработчики должны будут учесть в ней все подобные нюансы, установив набор необходимых аппаратных и программных предохранителей. Взято с http://dailytechinfo.org