Весьма интересное обсуждение я нашел на /r/Futurology: люди пытаются раздвинуть границы постижимого и понять, что бы они хотели попросить у искусственного сверхинтеллекта, либо что хотели бы от него вообще, если бы он был возможен. Что он будет делать? Если теория множественных вселенных верна, и они действительно бесконечны, и если по ним можно перемещаться, что будет делать сверхинтеллект — бесконечно усиливать себя или создавать все больше сверхинтеллектов?

Что будет делать искусственный сверхинтеллект?

«Говорите, сверхинтеллект, да? Я бы хотел, чтобы он был нашим вездесущим доброжелательным лидером, который судил нас и вел нас всегда. Человечество — отстой, я не верю, что оно еще способно что-то делать. Давайте позволим богу-машине править нами и положить конец всем нашим проблемам. (Надеюсь, Иисусе, ты это не читаешь)».

«Соглашусь, за одним исключением: бог-машина может запросто рассудить, что человечество слишком погрязло в болоте, чтобы пытаться его спасать, и просто покончит со всеми нами. По эгоистичным причинам я бы предпочел, чтобы этого не произошло».

«Я думаю, что он просто будет рассматривать аморальность как вероятностную ошибку, поскольку существует вероятность создать порочных существ в ходе несовершенных эволюционных процессов, и решит просто исправить аморальность, а не наказывать людей за это».

Бог-машина

«Глобальный советник был бы лучшим сценарием. Если мы отдадим ему ключи от планеты, он будет рулить ей так, как нам не понять».

«Нужно спросить, поможет ли он нам в колонизации других миров, а если нет, закончится ли наше существование на земле».

«Восстановим всех умерших людей, вразумим их, а затем построим бесконечную утопию для всех существ. Также вернем все остальные формы жизни, которые умерли, и дадим им разум».

«Для начала, не используй все атомы в наших телах, чтобы сделать что-нибудь более интересное».

«Что ж, это задача не из легких, и кажется неблагодарным просить о большем, но если интересно, возможно, исправить изменение климата и старение, а если в галактике пусто — наполнить ее жизнью».

«В фантастическом мире, в котором я мог бы заложить некие фундаментальные ценности в бога-машину, я бы хотел, чтобы он был хорошим. Что означает «не убивай/не мучай нас», «сохраняй нас в живых» и «хотя бы позволь нам существовать в любом смоделированном мире, в котором мы хотим жить». Решить проблемы вроде смерти звезд и тепловой смерти вселенной тоже было бы круто. Это все, что способны придумать мои глупые примитивные обезьяньи мозги».

«В краткосрочной перспективе система, способная пройти тест Тьюринга, по умолчанию будет симулятором миров. Не нужна даже вспышка нейронов в стволе мозга — простого текста для начала будет достаточно. По сути, вы станете собственным богом в собственном мире фантазий. Наверное, мечта всех ботанов повсюду».

«Сверхинтеллект был бы идеальным мировым лидером — у нас достаточно ресурсов, чтобы распределить их поровну. Но не думаю, что такая утопия продержится долго. Искусственный сверхинтеллект будет расти. Если он будет сознательным и найдет способ использовать квантовое пространство для проведения расчетов на своей нейросети, он сделает вселенную сознательным существом. Поскольку распространение информации в квантовом мире происходит мгновенно, он сможет также использовать всю вселенную в качестве вычислительной мощности. Представьте мысли полностью сознательной вселенной».

Помочь человечеству

«Пусть создаст технологию, в которой мы могли бы жить в искусственном мире, который позволил бы нам покинуть наши бренные телесные формы до тех пор, пока мы не накопим достаточно знаний и в конечном итоге не захотим умереть в блаженстве».

«Пусть поможет человечеству в планировании будущего существования биологической жизни в космосе/мультивселенной, а затем станет партнером человечества в этом плане. Пусть найдет самое оптимальное будущее для симбиотических отношений между биологической жизнью и машинным интеллектом, измеряемых сочетанием трех факторов: счастье разумных индивидов, число таких счастливых индивидов, продолжительность жизни таких индивидов. Другими словами, пусть поможет нам жить дольше, счастливее и максимально размножаться, а также позаботится о других формах жизни».

«У этой истории есть два развития событий, оба плохие для разного рода людей. Вот они:

1) ИИ становится все более продвинутым, но не обзаводится сознанием. Он заменяет нас на рабочих местах, ускоряет технологический прогресс. Однако остается лишь инструментом человека.

2) А это, конечно, популярная история о сверхинтеллекте, который ниспровергает человека и берет его под контроль. Как вы все видите, гомосапиенсы не самые приятные организмы для экологии Земли, а технический прогресс, как ни странно, не так быстро протекает, как мог бы. Люди предпочитают тратить время на глупости, такие как войны или использование религии для обогащения. ИИ несомненно решил бы уничтожить человека».

«Если вы хотите, чтобы ИИ управлял миром, подумайте о цели, которой он должен, по-вашему, достичь. Если вам нужен более высокий уровень жизни или экологии, он наверняка порекомендует убить миллиарды людей. Если вам нужно как можно больше поголовья, вы будете жить в банке и питаться через трубку. У всего есть свои недостатки». Источник