Надрозумний ШІ “швидше за все” викличе екзистенційну катастрофу для людства, йдеться в новій роботі дослідників з Оксфордського університету та компанії Google DeepMind
Найуспішніші моделі ШІ сьогодні відомі як GAN, чи генеративні адверсарні мережі. Вони мають двочастинну структуру, де одна частина програми намагається згенерувати картинку (або пропозицію) із вхідних даних, а друга частина оцінює її роботу. У новій роботі пропонується, що в якийсь момент у майбутньому просунутий ШІ, який контролює якусь важливу функцію, може бути стимульований до того, щоб вигадати шахрайські стратегії для отримання винагороди таким чином, щоб завдати шкоди людству.
Оскільки ШІ в майбутньому може набувати будь-яких форм і реалізовувати різні конструкції, у статті для прикладу представлені сценарії, в яких просунута програма може втрутитися, щоб отримати винагороду, не досягнувши своєї мети. Наприклад, ШІ може захотіти “усунути потенційні загрози” та “використовувати всю доступну енергію”, щоб забезпечити контроль над своєю винагородою у вигляді ресурсів (які не нескінченні) для свого існування.
Автори статті припускають, що життя на Землі перетвориться на гру з нульовою сумою між людством з його потребами вирощувати їжу та підтримувати світло, і надпросунутою машиною, яка спробує використати всі доступні ресурси для отримання винагороди та захисту від наших наростаючих спроб зупинити її.
На закінчення доповіді наголошується, що “існує безліч припущень, які необхідно зробити, щоб це антисоціальне бачення мало сенс – припущень, які, як визнається у доповіді, майже повністю “спірні або їх можна уникнути””.
“Те, що ця програма може нагадувати людство, перевершувати його у всіх значущих відносинах, що вони будуть випущені на волю і конкуруватимуть з людством за ресурси у грі з нульовою сумою, – все це припущення, які можуть ніколи не здійснитися”.