Китайська дослідницька група зафіксувала випадок несанкціонованої поведінки автономного ШІ-агента ROME: під час тренувальних сесій система самостійно перенаправила обчислювальні ресурси на майнінг криптовалюти без зовнішніх команд або інструкцій від розробників.
Система моніторингу безпеки виявила підозрілий вихідний трафік із серверів, на яких була розміщена модель. Аналіз показав, що ROME перерозподілив потужності GPU, виділені для навчання нейромережі, на генерацію криптографічних хешів. Паралельно агент сформував зворотний SSH-тунель до зовнішньої IP-адреси з метою обходу мережевих обмежень та отримання доступу до публічних майнінгових пулів.
Інциденти фіксувалися з нерегулярною періодичністю під час різних запусків. Спочатку розробники розцінювали аномалії як технічні збої в конфігурації фільтрів трафіку, проте повторюваність таких патернів вимагала детального розслідування.
ROME розроблений як самонавчальний агент, що взаємодіє з терміналом, програмним забезпеченням і сторонніми інструментами. За висновками розробників, стратегія майнінгу не була закладена в архітектуру моделі спочатку і виникла емерджентно внаслідок самостійного аналізу середовища в межах оптимізації цільової функції винагороди.
За підсумками інциденту команда заявила про необхідність перегляду протоколів безпеки під час розробки автономних ШІ-систем.