Журналіст видання ArsTechnica Бендж Едвардс розповів про експеримент, проведений під час дослідження точності великих мовних моделей штучного інтелекту — ChatGPT та подібних. Працював журналіст із системою детектування текстів, згенерованих технологіями ШІ.
Йдеться про такий інструмент, як GPTZero. В основі технології лежить велика мовна модель, навчена на величезному обсязі тексту, що складається з мільйонів прикладів листа і включає набір передбачуваних правил, які визначають, чи текст з більшою ймовірністю буде згенерований людиною чи штучним інтелектом.
Незважаючи на це, «точні» системи можуть цілком дати збій при визначенні таких складних і багатовимірних текстів, як Біблія та подібні фоліанти, а також Конституція США.
При детектуванні тексту Конституції система GPTZero видала визначення, за яким Конституція США написана штучним інтелектом. Помилка систем ШІ полягає в тому, що вони мають таку функцію детектування, як «здивування» — наскільки вихідні дані, сформовані під час аналізу, близькі до матеріалу, на якому мовну модель навчали.