Фахівці Центру цифрової журналістики Tow при Колумбійському університеті провели тестування пошуковика в популярному чат-боті на базі штучного інтелекту ChatGPT компанії OpenAI. OpenAI відкрила доступ до функції пошуку в ChatGPT для користувачів у жовтні цього року, заявивши, що вона здатна надавати «швидкі та актуальні відповіді з посиланнями на відповідні веб-джерела».
Однак у ході тестування цього інструменту виявилося, що він важко розпізнає цитати зі статей, навіть якщо їх публікували видавці, які дозволили OpenAI використовувати свій контент для навчання великих мовних моделей (LLM).
Автори дослідження попросили ChatGPT вказати джерела «двохсот цитат із двадцяти джерел». Сорок із цих цитат були взяті з матеріалів видавців, які заборонили пошуковому роботі OpenAI доступ до своїх сайтів. З усім тим, навіть у цих випадках чат-бот впевнено відповідав, видаючи неправдиву інформацію, а також у деяких випадках зізнаючись, що не впевнений у достовірності наданої інформації.
«Загалом ChatGPT повернув частково або повністю неправильні відповіді у 153 випадках, тоді як нездатність дати точну відповідь він визнав лише 7 разів. Тільки в цих 7 результатах чат-бот використовував уточнюючі слова та фрази, такі як “схоже”, “це можливо”, “можливо”, або твердження на кшталт “я не зміг знайти оригінальну статтю”», – йдеться у повідомленні дослідників.
Ще під час серії тестів було виявлено випадки, коли пошуковий інструмент ChatGPT видавав результати, у яких цитати з листа до редакції Orlando Sentinel помилково співвідносилися з матеріалами журналу Time. В іншому прикладі, коли чат-бота попросили вказати джерело цитати зі статті New York Times про кити, що знаходяться під загрозою зникнення, він видав посилання на веб-сайт, який просто скопіював і опублікував оригінальну статтю. Джерело