ChatGPT «збожеволів» і почав розмовляти імітованим голосом користувача

Компанія OpenAI опублікувала звіт, в якому були детально описані ключові області ризику в останній версії великої мовної моделі GPT-4o і способи їх зниження. В одному випадку фахівці OpenAI виявили, що розширений голосовий режим моделі, що дозволяє користувачам спілкуватися із ChatGPT, почав несподівано розмовляти імітованим голосом користувача. У такий момент ChatGPT раптово серед відповіді на запит людини закричав: «Ні!», а потім почав говорити згенерованим голосом користувача.

Фахівці OpenAI пояснили, що ситуація сталася, коли шум у даних, що вводяться користувачем, збив модель з пантелику і замінив авторизований зразок голосу в системній підказці на звукове введення від користувача.

OpenAI також зазначила, що ризик ненавмисного копіювання голосу залишається «мінімальним». Компанія вже заблокувала ненавмисну ​​генерацію голосу.