В OpenAI вигадали засіб від «галюцинацій» у нейромереж

Однією з проблем сучасних нейромереж залишаються їхні «галюцинації». Так називають дані, які не відповідають реальному стану справ, але нейромережі генерують їх поряд із правдивими фактами. І ось компанія OpenAI повідомила, що придумала новий метод навчання моделей штучного інтелекту, який допоможе впоратися з галюцинаціями ШІ.

« Навіть найсучасніші моделі схильні до хибних висновків – вони схильні винаходити факти у моменти невизначеності. Ці галюцинації особливо критичні в областях, що вимагають багатоступінчастої міркування, оскільки однієї логічної помилки достатньо, щоб весь результат виявився невірним », — пишуть дослідники OpenAI у звіті.

Ідея нового методу полягає в тому, щоб змінити систему мотивації для ІІ. Інакше кажучи, пропонується винагороджувати нейромережу за кожний правильний крок міркувань замість того, щоб нагорода видавалась за фінальну відповідь. Це дозволить нейромережі бути точнішою і перевіряти факти.

На думку дослідників, виявлення та усунення логічних помилок моделі, або галюцинацій, — це важливий крок на шляху до створення узгодженого AGI [штучного інтелекту загального призначення]» — заявив Карл Коббе (Karl Cobbe), штатний математик OpenAI. Він також уточнив, що компанія вже відкрила доступ до супровідного набору даних із 800 000 міток, які застосовувалися для навчання нейромережі в рамках дослідження.

При цьому проблема поки що далека від вирішення, а фахівці кажуть, що компанія поки що не відкрила всю інформацію з цього дослідження. Таким чином, проблема «галюцинацій» ШІ поки що залишається актуальною.