Японські вчені порівняли прогнозні оцінки ситуації з COVID-19 традиційної статистичної моделі та моделі компанії Google, що використовує штучний інтелект. Виявилося, що точність традиційної “ручної” моделі набагато вища. Результати дослідження опубліковані на сайті препринтів medRxiv.
З травня 2020 року компанія Google (Alphabet Inc.) використовує штучний інтелект (ШІ) для прогнозу епідемії COVID-19 в США. У листопаді 2020 року вона має почала надавати аналогічні послуги в Японії.
Дослідники з Університету Токива в префектурі Ібаракі і Національного інституту інфекційних хвороб в Токіо вирішили порівняти точність прогнозу від Google з їх власної статистичною моделлю, заснованої на даних органів епіднагляду.
Модель японських вчених, що має дальність прогнозу сім днів, використовувала традиційні параметри прогнозування – кількість захворілих 14 днів тому, кількість виявлених хворих, а також дані по виписаним рецептам за останній тиждень. На чому грунтується прогноз Google, авторам невідомо.
Для отримання інформації про інфекційні захворювання вчені взяли офіційні дані національних органів з нагляду за інфекційними захворюваннями (National Official Sentinel Surveillance for Infectious Diseases – NOSSID) і за рецептами (Prescription Surveillance – PS).
Автори оцінили прогностичну здатність двох моделей за ступенем розбіжності і коефіцієнту кореляції між прогнозами і реальними даними. Коефіцієнт кореляції призначений для якісної оцінки, він вказує лише на те, пропорційні дані прогнозу чи ні. Тому в якості параметра порівняння дослідники використовували коефіцієнт невідповідності – суму абсолютних відмінностей між даними і прогнозом, поділену на обсяг вибірки.
В абсолютному вираженні показник розбіжності прогнозів Google склав 27,7 відсотків за перший тиждень роботи в Японії, тоді як показник розбіжності моделі, використаної в цьому дослідженні, – всього 3,47 відсотка. Також прогноз Google значно негативно корелює з фактичними даними, а статистична модель, хоча і незначно, але корелює позитивно.
Автори вважають, що прогноз ШІ сильно залежить від закладеної в його основу математичної моделі, що спирається на накопичення колективного імунітету, і він навряд чи зміг би передбачити липневий спалах COVID-19 в Японії. А епідеміологічні моделі, засновані на людському інтелекті, змогли це зробити.
Вчені роблять висновок про те, що ШІ поки не може передбачити розвиток таких складних інфекційних захворювань, як COVID-19, і правильніше поки користуватися традиційними методами прогнозу. У той же час вони відзначають, що їх модель і модель ШІ Google оцінювали кілька різні параметри. Google прогнозує число вперше хворих, а статистична “ручна” модель – кількість виявлених випадків.