Здатність графічних процесорів добре масштабувати продуктивність в обчисленнях за умов уповільнення класичного «закону Мура» тривалий час представлялася керівництвом Nvidia як рятівного кола всього людства. Коли бурхливе зростання систем штучного інтелекту почало сповільнюватися, на горизонті замаячили нові проблеми з масштабуванням продуктивності.
Як зазначається у публікації Financial Times, для багатьох у Кремнієвій долині «закон Мура» був витіснений новою концепцією: «законом масштабування» штучного інтелекту. Донедавна вважалося, що масштабування обчислювальної інфраструктури та насичення її більшими обсягами даних призводить до якісних змін у системах штучного інтелекту. По суті, очікувалося, що коштом цього ШІ ставатиме «розумнішим». Всі великі компанії технологічного сектора в результаті вже кілька кварталів поспіль зосереджені на активному нарощуванні обчислювальної потужності центрів обробки даних.
Раніше вважалося, що існуючі темпи зростання продуктивності центрів обробки даних будуть зберігатися доти, доки не буде створено «надінтелект», здатний перевершити людський, але при цьому базований на програмних алгоритмах та залежностях. Лише за останні тижні експерти почали виявляти занепокоєння тим, що новітні великі мовні моделі у виконанні OpenAI, Google та Anthropic не дають необхідного прогресу відповідно до попередніх тенденцій.
Один із засновників стартапу Ілля Суцкевер, який залишив OpenAI, нещодавно заявив: «2010-ті роки були епохою масштабування, але тепер ми повернулися в епоху відкриттів і здивування». Примітно, але Суцкевер ще рік тому був упевнений, що всю поверхню Землі потрібно буде покрити сонячними панелями, які живитимуть численні центри обробки даних.
Багато учасників ринку сходяться на думці, що етап активного навчання мовних моделей добігає кінця, але для підтримки існуючих темпів прогресу потрібно займатися наступним етапом. Глава Microsoft Сатья Наделла (Satya Nadella) вважає, що уповільнення навчання великих мовних моделей не особливо обмежує темпи прогресу, оскільки системи штучного інтелекту знаходять можливість розмірковувати. На думку засновника Nvidia Дженсена Хуанга (Jensen Huang), навіть зниження потреби в обчислювальних ресурсах для навчання мовних моделей не означатиме зниження попиту на її продукцію. Розробники систем ШІ будуть прагнути скоротити час реакції системи на питання, що задаються користувачами. Ця гонка вимагатиме ще більшої кількості апаратних ресурсів, на думку незмінного керівника Nvidia, і це добре для бізнесу компанії. Президент Microsoft Бред Сміт (Brad Smith) переконаний, що потреби ринку в чіпах для прискорювачів зростатимуть ще як мінімум протягом року.
Втім, перехід систем ШІ на новий етап розвитку має забезпечуватися появою реальних сфер застосування, які є корисними для бізнесу. З цим поки що виникають проблеми, адже будь-які інновації мають приносити матеріальну вигоду, а ефект від застосування ШІ в його нинішньому вигляді в багатьох галузях економіки поки що не є таким очевидним. Це не заважає технологічним гігантам вкладати величезні суми у розширення своїх обчислювальних ресурсів. Цього року сукупні капітальні витрати Microsoft, Amazon, Google та Meta повинні перевищити $200 млрд, а наступного вони напевно перевищать $300 млрд, вважають представники Morgan Stanley.