Новий суперкомп’ютер містить 16 чіпів розміром з обідню тарілку

Днями представники компанії Cerebras Systems анонсували свій суперкомп’ютер під назвою Andromeda AI, що має у своєму складі 13.5 мільйонів обчислювальних ядер, і призначений для вирішення завдань в галузі штучного інтелекту та глибинного машинного навчання. Згідно з наявною інформацією, Andromeda має продуктивність в 1 екзафлоп (1 квінтильйон операцій на секунду) при розрахунках чисел з половинною 16-бітною точністю, що широко використовуються при побудові штучних нейронних мереж.

Andromeda AI є кластером з 16 з’єднаних один з одним комп’ютерів Cerebras CS-2. Серцем кожного з комп’ютерів CS-2 є чіп WSE-2 (Wafer Scale Engine), кристал якого є квадрат зі стороною 21.59 сантиметра (8.5 дюймів) і який є найбільшим у світі кремнієвим чіпом на сьогодні. На поверхні цього чіпа розташовано 2.6 трильйона транзисторів, організовані в 850 тисяч обчислювальних ядер.

Суперкомп’ютер Andromeda AI був побудований у приміщенні датацентру в Санта-Кларі, Каліфорнія, його спорудження коштувало 25 мільйонів американських доларів. «Andromeda, шляхом реалізації великомасштабного паралелізму, є ідеальною обчислювальною системою для великих мовних моделей GPT-класу» — пишуть представники компанії Cerebras, — «Суперкомп’ютер ефективно працює з моделями GPT-3, GPT-J і GPT-NeoX, і вже використовується для вирішення завдань з академічної та комерційної областей».

Згідно з інформацією від представників компанії Cerebras Systems, підключення до загальної системи великої кількості одиниць комп’ютерів CS-2 забезпечує зменшення часу навчання нейронних мереж в «ідеальній зворотній пропорції». І в його нинішній конфігурації суперкомп’ютер Andromeda AI здатний вирішувати завдання, побудованим з урахуванням графічних процесорів.

Можливості системи Andromeda AI були продемонстровані на розрахунках моделі GPT-J з 2.5 і 25 мільярдами параметрів, що використовують по 10240 довгих послідовностей (MSL). це на системі Polaris з 2 тисячами обчислювальних вузлів на базі Nvidia A100, зазнала невдачі через обмежену пропускну здатність системи пам’яті та пам’яті графічних процесорів».

Звичайно, суперкомп’ютер Andromeda AI виглядає не дуже в порівнянні з найшвидшими з традиційних суперкомп’ютерів. Найпотужніший суперкомп’ютер Frontier, що знаходиться в Національній лабораторії Ок-Рідж, забезпечує 1.103 екзафлопси при операціях з подвійною 64-бітною точністю. Однак, споруда Frontier обійшлася у більш ніж у 20 разів більшу суму, у 600 мільйонів американських доларів, він займає набагато більшу площу та споживає значно більшу кількість енергії для роботи, ніж Andromeda AI.

Зараз зацікавлені організації можуть отримати віддалений доступ до системи Andromeda AI. І вже зараз до користувачів цього суперкомп’ютера входять фахівці з Кембриджського університету, Національної лабораторії Аргонна, компанії JasperAI та деяких інших організацій, які займаються проблемами штучного інтелекту.