Минулого тижня масштабна аварія Microsoft 365 залишила велику кількість користувачів без нормального доступу до електронної пошти. Тепер компанія розкрила подробиці інциденту: у найгірший момент понад 80% її серверів мережевих шлюзів перестали відповідати на запити.
Microsoft підтвердила, що проблема не була кібератакою. Причиною стала технічна помилка, яка виникла ще в липні, але залишалася непоміченою понад три місяці. Компанія також заперечила зв’язок аварії з масовими скороченнями персоналу, про які оголосила попереднього місяця.
Масштаб збою та тривалий час відновлення викликали невдоволення користувачів. Водночас у соцмережах ситуація стала приводом для численних жартів і мемів.
Дві проблеми, які спричинили каскадну відмову
Керівник платформи Microsoft Чарльз Ламанна пояснив, що аварія стала наслідком поєднання двох обставин.
Компанія використовує дві незалежні системи мережевих шлюзів. Коли одна з них вийшла з ладу, весь трафік перейшов на другу. За задумом Microsoft, кожна система окремо має достатню потужність для обробки всього навантаження, тому сама по собі така ситуація не повинна була призвести до масштабної аварії.
Однак резервна система зіткнулася з прихованим дефектом програмного забезпечення. Через нього за певних умов навантаження сервери перевантажувалися та переставали відповідати.
За словами Ламанни, менш ніж за дві години проблема поширилася на всю серверну інфраструктуру. У найгірший момент понад 80% серверів не працювали належним чином.
Помилку внесли ще в липні
Джерелом проблеми стало виправлення, спеціально підготовлене для мережевих шлюзів Microsoft 365. Його почали розгортати в липні, поступово поширюючи оновлення по всьому світу протягом кількох тижнів.
Протягом понад трьох місяців жодних збоїв не спостерігали. Проблема полягала в тому, що дефект проявлявся лише за певних умов навантаження. Усередині одного з процесів виникала конкуренція за блокування ресурсів — lock contention. Це призводило до того, що сервер ставав недоступним.
Звичайне тестування навантаження не виявило помилки через відмінності між тестовим і реальним середовищами. У лабораторіях Microsoft переважно використовували менш потужне обладнання з меншою кількістю ядер процесора. Натомість на новіших серверах із більшою кількістю ядер проблема проявлялася сильніше.
Отже, оновлення пройшло стандартні перевірки та було розгорнуте глобально, але його не протестували в умовах, за яких прихований дефект міг стати критичним. Цей випадок показав, як поєднання несправності одного мережевого шлюзу та непоміченої помилки в програмному забезпеченні може спричинити масштабну відмову навіть за наявності резервної інфраструктури.
