12 листопада сервіси Microsoft 365 зіткнулися з масштабним глобальним збоєм. Мільйони користувачів понад 12 годин не могли нормально користуватися електронною поштою та іншими продуктами компанії. Тепер Microsoft опублікувала попередній звіт, у якому пояснила, як кілька незалежних проблем призвели до каскадної відмови мережевої інфраструктури.
Під час аварії постраждали Outlook, Exchange Online, Teams, SharePoint та інші сервіси. У певний момент перестали відповідати близько 80% серверів мережевих шлюзів Microsoft.
Помилка в програмному коді залишалася непоміченою з липня
За попередніми висновками компанії, першопричиною стала програмна помилка, яку внесли ще в липні 2026 року під час виправлення коду мережевих шлюзів Microsoft 365.
Дефект спричиняв конфлікти блокувань усередині одного з процесів. За певних умов навантаження це призводило до того, що сервери переставали відповідати на запити.
Проблема пройшла стандартне тестування Microsoft, а оновлення поступово розгорнули по всьому світу. Згодом з’ясувалося, що тестові середовища переважно використовували старіші та менш потужні сервери з меншою кількістю процесорних ядер. На новішому обладнанні з більшою кількістю ядер помилка виникала значно частіше.
Три проблеми спричинили каскадну відмову
Самого програмного дефекту було недостатньо для такого масштабного збою. Ситуацію погіршили ще дві обставини.
За кілька годин до аварії Microsoft перенаправила трафік Teams з альтернативного мережевого шлюзу на основний, який також обслуговував Exchange Online. Це було штатне рішення для забезпечення стабільної роботи Teams, але воно змінило характер навантаження на основну інфраструктуру.
Крім того, приблизно 14% потужностей мережевих шлюзів уже були недоступні через іншу проблему, що виникла напередодні. Решти ресурсів за звичайного навантаження вистачало, але після перенаправлення трафіку ситуація змінилася.
Коли сервери почали зависати, система автоматично перенаправляла запити на ті, що ще працювали. Однак додаткове навантаження активувало ту саму програмну помилку на інших машинах. Так відмова поширювалася далі: менш ніж за дві години проблема охопила близько 80% усіх мережевих шлюзів компанії.
Зазвичай подібні аварії мають стримуватися завдяки розподілу інфраструктури між окремими регіонами та сегментами потужностей. Проте ще одна проблема завадила цим механізмам локалізувати збій.
Чому відновлення тривало так довго
Деякі сервіси, зокрема Teams, OneDrive, SharePoint та офісні програми, змогли перейти на альтернативну інфраструктуру. Але Exchange Online не мав аналогічної можливості.
Звичайні механізми відновлення Microsoft виявилися не розрахованими на аварію такого масштабу. Щоразу, коли інженери повертали сервери до роботи, накопичений трафік знову перевантажував їх.
Відкотити липневе оновлення також було складно, оскільки помилка вже давно стала частиною системи. Зрештою Microsoft підготувала виправлення, яке відновлювало попередній робочий варіант коду. Інженери виводили великі групи серверів з експлуатації, встановлювали оновлення, перезапускали їх і поступово повертали до мережі.
Пізніше цього тижня компанія обіцяє опублікувати остаточний звіт із додатковими технічними подробицями та переліком заходів, які мають запобігти повторенню подібних аварій.
