Оновлення від 11 вересня, 18:12 EDT: Microsoft підтвердила повне усунення масштабного збою в роботі сервісу Exchange Online, який протягом тривалого часу впливав на користувачів по всьому світу, позбавляючи їх доступу до електронної пошти та календарів. Компанія повідомила, що після ретельного аналізу інфраструктури їй вдалося стабілізувати систему та відновити всі ключові сервіси.
«Ми розслідуємо проблему, що зачіпає частину нашої інфраструктури в Північній Америці, де користувачі могли втратити доступ до поштових скриньок через будь-який метод підключення Exchange Online», — заявили в компанії у четвер вранці, коли інцидент тільки розпочався.
За даними сервісу моніторингу DownDetector, перші повідомлення про перебої з’явилися вранці за північноамериканським часом. Багато користувачів повідомляли про неможливість підключитися до серверів, що спричиняло проблеми з входом у свої облікові записи, а також із доступом до пов’язаних сервісів Microsoft, таких як Teams, Outlook та Hotmail.
Попри те, що першопричину збою спочатку встановити не вдалося, Microsoft у Центрі адміністрування повідомила, що збирає дані телеметрії та працює над зменшенням навантаження на інфраструктуру. «Ми отримали журнали трасування, які свідчать про неочікувано високе використання ресурсів, що могло спричинити помилки підключення та збої поштових скриньок на уражених серверах», — пояснили в компанії. За їхніми словами, зусилля були зосереджені на виявленні та усуненні основного джерела аномально високого завантаження процесорів.
У наступному повідомленні Microsoft зазначила, що після внесення змін до конфігурації частини інфраструктури почали спостерігатися перші ознаки відновлення: знизилося використання ресурсів і зменшилася кількість збоїв. Проте компанія попередила, що користувачі можуть і надалі відчувати певні затримки з доставкою електронної пошти, доки всі системи не повернуться до стабільного стану.
Через шістнадцять годин після початку інциденту Microsoft повідомила, що проблема виявилася глобальною, а не регіональною, як вважалося раніше. Близько другої години ночі у п’ятницю компанія офіційно оголосила про успішне усунення основних наслідків збою, після чого більшість пошкодженої інфраструктури було відновлено.
«Наш моніторинг свідчить, що служба повернулася до оптимального рівня роботи. Ми продовжуватимемо ретельний моніторинг протягом наступних кількох годин, щоб переконатися у стабільності середовища», — заявили у Microsoft. Компанія також додала, що продуктивність сервісів перебуває в межах нормальних показників, а розгортання оновлень триває, про що користувачів інформуватимуть додатково.
Це вже другий масштабний інцидент за тиждень. Раніше Microsoft усунула іншу проблему, коли система боротьби зі спамом помилково відправляла легітимні листи до карантину та блокувала користувачам Exchange Online і Microsoft Teams доступ до URL-адрес.
Крім того, компанія зараз працює над виправленням окремого збою в Exchange Online, який виник 17 серпня та вплинув на користувачів Outlook Mobile на Android та iOS, що використовують гібридну сучасну автентифікацію (HMA). Цей збій призводив до переривання роботи поштових скриньок і заважав користувачам отримувати електронну пошту та користуватися календарями.
Експерти зазначають, що подібні інциденти підкреслюють складність підтримки глобальної хмарної інфраструктури та важливість безперервного моніторингу і резервування ресурсів, адже навіть короткочасні збої можуть паралізувати роботу тисяч компаній і мільйонів користувачів по всьому світу.