Daily Journal
Daily Journal

Falha em atualização de julho causou apagão global da Microsoft

Defeito latente numa mudança implantada em julho, somado a um pico de carga e à perda de capacidade, derrubou globalmente o gateway de rede do Microsoft 365 em 12 de novembro, com efeito sobre Outlook e Exchange Online.

Daily Journal
Foto: InfoMoney
||
16/11 às 09:32, atualizado 18:15

Pontos principais

  • A correção que continha o defeito começou a ser implantada em julho e ficou mais de três meses no ar sem impacto; os testes de carga não o detectaram.
  • A contenção de locks piora em máquinas com mais núcleos e hardware mais novo, enquanto os testes de carga usavam sobretudo modelos mais fracos, com menos núcleos.
  • Em 12 de novembro, cerca de quinze horas antes da queda, o Teams migrou do gateway alternativo para o primário, que também atende o Exchange Online.
  • Cerca de 14% da capacidade de servidores do gateway já estava fora de serviço por um problema não relacionado do dia anterior.
  • Em menos de duas horas o defeito atingiu toda a frota e, no pior momento, mais de 80% dos servidores do gateway ficaram sem responder.
  • As barreiras normais entre partições não contiveram a propagação por causa de um problema separado, e a falha se espalhou globalmente.
  • Teams, OneDrive e SharePoint saíram do gateway com defeito e voltaram mais cedo; o Exchange Online não tem essa saída.
  • Os servidores, ao voltar, eram sobrecarregados pelo tráfego em espera e paravam de novo; rollback e feature flags não reverteram a mudança com rapidez.
  • A correção devolveu o código ao estado anterior conhecido e foi aplicada em grupos de servidores, com 50% ou mais de uma região tirados de serviço por vez.
  • Charles Lamanna afirma que o defeito não se aplica ao Windows em geral, e a revisão pós-incidente final deve sair nesta semana.

A Microsoft atribui a queda de 12 de novembro a três fatores combinados, segundo Charles Lamanna, vice-presidente executivo da empresa. O principal é um defeito latente numa correção preparada para os servidores de gateway de rede do Microsoft 365, implantada desde julho e que só se manifesta sob certas cargas. Com o pico de tráfego e a perda de capacidade, os servidores travaram em cadeia e a falha se espalhou pelo mundo no horário de pico nos Estados Unidos.

Teams, OneDrive e SharePoint voltaram antes porque conseguiam sair do gateway com defeito; o Exchange Online não tinha essa saída e dependeu da recuperação do próprio gateway. A recuperação foi lenta porque, segundo Lamanna, os servidores que voltavam eram sobrecarregados pelo tráfego em espera e paravam de novo. Ele pediu desculpas e disse que os testes de carga não reproduziram as condições reais, já que os laboratórios focavam em equipamentos mais fracos, enquanto o defeito se agrava em máquinas com mais núcleos. Segundo executivos da empresa, cada fator isolado seria fácil de resolver, mas juntos dificultaram a mitigação, e as ações da Microsoft caíram cerca de 1% na segunda-feira (16).

Fonte primária

More details on the root cause can be found in the Microsoft 365 Admin center, and an abridged version can be found below. We are deeply sorry for the impact to all our customers and recognize the impact that this has on their normal business & operations. The incident on…

Microsoft 365 Status@MSFT365Status

We have released the Preliminary Post-Incident Report of last week’s outage, which is accessible via the Admin center under MO1550821 and EX1550543.

Tópicos relacionados

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.