
Microsoft atribuye la interrupción a un defecto latente en su puerta de enlace de nube, cambios en el tráfico y una capacidad inferior de servidores, lo que llevó a una de las mayores interrupciones en la historia de la empresa.
Un perfecto tempestad de factores
Microsoft identifica tres factores que contribuyeron a la interrupción: un defecto latente en la puerta de enlace de nube, cambios en el tráfico y una capacidad inferior de servidores.
Un defecto latente y pruebas insuficientes
Un cambio implementado en la puerta de enlace de nube desde julio creó un defecto donde, bajo ciertas condiciones, los recursos de CPU y memoria se agotaban y se volvían inresponsive. Según Microsoft, este defecto nunca fue detectado en las pruebas de pre-relevo porque el hardware utilizado era menos potente que algunos sistemas ya en producción, lo que contribuyó a los bloqueos en máquinas más nuevas con mayor núcleo de CPU.
Cambio en el tráfico y sobrecarga de servidores
El segundo factor fue el tráfico. Microsoft indicó que 'los cambios en el tráfico durante la mantenencia y actualización estándar de la red expusieron un defecto latente'. La empresa mantiene dos sistemas de puerta de enlace independientes para acceder a Microsoft 365 para aumentar la resiliencia. Si un sistema experimenta problemas y los usuarios no pueden atravesar la puerta principal, el otro se abre para mantener el tráfico en circulación. Según el informe, 15 horas antes de la interrupción, el tráfico de Teams se cambió del sistema de puerta de enlace alternativo al principal, donde se mantiene el acceso a Exchange Online. El cambio de sistema era una medida de seguridad estándar, pero dejó a la puerta de enlace manejando más tráfico, con una mezcla de solicitudes diferente a la anterior. Mientras se acumulaban más solicitudes, los servidores afectados agotaron su capacidad y rechazaron nuevas solicitudes de conexión.
Capacidad inferior de los servidores
El tercer factor fue la capacidad inferior de los servidores. Un defecto existente significaba que la flota de servidores de puerta de enlace de Microsoft operaba con 14% menos de la capacidad óptima. Esta falta de margen normalmente hubiera absorbido la demanda, pero cuando se combinó con los cambios en el tráfico y el defecto subyacente, dejó a las puertas de enlace con disputas de bloqueo mientras se acumulaban más solicitudes. A medida que las operaciones de los negocios de EE. UU. comenzaban a alcanzar sus picos diarios, los servidores de puerta de enlace comenzaron a congelarse.
Mecanismos de aislamiento regional fallaron
Los mecanismos en lugar para aislar los sistemas afectados por región parecen haber fallado. Microsoft no aborda en su informe actual por qué estos sistemas de aislamiento pueden haber fallado.
Recovery y soluciones a largo plazo
La recuperación llevó más tiempo de lo normal porque la solución requería una actualización de sistema específica de los ingenieros de Microsoft. Los intentos de reiniciar los servidores de puerta de enlace fueron ineficaces; cuando los servidores volvieron a línea, las colas de solicitudes grandes todavía estaban esperando acceso, lo que inmediatamente desencadenó la misma agotamiento de recursos que contribuyó a la interrupción en primer lugar. Microsoft dice que los servicios como Teams, OneDrive y otras aplicaciones de Office podrían ser redirigidos de la infraestructura afectada, pero las limitaciones de escalado impidieron que Exchange Online hiciera un movimiento similar. Dado que el defecto de julio aún no fue descubierto, las actualizaciones de sistema de retorno a un estado anterior donde las cosas 'funcionaban' no fueron efectivas. Los servidores fueron parcheados y devueltos a servicio gradualmente, y Microsoft dice que ha añadido capacidad adicional y barreras de distribución de tráfico para evitar que algo similar suceda de nuevo. Microsoft también extendió los tiempos de entrega en los correos electrónicos afectados para evitar que los mensajes retrasados se devolvieran como no entregables. Microsoft espera publicar su informe final de la interrupción el 20 de noviembre. Este informe final puede proporcionar una mayor clarificación sobre por qué los sistemas de aislamiento regional fallaron y qué acciones correctivas se tomarán para evitar que este tipo de interrupción pueda ocurrir en el futuro.
💡 El Análisis del Autor
La interrupción de Microsoft destaca la importancia de la pruebas exhaustivas y la gestión de la capacidad de los sistemas de nube. La combinación de un defecto latente, cambios en el tráfico y una capacidad inferior de servidores revela los riesgos inherentes a la infraestructura en la nube. A largo plazo, Microsoft debe implementar mejoras en la gestión de la capacidad y en los sistemas de aislamiento para prevenir interrupciones similares en el futuro.