Transparent Edge - Status page
Affected services:
Opened on Tuesday 29th September 2020, last updated
Resolved — Descripción del problema: El día 28 de Septiembre a las 14.43 la monitorización comienza a avisar de picos de carga en un nodo de capa2, que sirve de puente entre los servidores del cliente y la CDN en los casos donde el contenido no se encuentra en la caché. Estos picos provocan lentitud en el nodo, haciendo que salten diversos timeouts y errores 503 por indisponibilidad del contenido. El servicio queda estable a las 14.50, quedando totalmente normalizado a las 15.05, momento en el que no se repite ya. Posteriormente, a las 23.25 el mismo problema surge de nuevo en otros dos servidores, reproduciéndose durante diez minutos más. Motivo de la afectación del servicio: El proceso del servidor de caché de capa 2, debido a un problema con cierto tipo de peticiones MISS y origenes lentos, se colapsa haciendo subir la carga del servidor y saturando los hilos que puede lanzar, provocando que las peticiones se encolen sin llegar a servirse correctamente. Medidas correctivas: Más allá de introducir más servidores al pool, lo que reduciría el alcance del problema pero no lo solucionaría, ajustaremos los umbrales por los que un servidor se marca como “no apto” y se saca del cluster de L2, para que a pesar de provocar una mayor carga en origen nos aseguremos el menor número