# Cuando una dependencia se derrumba: nuestro post-mortem del incidente del 22–23 de junio

Published: 2026-06-26 · Author: alex-van-andel

Canonical: https://cal.com/blog/when-a-dependency-melts-down-our-june-22–23-incident-post-mortem

## La cronología alineada  

| **Hora (UTC)** | **Qué ocurrió aguas arriba (**[**Informe completo**](https://trigger.dev/blog/incident-report-jun-22-2026)**)** | **Qué ocurrió internamente / Nuestra experiencia** |
| --- | --- | --- |
| **22 de junio, 19:00** | **El desencadenante:** la falta de capacidad de AWS en `us-east-1` obliga a que unas ~10.000 ejecuciones se acumulen en las colas aguas arriba. | Nuestras tareas en segundo plano empiezan a atascarse en silencio. Las colas empiezan a crecer por debajo. |
| **22 de junio, 20:09** | **El colapso:** el plano de control de Kubernetes aguas arriba alcanza el 100% de CPU, pierde el quorum de la base de datos y `**us-east-1**` **se cae por completo.** | Nuestro entorno de producción deja de procesar ejecuciones. Miles de tareas en toda la plataforma quedan bloqueadas en cola. |
| **22 de junio, 21:58** | El equipo de ingeniería aguas arriba está combatiendo activamente un bucle de "tormenta de reconexión". | **Incidente notificado:** se detectan tasas de fallo elevadas y se inicia una sala de incidentes interna. |
| **23 de junio, 00:59** | El proveedor aguas arriba recomienda a los usuarios mover manualmente las cargas de trabajo a su región `eu-central-1`. | **Se asigna un responsable del incidente:** la sala de respuesta al incidente queda completamente activada con una persona responsable para gestionar la evaluación entre regiones. |
| **23 de junio, 01:01 - 02:10** | El proveedor aguas arriba despliega una actualización de emergencia del panel para permitir mover ejecuciones en bloque entre regiones. | **Mitigación activa:** a las **01:10**, el equipo cancela manualmente nuestras ejecuciones en cola de EE. UU. para liberar la capacidad de ejecución bloqueada de nuestra cuenta y redirige todo el tráfico nuevo a la región europea. A las **02:10**, los mensajes vuelven a procesarse. |
| **23 de junio, 02:02 - 02:33** | El proveedor aguas arriba escala manualmente su almacenamiento de apoyo para la base de datos. | **La gravedad sube a crítica:** más de 30.000 tareas nuestras están ahora en cola y esperando. El equipo publica una actualización de estado crítica en nuestra página pública de estado. |
| **23 de junio, 04:35 - 05:05** | Las actualizaciones de la infraestructura aguas arriba ralentizan de nuevo la ejecución hasta el mínimo. | **El cuello de botella de los webhooks:** las tasas de procesamiento caen. A las **05:05**, identificamos que nuestra cola de entrega de webhooks es el principal cuello de botella que se niega a vaciarse. |
| **23 de junio, 08:38** | **La segunda cascada:** el tráfico global redirigido satura la región europea del proveedor y **la deja completamente fuera de línea.** | **Parón total:** ambas regiones aguas arriba están ahora efectivamente muertas. Tenemos más de 13.000 tareas congeladas en vuelo, totalmente a merced de la recuperación aguas arriba. |
| **23 de junio, 10:34** | El equipo de ingeniería aguas arriba está luchando por volver a poner en línea su región europea. | **Despliegue del interruptor de corte:** al darse cuenta de que la capa principal de procesamiento en segundo plano está completamente bloqueada, nuestro equipo pasa de mitigar la infraestructura a hacer un desvío arquitectónico. Desplegamos un hotfix de emergencia en todos los entornos principales de la aplicación y la API para desactivar temporalmente la gestión de tareas asíncronas. |
| **23 de junio, 10:41** | El proveedor aguas arriba sigue trabajando en redimensionar los nodos de su plano de control. | **Alivio inmediato:** el desvío arquitectónico funciona a la perfección. Al rodear las colas congeladas de segundo plano, los procesos críticos de la app pasan a rutas de ejecución directas. Ingeniería confirma: **"Los correos electrónicos vuelven a fluir."** |
| **23 de junio, 17:06** | El proveedor aguas arriba por fin estabiliza ambas regiones y restablece las velocidades de procesamiento. | **Cola vacía:** Ingeniería confirma que nuestras colas en ambas regiones se han vaciado por completo. El rendimiento del sistema vuelve a la normalidad. |
| **23 de junio, 19:31** | La estabilidad tras la recuperación se mantiene. | **Incidente resuelto:** los sistemas están completamente nominales; el equipo entra en el flujo de revisión posterior al incidente. |

## Puntos clave y evaluación de nuestra experiencia

Mientras que el post-mortem aguas arriba se centró en el ajuste de la base de datos y en la infraestructura del clúster, nuestra evaluación interna se centra en la **degradación elegante** y la **resiliencia arquitectónica**.

### 1\. El poder del "interruptor de corte"

El momento decisivo de nuestra recuperación ocurrió a las 10:34 UTC. Cuando la región secundaria de nuestro proveedor colapsó, pasamos de intentar gestionar las colas en segundo plano a implementar un desvío estructural.

-   **El desvío:** al desplegar un cambio de configuración global para desactivar las tareas en segundo plano, cortamos de raíz nuestra dependencia rota. Eso obligó a que transacciones críticas de usuarios, como los correos de confirmación de reservas, evitaran temporalmente el motor bloqueado de segundo plano y se procesaran directamente.

-   En 7 minutos, las funciones clave del negocio quedaron completamente restauradas para nuestros usuarios, demostrando que disponer de rutas de reserva integradas y activables para las principales dependencias de terceros es un requisito innegociable para una alta disponibilidad.

### 2\. Gestionar los bloqueos de concurrencia entre varias regiones

Durante la fase de mitigación, navegar por una configuración multirregional presentó limitaciones de plataforma inesperadas. Las tareas atascadas en una fase intermedia en la región de EE. UU. siguieron consumiendo la capacidad global de ejecución de nuestra cuenta incluso después de que apuntáramos nuestra aplicación a Europa.

-   Identificar y ejecutar un cancelado masivo selectivo del grupo de EE. UU. atascado a las 01:10 fue fundamental para liberar capacidad de ejecución en nuestra nueva región objetivo, Europa.

### 3\. Endurecimiento del radio de impacto aguas arriba

Aunque nuestro sistema de reserva de emergencia salvó la situación para flujos críticos como el correo electrónico, seguíamos teniendo más de 13.000 tareas sentadas muertas en colas aguas arriba congeladas hasta que el proveedor se recuperó por completo.

-   **El camino a seguir:** de cara al futuro, estamos evaluando el diseño de un búfer más localizado. Para trabajos en segundo plano o webhooks salientes, estamos valorando implementar una cola interna de preparación ligera que pueda almacenar tareas localmente durante un apagón aguas arriba, garantizando el orden correcto durante la repetición.

### Resumen

En última instancia, nuestro equipo de ingeniería diagnosticó con éxito un complejo bloqueo de concurrencia entre varias regiones, desvió el tráfico y desplegó un desvío arquitectónico creativo que rescató la experiencia de nuestros usuarios horas antes de que nuestro proveedor lograra estabilizar su infraestructura.

Sabemos que este fue un momento muy difícil para el equipo de Trigger.dev. Les respetamos y seguimos teniendo una gran colaboración. Esta publicación pretende simplemente compartir nuestra parte del incidente y cómo reaccionó nuestro equipo.
