# Wanneer een afhankelijkheid volledig instort: ons incident-postmortem van 22–23 juni

Published: 2026-06-26 · Author: alex-van-andel

Canonical: https://cal.com/blog/when-a-dependency-melts-down-our-june-22–23-incident-post-mortem

## De afgestemde tijdlijn  

| **Tijd (UTC)** | **Wat er upstream gebeurde (**[**Volledig rapport**](https://trigger.dev/blog/incident-report-jun-22-2026)**)** | **Wat er intern gebeurde / onze ervaring** |
| --- | --- | --- |
| **22 juni, 19:00** | **De trigger:** AWS-capaciteitstekort in `us-east-1` zorgt ervoor dat ~10.000 runs zich ophopen in upstream queues. | Onze achtergrondtaken beginnen stilletjes vast te lopen. Queues beginnen onder de motorkap te groeien. |
| **22 juni, 20:09** | **De instorting:** de Kubernetes-control plane van de upstream bereikt 100% CPU, verliest databasequorum en `**us-east-1**` **valt volledig uit.** | Onze productieomgeving stopt met het verwerken van runs. Duizenden taken in het hele platform zitten vast in de wachtrij. |
| **22 juni, 21:58** | Upstream engineering vecht actief tegen een lus van een "reconnection storm". | **Incident gemeld:** verhoogde foutpercentages worden opgemerkt en een intern incidentkanaal wordt opgezet. |
| **23 juni, 00:59** | De upstreamprovider raadt gebruikers aan om workloads handmatig over te zetten naar hun regio `eu-central-1`. | **Incidentleider toegewezen:** de incidentresponsruimte wordt volledig geactiveerd met een toegewezen leider om de evaluatie tussen regio’s te sturen. |
| **23 juni, 01:01 - 02:10** | De upstreamprovider rolt een noodupdate voor het dashboard uit om runs in bulk tussen regio’s te verplaatsen. | **Actieve mitigatie:** om **01:10** annuleert het team handmatig onze US-runs in de wachtrij om de geblokkeerde uitvoercapaciteit van ons account vrij te maken en stuurt al het nieuwe verkeer naar de Europese regio. Om **02:10** beginnen berichten weer te verwerken. |
| **23 juni, 02:02 - 02:33** | De upstreamprovider schaalt handmatig hun database-opslaglaag op. | **Ernst opgewaardeerd naar kritiek:** meer dan 30.000+ van onze eigen taken staan nu in de wachtrij te wachten. Het team plaatst een kritieke statusupdate op onze publieke statuspagina. |
| **23 juni, 04:35 - 05:05** | Upstream-infrastructuurupdates vertragen de uitvoersnelheid weer tot kruiptempo. | **De webhook-knelplek:** de verwerkingssnelheid daalt. Om **05:05** identificeren we dat onze queue voor webhooklevering de belangrijkste knelplek is die weigert leeg te lopen. |
| **23 juni, 08:38** | **De tweede kettingreactie:** omgeleide wereldwijde traffic overweldigt de Europese regio van de provider en **haalt die volledig offline.** | **Totale stilstand:** beide upstreamregio’s zijn nu effectief dood. We hebben meer dan 13.000+ taken die bevroren in uitvoering zijn en volledig afhankelijk zijn van herstel upstream. |
| **23 juni, 10:34** | Upstream engineering heeft moeite om hun Europese regio weer online te krijgen. | **Uitrol van de circuit breaker:** omdat duidelijk wordt dat de primaire laag voor achtergrondverwerking volledig vastzit, schakelt ons team van infrastructuurmitigatie over op een architectuur-omleiding. We rollen een nood-hotfix uit in alle kernapplicatie- en API-omgevingen om asynchrone taakverwerking tijdelijk uit te schakelen. |
| **23 juni, 10:41** | De upstreamprovider werkt nog steeds aan het vergroten van hun control-plane nodes. | **Directe verlichting:** de architectuur-omleiding werkt feilloos. Door om de bevroren achtergrondqueues heen te routeren, vallen kritieke app-processen terug op directe uitvoerpaden. Engineering bevestigt: **"Emails stromen weer."** |
| **23 juni, 17:06** | De upstreamprovider stabiliseert eindelijk beide regio’s en herstelt de verwerkingssnelheden. | **Queue geleegd:** engineering bevestigt dat onze queues in beide regio’s volledig leeg zijn. De systeemprestaties zijn weer normaal. |
| **23 juni, 19:31** | De stabiliteit na herstel houdt aan. | **Incident opgelost:** systemen zijn weer volledig normaal; het team gaat over in de post-incidentreviewflow. |

## Belangrijkste inzichten en onze ervaringsbeoordeling

Hoewel het upstream-postmortem zich richtte op database-tuning en clusterinfrastructuur, richt onze interne evaluatie zich op **graceful degradation** en **architecturale veerkracht**.

### 1\. De kracht van de "kill switch"

Het bepalende moment van ons herstel vond plaats om 10:34 UTC. Toen de secundaire regio van onze provider instortte, schakelden we over van het beheren van achtergrondqueues naar het implementeren van een structurele omleiding.

-   **De omleiding:** door een wereldwijde configuratiewijziging uit te rollen om achtergrondtaken uit te schakelen, knipten we in feite de verbinding met onze kapotte afhankelijkheid door. Daardoor moesten kritieke gebruikersacties, zoals bevestigingsmails voor boekingen, tijdelijk om de bevroren achtergrondengine heen gaan en direct worden verwerkt.

-   Binnen 7 minuten waren de kernbedrijfsfuncties voor onze gebruikers volledig hersteld, wat bewijst dat ingebouwde, aan- en uitzetbare fallbackpaden voor grote externe afhankelijkheden een onmisbare eis zijn voor hoge beschikbaarheid.

### 2\. Het beheren van concurrency-valkuilen in meerdere regio’s

Tijdens de mitigatiefase leverde navigeren door een setup met meerdere regio’s onverwachte platformbeperkingen op. Taken die in de VS-regio in een tussenfase vastzaten, bleven onze wereldwijde uitvoercapaciteit van het account verbruiken, zelfs nadat we onze applicatie naar Europa hadden omgezet.

-   Het identificeren en uitvoeren van een gerichte bulkannulering van de vastgelopen VS-pool om 01:10 was cruciaal om uitvoercapaciteit vrij te maken in onze nieuw gekozen Europese regio.

### 3\. Versterking tegen blast radius van upstream

Hoewel onze noodfallback de dag redde voor mission-critical flows zoals e-mail, hadden we nog steeds meer dan 13.000+ taken die dood in bevroren upstreamqueues stonden totdat de provider volledig hersteld was.

-   **Het pad vooruit:** vooruitkijkend beoordelen we het ontwerp van een meer lokale buffer. Voor achtergrondtaken of uitgaande webhooks onderzoeken we het implementeren van een lichte interne stagingqueue die taken lokaal kan opslaan tijdens een upstream black-out, zodat de juiste volgorde behouden blijft tijdens replay.

### Samenvatting

Uiteindelijk heeft ons engineeringteam met succes een complexe concurrency-valkuil in meerdere regio’s gediagnosticeerd, verkeer omgeleid en een creatieve architectuur-omleiding uitgerold die onze gebruikerservaring uren redde voordat onze provider hun infrastructuur wist te stabiliseren.

We weten dat dit een heel moeilijk moment was voor het Trigger.dev-team. We waarderen hen en blijven een geweldige samenwerking met hen hebben. Deze post is er alleen om onze kant van het incident te delen en hoe ons team reageerde.
