Hoe we onze CI-doorlooptijd terugbrachten van 30 minuten naar 5 minuten
Trage CI is een van die dingen waar engineers zich kapot aan ergeren. Engineers wachten langer op feedback, context switching neemt toe en de verleiding om wijzigingen te bundelen groeit, wat alles alleen maar erger maakt. We hebben een paar weken besteed aan het optimaliseren van onze GitHub Actions-workflows en hebben onze PR-checks teruggebracht van 30 minuten naar 5 minuten. Dat is een vermindering van 83% in wachttijd, bereikt zonder concessies aan testdekking of kwaliteitspoorten.
Er was niet één magische oplossing. We keken naar waar de tijd echt naartoe ging en pasten drie principes toe: slimme jobafhankelijkheden, agressieve caching en testsharding. Dit hebben we geleerd.

Samenvatten met AI


De basis: migreren naar Blacksmith
We hadden eerder al geprobeerd om naar Blacksmith te migreren, maar liepen toen tegen problemen aan. Met een main-branch die net zo actief is als de onze, wilden we geen gedoe met instabiele CI. Deze keer verliep de migratie soepel (#26247): vervang buildjet-*vcpu-ubuntu-2204 runners door blacksmith-*vcpu-ubuntu-2404 in 28 workflowbestanden, vervang de cache- en setup-node-acties en pas de vCPU-toewijzing aan. Het enige echte probleem waar we tegenaan liepen was het corrupte cacheprobleem met .next-bestanden (daarover meer in het cachinggedeelte).
Na de upgrade zagen we meteen een 2x snellere cache-ophaalprestatie. Omdat yarn install 1,2 GB is, scheelt dat ongeveer 22 seconden op elke job die yarn install nodig heeft, en dat zijn er de meeste. We maken ook gebruik van Blacksmiths containercaching voor services die in veel jobs worden gebruikt (Postgres, Redis, Mailhog). De job Initialize containers is nu meer dan 50% sneller: van 20 seconden naar 9 seconden.
jobs:
build:
name: Build Web App
runs-on: blacksmith-4vcpu-ubuntu-2404
steps:
- uses: actions/checkout@v4
- uses: ./.github/actions/yarn-install
- uses: ./.github/actions/cache-build
Wat we moesten oplossen
Blacksmith-runners geven het CPU-aantal van de hostmachine weer in plaats van de toegewezen vCPU's (meestal 4). Playwright zou, behulpzaam als altijd, workers starten om daarop aan te sluiten, wat leidde tot resourceconflicten en instabiele testfouten. We hoefden alleen expliciet het aantal workers te begrenzen met --workers=4, zodat het overeenkomt met onze werkelijke toewijzing.
We ontdekten ook dat hogere paralleliteit racecondities blootlegde in onze test-opruimlogica. Integratietests die sequentieel prima werkten, botsten wanneer ze tegelijk draaiden, waardoor idempotencyKey-fouten ontstonden. De oplossing vroeg om een andere manier van nadenken over hoe tests zichzelf opruimen: bookings opvragen via eventTypeId in plaats van individuele booking-ID's bij te houden, wat bookings miste die indirect door de code onder test werden aangemaakt (#26269, #26278, #26283).
Zelfs onze screenshottests hadden aanpassingen nodig (#26247). Verschillende runners hebben subtiele verschillen in fontweergave, dus voegden we deviceScaleFactor: 1 toe voor consistente rendering en verhoogden we onze diff-drempel licht van 0.05 naar 0.07 om rekening te houden met antialiasingverschillen zonder echte regressies te maskeren.
Sneller gaan legt vaak verborgen koppelingen in je systeem bloot. Die koppeling was er altijd al; je kon hem alleen niet zien bij lagere snelheid. Het oplossen van deze problemen is wat duurzame snelheidsverbeteringen mogelijk maakt.
Principe 1: Verkort het kritieke pad met afhankelijkheidsontwerp
Voor ons was een groot probleem dat linting dingen blokkeerde die het niet zou moeten blokkeren. Als je E2E-tests 7-10 minuten duren, dan maakt het alles alleen maar langer om ze te laten wachten op 2-3 minuten lint- en typechecks. De lint is lang klaar voordat E2E klaar is, dus waarom zou je ze niet parallel laten draaien?
Ontkoppel niet-gerelateerde testsuites
Onze integratietests en de hoofd-E2E-suite hebben de API v2-build niet nodig, dus hebben we die afhankelijkheid verwijderd (#26170). Andersom hebben de API v2 E2E-tests de hoofd-webbuild niet nodig. Elke testsuite is nu alleen nog afhankelijk van wat die echt nodig heeft, wat maximale paralleliteit mogelijk maakt.
Bundel preflight-jobs
We hadden aparte jobs voor het detecteren van bestandswijzigingen (changes) en het controleren van E2E-labels (check-label). Elke job heeft opstartoverhead: een runner opstarten, code uitchecken, context herstellen. Door deze samen te voegen tot één prepare-job hebben we dubbele overhead geëlimineerd (#26101). We zijn nog verder gegaan en hebben ook onze stappen voor het installeren van dependencies naar de prepare-job verplaatst, waarmee we nog eens 20 seconden per workflow bespaarden door weer een jobgrens weg te halen (#26320).
Maak rapportage niet-blokkerend
E2E-testrapporten zijn waardevol, maar ze horen niet op het kritieke pad te zitten. We hebben de jobs merge-reports, publish-report en cleanup-report verplaatst naar een aparte workflow die wordt getriggerd via workflow_run (#26157). Nu kunnen engineers mislukte jobs meteen opnieuw draaien zonder te wachten tot het genereren van rapporten klaar is.
name: E2E Report
on:
workflow_run:
workflows: ["PR Update"]
types:
- completed
De regel is simpel: wees soepel en laat E2E-jobs liever eerder dan later starten. Blokkeer langlopende jobs niet op korte voorstappen, tenzij er echt een afhankelijkheid is. De doorlooptijd van je CI wordt bepaald door het kritieke pad, en elke onnodige afhankelijkheid verlengt dat pad.
Principe 2: Caching is koning (maar alleen als het treft)
Effectieve caching vraagt om sleutels die ongeldig worden wanneer dat moet, stabiel blijven wanneer dat moet, en een cacheopslag die gezond blijft op de lange termijn.
Maak gebruik van lookup-only
Onze meest spectaculaire cacheverbetering kwam voort uit een simpele observatie: we downloadden ongeveer 1,2 GB aan gecachte data, ook als we niets hoefden te installeren. De cache bestond, de hit was succesvol, maar we betaalden nog steeds de downloadkosten voordat we ontdekten dat we de installatiestap konden overslaan.
De oplossing was om lookup-only-cachechecks te gebruiken (#26314). We hebben speciale stappen die vóór alle jobs draaien om te zorgen dat dependencies zijn geïnstalleerd, dus tegen de tijd dat afzonderlijke jobs draaien, weten we dat de cache bestaat. Voordat we proberen de volledige cache terug te zetten, controleren we eerst of die bestaat zonder te downloaden. Als alle caches hitten, slaan we de hele restore- en install-flow over. Geen downloads, geen installs, gewoon door naar het echte werk. Alleen dit al bespaarde veel tijd in elk scenario waarin de cache hitte, wat met een goed cachekeys-ontwerp de meeste runs zou moeten zijn.
- name: Check yarn cache (lookup-only)
if: ${{ inputs.skip-install-if-cache-hit == 'true' }}
uses: actions/cache/restore@v4
id: yarn-download-cache-check
with:
path: ${{ steps.yarn-config.outputs.CACHE_FOLDER }}
key: yarn-download-cache-${{ hashFiles('yarn.lock') }}
lookup-only: true
We pasten dezelfde logica toe op de installatie van Playwright-browsers (#26060). Omdat we een speciale stap hebben die ervoor zorgt dat Playwright-browsers gecachet zijn voordat testjobs draaien, kunnen we dezelfde lookup-only-aanpak gebruiken. Als de Playwright-cache hit, slaan we de installatie volledig over. Nu checken we eerst, en beslissen we daarna pas of we überhaupt iets downloaden.
We hebben dit patroon ook uitgebreid naar onze databasecache (#26344). Met lookup-only-checks kunnen we het opnieuw opbouwen van de db-cache overslaan wanneer die al bestaat. We hebben de cachekey ook vereenvoudigd door het PR-nummer en SHA te verwijderen, waardoor hij veel beter herbruikbaar is tussen runs.
Cachecorrectheid
Cachecorrectheid is net zo belangrijk als cachesnelheid. We ontdekten dat ons **/node_modules/-globpatroon apps/web/.next/node_modules/ meenam, wat Next.js-buildoutput is met symlinks en gegenereerde bestanden die tijdens builds veranderen. Dit leidde tot corrupte cache-archieven met tar-extractiefouten (#26268). De oplossing was een simpel uitsluitingspatroon, maar dat vinden vereiste dat we precies begrepen wat er werd gecachet en waarom.
We hebben ook automatische cacheopruiming geïmplementeerd (#26312). Wanneer een PR wordt samengevoegd of gesloten, verwijderen we nu de bijbehorende buildcaches. Zo houden we onze cacheopslag slank en voorkomen we de ophoping van verouderde items die nooit meer gebruikt zouden worden. We hebben daarbij ook ons cachekey-formaat vereenvoudigd door onnodige onderdelen zoals runner.os en node_version te verwijderen, die complexiteit toevoegden zonder de hitrate te verbeteren.
delete-cache-build-on-pr-close:
if: github.event_name == 'pull_request' && github.event.action == 'closed'
runs-on: blacksmith-2vcpu-ubuntu-2404
env:
CACHE_NAME: prod-build
steps:
- name: Delete cache-build cache
uses: useblacksmith/cache-delete@v1
with:
key: ${{ env.CACHE_NAME }}-${{ github.event.pull_request.head.ref }}
prefix: "true"
Turbo Remote Caching
We zijn geüpgraded naar Next.js 16 (#26093), waardoor onze builds van 6+ minuten naar ~1 minuut zijn gegaan (hulde aan het Next.js-team voor de enorme verbeteringen). Met Turbo Remote Caching ingeschakeld duren volgende builds nog maar 7 seconden om uit de cache te halen, tegenover ~1 minuut voor een volledige build.
We hebben ook Turbo Remote Caching ingeschakeld voor onze API v2 E2E-tests (#26331). Voorheen bouwde elke E2E-shard de platformpackages vanaf nul opnieuw op. Nu profiteert elke shard van Turbo's remote cache, en we hebben de TypeScript-compilatie van Jest geoptimaliseerd door isolatedModules in te schakelen en diagnostics in CI uit te zetten, wat de opstarttijd van tests aanzienlijk versnelt.
Principe 3: Schaal tests op met sharding
Als je 1.100+ testcases hebt verspreid over 82 E2E-testbestanden, laat je prestaties liggen als je ze sequentieel draait. Testsharding, waarbij je testsuite over meerdere parallelle runners wordt opgesplitst, is de meest directe manier om de wall-clock time van grote testsuites te verkorten. We hadden sharding al voor onze hoofd-E2E-suite, maar we verhoogden het van 4 naar 8 shards (#26342), wat de totale tijd van de E2E-suite nog eens met een minuut verlaagde. Onze API v2 E2E-tests draaiden nog steeds als één job.
We hebben onze API v2 E2E-tests opgesplitst in 4 parallelle jobs met Jests ingebouwde --shard-optie (#26183). Elke shard draait onafhankelijk met zijn eigen Postgres- en Redis-services, en artifacts krijgen per shard een unieke naam. Wat voorheen als één job 10+ minuten kostte, is nu aanzienlijk sneller klaar doordat het werk over vier runners is verdeeld.
- name: Run Tests
working-directory: apps/api/v2
run: |
yarn test:e2e:ci --shard=${{ matrix.shard }}/${{ strategy.job-total }}
EXIT_CODE=$?
echo "yarn test:e2e:ci --shard=${{ matrix.shard }}/${{ strategy.job-total }} command exit code: $EXIT_CODE"
exit $EXIT_CODE
Sharding op schaal legt ook infrastructuurproblemen bloot die je bij sequentiële uitvoering misschien niet opmerkt. Wanneer meerdere jobs tegelijk dezelfde databasecache proberen te vullen, krijg je racecondities. We hebben dit opgelost door een speciale setup-db-job te maken die draait vóór alle E2E- en integratietestjobs (#26171). Deze ene job vult de databasecache één keer, en alle downstream jobs herstellen daarvan. Geen races, geen dubbel werk.
We hebben ook een speciale workflow gemaakt voor API v2-unit tests, los van de hoofdtestsuite (#26189). Daardoor kunnen ze parallel draaien met andere checks in plaats van te concurreren om resources in een monolithische testjob.
Het cumulatieve effect
Geen van deze veranderingen afzonderlijk zou onze CI-tijd met 83% hebben verkort. De winst komt uit de combinatie ervan.
Slimme afhankelijkheden zorgen ervoor dat jobs eerder kunnen starten. Effectieve caching betekent dat die jobs minder tijd aan setup kwijt zijn. Sharding zorgt ervoor dat de daadwerkelijke testuitvoering parallel gebeurt. Samen verkorten ze het kritieke pad vanuit elke richting.
De investering stapelt zich op in de tijd. Elke PR krijgt nu sneller feedback. Engineers blijven langer in flow. De verleiding om wijzigingen te bundelen neemt af, wat kleinere, beter te reviewen diffs oplevert. De codekwaliteit verbetert omdat de feedbackloop strakker is.
We blijven investeren in CI-prestaties omdat de opbrengst echt en meetbaar is. Het doel is niet snelheid om de snelheid zelf; het gaat erom engineers in staat te stellen sneller kwalitatieve software te leveren. Als CI snel is, werken snel bewegen en hoge standaarden handhaven juist samen in plaats van tegen elkaar.
Verwezen pull requests
Basis: migratie van Buildjet naar Blacksmith
- #26247 - GitHub-workflows migreren van Buildjet naar Blacksmith
Teststabiliteit
-
#26269 - Flaky E2E-tests oplossen met geïsoleerde gebruikerssessies
-
#26278 - E2E-tests stabiel maken met scoped locators en deterministische schema's
-
#26283 - Testisolatie verbeteren voor E2E-tests van managed scheduling links
Turbo Remote Caching
-
#26093 - Upgraden naar Next 16 (builds teruggebracht van 6+ minuten naar ~1 minuut)
-
#26331 - Turbo Remote Caching inschakelen (volgende builds duren 7s)
Jobafhankelijkheden en workflow-optimalisatie
-
#26101 -
changes- encheck-label-jobs samenvoegen in prepare -
#26170 - Niet-API v2-tests loskoppelen van de API v2-build
-
#26157 - E2E-rapporteringsjobs niet-blokkerend maken door ze naar een aparte workflow te verplaatsen
-
#26320 - deps-job naar prepare-jobstap verplaatsen om ~20s per workflow te besparen
Gebruik lookup-only
-
#26314 -
lookup-only-cachecheck gebruiken om downloads van de deps-job over te slaan -
#26060 - Playwright-installatie overslaan bij cachehit
-
#26344 -
lookup-onlygebruiken voor db-cache en cachekey vereenvoudigen
Cachecorrectheid
-
#26268 -
.next/node\_modulesuitsluiten van yarn-cache om corruptie te voorkomen -
#26312 -
cache-build-cache-items verwijderen bij het sluiten van een PR
Testsharding en infrastructuur
