Blog

Résolution du cold start de Cal.com

Cal.com open source code example in an editor window

Contexte

Pendant un certain temps, l’application Cal.com pouvait subir de longs temps de chargement au démarrage à froid, allant de 7 secondes à 30 secondes dans les cas extrêmes. Ce comportement ne se produisait pas toujours en raison de la nature des démarrages à froid, mais il arrivait suffisamment souvent pour devenir un problème que nous devions traiter dès que possible.

Pour celles et ceux qui ne connaissent pas les démarrages à froid, il existe déjà beaucoup de ressources qui expliquent le problème en général, donc nous n’allons pas le couvrir ici. Avec ce billet, nous souhaitons expliquer la cause racine exacte qui affectait notre système en particulier, et qui était provoquée par les démarrages à froid dans un environnement serverless.

Constatations et expérimentations

Pour commencer, examinons le log suivant de Vercel :

Statistiques de performance d’une fonction serverless Vercel

Pour la fonction /api/trpc/[trpc], nous voyons une Cold Boot Duration de 298 ms mais une Execution Duration de 7,57 s. C’est un peu étrange, non ? Le cold boot en lui-même n’est pas le problème ; c’est plutôt ce qui se charge pendant le cold boot qui fait fortement gonfler la Execution Duration.

Alors par où commencer pour trouver la cause racine de ce problème ?

Hypothèse 1 : taille du bundle de la fonction

Après avoir constaté la Function Size de 33,1 MB, notre équipe, la communauté ainsi que les personnes de Vercel et Prisma se sont directement lancées dans des analyses de bundles et des journaux de compilation pour essayer de trouver quels packages alourdissaient nos fonctions. Même si cette Function Size reste sous la limite de 50MB, nous pensions qu’elle pouvait malgré tout être au moins en partie en cause.

Nous avons bien identifié quelques dépendances volumineuses chargées lors de la récupération de notre session, que nous avons pu alléger (PR), et nous avons chargé à la demande les dépendances de notre app store (PR).

Les performances se sont améliorées à chaque requête après ces mises à jour, mais pas dans la mesure de plusieurs secondes que nous espérions. Alors, qu’est-ce que cela pouvait être d’autre ? Prisma est-il lent à se connecter lors d’un cold start dans notre configuration serverless ?

Hypothèse 2 : Prisma

Nous avions déjà Prisma Data Proxy en production pour gérer notre pool de connexions, donc nous étions sceptiques quant au fait que ce soit le problème, mais nous voulions tout de même faire preuve de diligence raisonnable pour nous en assurer.

Dans une branche expérimentale, nous avons mis en place un endpoint de test isolé de nos routes API et de nos pages, dans une app route distincte (en utilisant le nouveau App Router de Next.js) qui ne récupérait que le nombre d’utilisateurs dans le système. Les performances de cette route au cold start pouvaient aller jusqu’à 1 seconde, ce qui nous a montré que Prisma peut avoir un léger délai lors des cold starts, mais là encore, ce n’était pas les 7 à 15 secondes que nous observions en moyenne.

Hypothèse 3 : _app et _document

À partir de l’analyse de bundle qui avait été réalisée, il était clair que notre application charge beaucoup de dépendances. Cela nous a donné l’idée de réduire ce qui était chargé à chaque requête API. Sachant que les routes API dans Next.js chargent le fichier _app.tsx, nous avons décidé d’implémenter un PageWrapper qui contient toutes les dépendances nécessaires pour les routes non API (PR).

Là encore, c’est une belle amélioration en termes d’optimisation des dépendances, mais nous avions toujours nos longs temps d’attente.

Cause racine

Après avoir publié beaucoup de PR axées sur la performance qui ont aidé l’organisation du code, la vitesse et la taille du bundle, nous n’avions toujours pas trouvé la solution miracle. Il était temps de revenir à l’essentiel et de réfléchir en termes de goulots d’étranglement, puisque de nombreux problèmes de performance y sont liés, n’est-ce pas ?

En suivant ce raisonnement, un test a été lancé pour séparer le routeur tRPC le plus simple dans sa propre route API. Dans notre cas, il s’agissait de notre routeur public. Après le déploiement, l’endpoint /api/trpc/viewer.public.i18n est devenu /api/trpc/public/i18n. Nous avons constaté une baisse du temps de cold start de 15 secondes à 2 secondes pour cette route. Cela semblait confirmer que notre routeur tRPC unique était bien le goulot d’étranglement.

En termes simples, nous avions trop de routeurs tRPC intégrés dans le routeur principal viewer exposé sur la route /api/trpc/[trpc]. Cela signifiait que le tout premier appel à cette fonction, qu’il s’agisse de charger les termes i18n ou de récupérer l’emploi du temps d’un utilisateur, devait importer les 20 routeurs ainsi que toutes leurs dépendances.

Comme on peut le voir ici dans ce qui a finalement été la PR qui a résolu la plupart de nos problèmes de longs cold starts, nous soupçonnions que le routeur slots était trop volumineux et qu’il était à l’origine des problèmes. Malheureusement, après avoir séparé le routeur slots dans sa propre route API Next.js, nous constations toujours de grandes tailles de bundle et de longs temps de cold start. Pour ces raisons, cette PR est restée intacte pendant que d’autres hypothèses étaient explorées.

Après la découverte que la route i18n se chargeait en 2 secondes lors des cold starts, la PR mentionnée plus haut a ensuite été étoffée afin que tous les routeurs tRPC aient leur propre route API. Lorsqu’elles sont séparées, Vercel crée des fonctions distinctes par route.

Alors, pourquoi le fait de séparer les routeurs tRPC dans leurs propres routes API Next.js résout-il le problème ? La réponse simple, dans notre cas, est que même si une page appelle 5 routes tRPC différentes pour charger des données, elles s’exécuteront en parallèle et l’effet du chargement des dépendances pour tous les routeurs ne se cumule donc pas. Nous pouvons toujours voir des temps de cold start de 2 à 3 secondes sur une route tRPC donnée, mais comme elles sont appelées en parallèle par le navigateur, le temps d’attente total peut être de 3 secondes, et non de 7 à 15 secondes (ou 30 secondes dans les cas extrêmes).

Nous reconnaissons qu’il reste encore du travail à faire pour réduire encore ces temps, mais les diminutions obtenues jusqu’ici ont été significatives.

Voici un ticket pour encourager d’éventuelles évolutions de tRPC dans les environnements serverless.

Résultats clés

Différences de performance entre les endpoints

Remerciements

Un immense merci et un grand bravo à toutes les personnes qui ont contribué à résoudre ce problème. Qu’il s’agisse d’écrire des scripts personnalisés qui ont aidé à déterminer quelles dépendances ralentissaient notre système ou d’ouvrir des PR, nous apprécions vraiment le soutien et les efforts déployés pour résoudre ces problèmes. Nous espérons que ce billet et les PR pourront vous donner un peu de visibilité sur les expérimentations que nous avons menées et sur la cause racine que nous avons finalement trouvée.

Merci tout particulièrement à Julius Marminge de tRPC.io, Guillermo Rauch, Malte Ubl et Jimmy Lai de Vercel ainsi qu’à Lucas Smith. 🙏

Et ensuite

Même si c’est une grande réussite, nous travaillons toujours dur pour réduire encore davantage les cold starts, mais aussi pour améliorer l’expérience de self-hosting sans architecture serverless. Restez à l’écoute !

Keith Williams

Post by

Keith Williams

Head of Engineering