Granola

Introduction

Granola fonctionne comme un bloc-notes intelligent qui assiste l’utilisateur pendant les réunions. Au lieu de s’appuyer sur des robots virtuels pour rejoindre et enregistrer les appels, l’application capture l’audio directement depuis l’ordinateur pendant que l’utilisateur saisit ses notes. Une fois la réunion terminée, l’IA de Granola combine les notes de l’utilisateur avec la transcription complète pour générer des résumés structurés, les points clés à retenir et les actions à entreprendre. Les utilisateurs conservent la pleine maîtrise de ces notes : ils peuvent les modifier, appliquer des modèles personnalisés pour des types de réunions spécifiques (entretiens individuels, réunions de découverte, etc.) et exporter les informations finalisées directement vers des plateformes comme Slack, les CRM ou les tableaux de bord de projet.

Défi

Avec l’expansion de sa base d’utilisateurs et de ses fonctionnalités, l’équipe de Granola a pris conscience de la nécessité d’une approche dédiée à l’assurance qualité. Avant de collaborer avec QAwerk, Granola ne disposait pas de service d’assurance qualité interne, laissant aux développeurs et aux équipes de support client la responsabilité de tous les tests, en plus de leurs tâches principales. Cette organisation, conjuguée à un manque de diversité dans les appareils de test, rendait difficile le maintien de la stabilité lors de leurs mises à jour hebdomadaires rapides.

Granola a fait appel à QAwerk pour prendre entière possession de la qualité de leur logiciel. Pour que notre partenariat soit un succès et atteigne des résultats commerciaux tangibles, nous devions surmonter plusieurs défis spécifiques :

• Suivre le rythme des publications rapides : Avec le déploiement de nouvelles fonctionnalités environ une fois par semaine, nous devions mettre en place une routine de test rapide et fiable qui s’aligne parfaitement sur le cycle de développement rapide de Granola, garantissant la qualité sans provoquer de retards de déploiement.
• Élargir la couverture des appareils et du matériel : Granola gère une capture audio complexe et fonctionne en arrière-plan ; son fonctionnement doit donc être irréprochable sur différentes configurations. Nous avons utilisé l’infrastructure de test étendue de QAwerk pour tester l’application de manière approfondie sur un large éventail de configurations matérielles et de systèmes d’exploitation auxquels l’équipe interne de Granola n’avait pas accès. Nous avons également validé sa compatibilité avec divers périphériques audio, notamment les cartes son intégrées, les haut-parleurs filaires externes, les casques filaires et les casques Bluetooth.
• Soulager les développeurs et les équipes de support : Nous devions décharger le personnel interne de Granola de la charge des tests en enquêtant de manière indépendante sur les bogues signalés par les utilisateurs, en isolant les causes profondes et en créant à partir de zéro une documentation de test claire et complète.
• Construire l’automatisation des tests depuis zéro : Pour garantir l’efficacité à long terme et la stabilité du produit face aux mises à jour fréquentes, un objectif majeur était de concevoir et d’implémenter un framework d’automatisation des tests robuste pour gérer les tests de régression et libérer du temps pour une exploration manuelle plus approfondie.

Solution

Nous avons pris en charge l’intégralité du processus d’assurance qualité de Granola afin de soutenir leur cycle de déploiement rapide. Nous avons créé une documentation de test complète à partir de zéro à l’aide de Qase.io (maintenant plus de 1 100 cas de test), signalé 90 bogues au cours des deux premiers mois et mis en œuvre une stratégie de test multicouche adaptée à une application multiplateforme pilotée par l’IA.

Voici le détail des solutions de test spécifiques que nous avons mises en œuvre :

• Tests fonctionnels. Nous avons validé les fonctionnalités essentielles de macOS et Windows, notamment la transcription, la génération de notes par IA, les modes hors ligne et la commutation du périphérique audio. Nous avons également pris en charge les déploiements majeurs tels que la connexion Microsoft, les recettes, le serveur MCP, les mises à jour de Granola Chat, les briefings de pré-réunion et le changement d’image de février 2026 afin de garantir le bon fonctionnement de l’application en conditions réelles d’utilisation.
• Régression & Sélection de tests assistée par IA. Pour assurer le suivi des mises à jour hebdomadaires sans ralentir le développement, nous avons exécuté des suites de tests de régression ciblées. En collaboration avec les ingénieurs de Granola, nous avons mis en place un flux d’IA intelligent qui analyse les demandes de fusion et sélectionne automatiquement les cas de test les plus pertinents.
• Tests iOS dédiés. Pour accompagner la croissance de Granola sur mobile, nous avons mis en place un processus de test structuré entièrement dédié à iOS. Cela comprenait la création de la documentation de test nécessaire et la réalisation de cycles de régression rigoureux avant la publication. Notre équipe a testé l’application mobile de manière approfondie sur différentes versions logicielles (iOS 17, 18 et 26) et sur différents formats d’écran (standard, mini et Max) afin de garantir une expérience utilisateur homogène sur tous les iPhone.
• Framework d’automatisation des tests. Nous avons automatisé 76 % de la suite de tests de régression critiques et mis en place un système de reporting Slack direct. Pour ce faire, nous avons surmonté des obstacles techniques complexes : contournement des autorisations SSO de Google, intégration directe de l’audio système dans les tests et utilisation de l’IA dans nos scripts pour vérifier les résumés de réunions générés par l’IA de Granola.
• Tests d’intégration. Nous avons testé la connexion de Granola à des outils externes essentiels tels que Outlook, Google Agenda, Stripe, Slack, HubSpot et Zapier, garantissant ainsi aux utilisateurs la possibilité d’exporter les données de réunion sans erreur de synchronisation.
• Tests multiplateformes et de compatibilité. En tirant parti du vaste laboratoire d’appareils de QAwerk, nous avons vérifié la stabilité de l’application sur diverses configurations matérielles macOS et Windows, ainsi que sur plusieurs modèles d’iPhone et versions d’iOS, garantissant une expérience cohérente quelle que soit la configuration de l’utilisateur.
• Tests LLM. Nous avons concentré nos efforts sur l’évaluation de la qualité des réponses de l’IA, de leur cohérence et de leur exactitude factuelle dans divers scénarios de réunion réels. Cela incluait le test de la robustesse du modèle face aux cas limites, comme les entrées audio ambiguës et les hallucinations, tout en nous assurant qu’il maintenait un contexte précis tout au long de conversations complexes à plusieurs tours.
• Tests d’utilisabilité. Pour garantir une application intuitive et sans distraction, nos ingénieurs QA ont mené les tests exclusivement du point de vue de l’utilisateur final. Nous avons collaboré étroitement avec l’équipe produit de Granola afin d’améliorer l’expérience utilisateur, en partageant des suggestions concrètes comme la clarification des messages d’erreur et l’ajout d’indications utiles dans l’interface.
• Tests API. Nous avons effectué des tests approfondis des points de terminaison de l’API de Granola afin de garantir un échange de données fiable, des intégrations stables et une communication backend transparente.
• Tests de migration. Pour garantir l’intégrité des données lors des mises à jour de l’application, nous avons effectué des tests de migration stricts sur chaque candidat à la publication. Cela a garanti que les notes de réunion sensibles des utilisateurs, les modèles et les paramètres d’espace de travail étaient préservés en toute sécurité lors du passage à la version la plus récente.

En analysant activement les avis des utilisateurs, en traitant les demandes de tests ponctuelles et en couvrant toutes les nouvelles fonctionnalités, nous avons donné à l’équipe de Granola la confiance nécessaire pour publier rapidement les mises à jour.

Automatisation des tests

Pour accélérer le cycle de publication de Granola et réduire drastiquement le temps consacré aux tests de régression manuels, nous avons mis en place un framework d’automatisation des tests évolutif. Nous avons priorisé l’automatisation des fonctionnalités stables et essentielles telles que l’intégration, la gestion des notes et le partage d’espace de travail, laissant les scénarios dépendants du matériel et des paiements externes à l’équipe d’assurance qualité manuelle afin de garantir la rapidité et la fiabilité de la suite de tests automatisés.

Le framework a été conçu avec TypeScript et Playwright pour automatiser les tests de leur application de bureau Electron, compatible avec macOS et Windows. Nous avons utilisé l’architecture Page Object Model (POM) afin de faciliter la maintenance de la suite de tests malgré l’évolution de l’application, et nous avons intégré des tests de régression visuelle pour détecter automatiquement les modifications inattendues de l’interface utilisateur.

L’automatisation d’une application basée sur l’IA a nécessité une résolution de problèmes créative. Les notes générées par l’IA étant conçues pour varier, nous ne pouvions pas nous fier à des vérifications de correspondance exacte. Au-delà de la simple validation par mots-clés, nous avons mis en œuvre une approche de test assistée par l’IA, utilisant des modèles de langage (LLM) pour analyser intelligemment le contexte et la précision des résultats. Nous avons également contourné les connexions tierces instables (comme l’authentification unique de Google) en mettant en place un système d’authentification interne sécurisé afin d’éviter les faux échecs de test.

Enfin, nous avons intégré l’ensemble de la suite au pipeline CI/CD de Granola via GitHub Actions. Les tests s’exécutent désormais automatiquement en parallèle sur les environnements Mac et Windows, soit chaque nuit, soit avant une fusion de code. Afin de permettre aux développeurs de déboguer rapidement, nous avons mis en place une intégration Slack pour diffuser instantanément les rapports de tests automatiques à l’équipe, offrant ainsi un retour d’information rapide et exploitable sur chaque build.