Sitch

Introduction

Sitch est une application de rencontres propulsée par IA agissant comme un matchmaker numérique personnel. Au lieu du traditionnel balayage, les utilisateurs sont mis en relation via un chatbot IA entraîné par un matchmaker humain pour une compatibilité plus profonde, ciblant ceux qui recherchent sérieusement un partenaire et souhaitent un processus plus réfléchi.

L’expérience commence par une intégration approfondie, où l’IA pose des questions pour comprendre les valeurs, les priorités et les expériences de rencontres passées d’un utilisateur. L’application discute avec vous comme un ami pour vous connaître, ainsi que votre partenaire idéal. Sur la base de ces réponses, l’IA suggère des correspondances. Si deux utilisateurs acceptent d’être présentés, l’IA les place dans un chat de groupe, comme le ferait un ami commun. L’application utilise un modèle de paiement à la mise en relation, facturant les utilisateurs pour les introductions réussies plutôt que par abonnement.

Défi

Cinq mois après leur lancement soft, Sitch gagnait en popularité mais accumulait également des retours négatifs des utilisateurs. En tant qu’équipe axée sur le développement, ils manquaient d’un processus d’assurance qualité structuré, ce qui conduisait à des bugs et des problèmes d’utilisabilité s’insinuant dans l’application en production. Sitch a noué un partenariat avec QAwerk pour établir un programme de test efficace de toutes pièces, visant à transformer l’expérience utilisateur et à stabiliser le produit.

À l’issue de notre partenariat, Sitch souhaitait atteindre plusieurs résultats clés :

• Réduire drastiquement les retours négatifs : L’objectif principal était d’améliorer la satisfaction des utilisateurs en identifiant et en éliminant les bugs et les parcours utilisateurs frustrants qui causaient de mauvaises évaluations.
• Établir un processus QA robuste : Mettre en place un workflow de test structuré et efficace pouvant être intégré directement dans leur cycle de développement, garantissant qu’aucune nouvelle fonctionnalité ou correction n’introduise de nouveaux problèmes.
• Garantir le bon fonctionnement des fonctionnalités essentielles : S’assurer que les fonctionnalités indispensables, telles que l’intégration propulsée par IA, la création de profil, le chat et le matching, sont intuitives, stables et fonctionnent parfaitement à chaque fois.
• Obtenir des performances cohérentes sur tous les appareils : Offrir une expérience fluide et visuellement soignée à tous les utilisateurs, quel que soit leur modèle d’iPhone, leur version iOS ou leurs conditions réseau.

Solution

Notre approche consistait à intégrer une stratégie QA complète et multi-couches directement dans le processus de développement de Sitch. Nous nous sommes concentrés sur plusieurs types de tests, chacun choisi pour relever les défis uniques d’une application de rencontres iOS premium propulsée par IA.

Tests fonctionnels

Nous avons réalisé des tests fonctionnels de tous les flux utilisateurs critiques. Cela comprenait la validation du quiz d’intégration complet, le test de la création et de la modification du profil dans la section « Ce qui vous rend unique », et la garantie que le processus de suppression de compte était fluide. Nous avons également testé rigoureusement les options d’écran de chat et de paiement pour les nouveaux utilisateurs. Notre équipe a trié les problèmes de manière proactive, retesté les corrections de bugs critiques et signalé les nouveaux bugs découverts en cours de route.

Pourquoi c’est important : Pour une application comme Sitch, les fonctions principales définissent l’ensemble du parcours utilisateur. Si un utilisateur ne peut pas compléter son profil, discuter avec une correspondance ou comprendre les suggestions de l’IA, l’application échoue. Nous devions nous assurer que chaque chemin utilisateur était logique, intuitif et sans stress.

Tests de l’IA

Nous avons réalisé des tests de l’IA sur le chat propulsé par IA et le quiz d’intégration. Notre équipe a validé le ton et la pertinence du contenu de l’IA, en s’assurant que les réponses étaient appropriées et utiles. Nous avons également effectué des tests pour détecter des failles logiques, comme des questions en boucle ou répétées dans le quiz, afin de garantir que l’interaction de l’utilisateur avec l’IA était toujours cohérente et efficace.

Pourquoi c’est important : La proposition de valeur principale de Sitch est son matchmaker IA. Si la conversation de l’IA est répétitive, non pertinente ou illogique, elle brise la confiance de l’utilisateur et dévalorise l’ensemble de la promesse d’« expertise humaine ». Ces tests étaient essentiels pour s’assurer que l’IA semblait intelligente et personnalisée.

Tests de régression et de pré-lancement

Avant chaque publication, nous avons effectué des tests de régression approfondis sur tous les flux principaux : inscription, intégration, chat, mises en relation et paiements. Pour les déploiements majeurs, comme le pré-lancement de Chicago, nous avons exécuté une liste de vérification complète. Cela comprenait la validation des contenus spécifiques au marché, le test des tarifs d’abonnement pour la nouvelle région, la vérification que les liens de parrainage et les événements d’analyse se déclenchaient avec les bons identifiants de marché, et la garantie que les liens profonds des notifications push dirigeaient les utilisateurs vers le bon écran.

Pourquoi c’est important : Au fur et à mesure que les développeurs de Sitch corrigeaient des bugs et ajoutaient de nouvelles fonctionnalités, il était essentiel de s’assurer que ces changements ne cassaient pas par inadvertance les fonctionnalités existantes. Les tests de régression agissent comme un filet de sécurité, protégeant l’expérience utilisateur des conséquences involontaires à chaque nouveau build. Cela est devenu encore plus important lors du lancement dans de nouvelles villes, où un seul bug pouvait compromettre toute l’expansion sur ce marché.

Tests de compatibilité et de permissions

Nous avons effectué des tests de compatibilité dans diverses conditions réseau, en simulant des connexions internet défaillantes, instables et inexistantes pour s’assurer que l’application restait réactive et ne plantait pas. Nous avons également testé sur différents appareils pour garantir que les éléments UI tels que les marges et les blocs de texte s’affichaient correctement sur les grands et les petits écrans. Enfin, nous avons vérifié que les permissions d’application cruciales pour la galerie, la localisation et les notifications fonctionnaient comme prévu.

Pourquoi c’est important : Les utilisateurs d’applications de rencontres sont en mouvement. Ils passent du Wi-Fi aux données cellulaires, traversent des zones à mauvaise réception et utilisent une large gamme de modèles d’iPhone. L’application doit être résiliente à ces changements, offrant une expérience stable que l’utilisateur ait une connexion parfaite ou une seule barre de service.

Tests UI

Notre équipe a examiné minutieusement chaque écran pour garantir une expérience utilisateur cohérente et de haute qualité. Nous avons identifié et signalé des problèmes comme des marges incorrectes sur les téléphones plus petits, des blocs de résumé mal dimensionnés et des informations mal alignées sur les écrans d’aperçu de profil. Cette attention aux détails a garanti que l’application avait un aspect et une impression professionnels sur n’importe quel appareil.

Pourquoi c’est important : Le monde des applications de rencontres est très concurrentiel, rendant l’attrait visuel et la facilité d’utilisation non négociables. Une interface déroutante ou maladroite peut amener un utilisateur à abandonner l’application avant même que l’IA ait eu la chance de faire sa magie. L’expérience doit sembler soignée, moderne et intuitive.

Tests exploratoires

Après chaque publication et une fois les tests de régression terminés, notre équipe a effectué des tests exploratoires manuels. Nous avons intentionnellement dévié des parcours utilisateurs standard, en essayant des combinaisons d’actions inhabituelles, en testant des cas limites de liens de parrainage et en stressant l’application pour découvrir des bugs cachés, des lacunes d’utilisabilité et des scénarios de plantage potentiels que les tests scriptés manqueraient.

Pourquoi c’est important : Les tests scriptés confirment que les fonctionnalités fonctionnent comme prévu, mais les tests exploratoires révèlent des problèmes que vous ne recherchiez pas. Pour une application haut de gamme, les bugs cachés et les frustrations d’utilisabilité sont inacceptables.