Risques cachés et défaillances dans les agents IA (et comment nous les avons trouvés)

Avez-vous considéré que, avec la croissance exceptionnellement rapide de cette technologie, les risques cachés des agents IA peuvent avoir autant d’impact sur nos vies que la technologie IA elle-même ? En 2025, environ 25 % des entreprises utilisant l’IA générative lancent leurs propres pilotes d’IA agentique. Par conséquent, le nombre de tels outils « autonomes » propulsés par l’IA augmente de façon exponentielle.

Cependant, la technologie est-elle déjà suffisamment avancée pour alimenter de telles avancées ? Certaines de ces solutions échoueront inévitablement en raison de bugs, de faiblesses et d’une planification insuffisante. Que se passera-t-il alors pour l’entreprise qui utilise de tels outils ?

Aujourd’hui, nous discuterons de tous ces sujets et proposerons des exemples concrets de défaillances cachées dans les agents IA identifiées par l’équipe QAwerk lors de nos bug crawls et des tests d’agents IA.

Comprendre l’IA agentique : pourquoi c’est important

Commençons par définir exactement ce qu’est l’IA agentique et comment elle est utilisée aujourd’hui. En essence, les agents IA sont des systèmes autonomes qui perçoivent leur environnement et prennent des décisions ou effectuent des actions pour atteindre un objectif spécifique. En théorie, ils ne devraient nécessiter qu’un minimum d’intervention humaine, comme faire une demande ou donner une commande spécifique.

La demande pour de tels outils est grande. Les gens peuvent aujourd’hui créer des variantes basiques avec un effort minimal en utilisant des grands modèles de langage (LLM) comme ChatGPT ou Gemini. Selon un rapport de Deloitte, les entreprises ont investi plus de 2 milliards de dollars dans l’IA agentique au cours des deux dernières années, et elles continuent. Il est facile de comprendre la popularité de ces systèmes quand on considère les avantages qu’ils offrent, tels que :

• Stimuler la productivité grâce à l’automatisation
• Rationaliser les flux de travail
• Offrir une assistance multilingue 24h/24 et 7j/7
• Augmenter la vitesse de réponse
• Améliorer la personnalisation
• Économies de coûts grâce aux optimisations et à l’automatisation
• Fournir des insights précieux basés sur l’analyse de données

Cependant, il y a aussi la question très importante des limitations des agents IA, ainsi que des problèmes comme les hallucinations IA, les biais de données et le manque de transparence.

5 défaillances cachées dans les agents IA trouvées dans des applications réelles

En tant qu’experts en tests, nos équipes ont effectué de nombreuses vérifications QA d’applications populaires en utilisant des métriques d’évaluation des agents IA spécifiques et en évaluant les solutions d’un point de vue technique. Ci-dessous, nous offrons quelques exemples de problèmes technologiques critiques et majeurs que ces outils présentent. Ces défaillances cachées dans les agents IA affectent les performances mais pourraient également avoir des implications plus larges en créant des vulnérabilités pour les attaques.

PocketPal AI (Android)

Un problème critique que nous avons découvert lors du bug crawl de PocketPal, un assistant de flux de travail d’équipe propulsé par l’IA pour Android, est que l’application entre dans un état de chargement infini lors du changement de modèle dans le Benchmark.

L’impact direct est que l’utilisateur est frustré par le flux UX bogué. Cela cause des dommages réputationnels à la marque du développeur et réduit le nombre de téléchargements de l’application. Cependant, la situation devient beaucoup plus compliquée lorsque nous considérons les risques cachés des agents IA autonomes dans ce cas :

• Sous le capot, ce bug est probablement causé par des problèmes dans le pipeline de benchmark/agent, un appel asynchrone non résolu ou un cas limite backend/API. Notez que l’agent lui-même pourrait aller bien, mais les « défaillances IA » invisibles sont les problèmes d’orchestration ou d’état de l’interface utilisateur.
• Ce bug spécifique peut créer une faille pour des fuites de ressources et entraîner un manque direct d’observabilité. Par conséquent, un problème apparemment lié à l’UX crée plusieurs vulnérabilités de sécurité des agents IA.
• Ce problème spécifique sera difficile à résoudre car il peut passer inaperçu, les utilisateurs croyant qu’il s’agit d’un problème temporaire et abandonnant l’application par frustration. Il peut également interférer avec les techniques de débogage des agents IA car les journaux ne le reflètent pas avec précision.

Fiscal.ai (SaaS)

Notre bug crawl pour Fiscal.ai a mis en évidence plusieurs problèmes que les testeurs de QAwerk ont réussi à identifier. C’est un produit SaaS propulsé par l’IA conçu pour aider les entreprises à accélérer la prise de décision en automatisant l’analyse des données financières et les prévisions. L’un des problèmes majeurs que nous avons découverts est que le chat Copilot que vous supprimez reste accessible et actif pour l’envoi de messages.

Cela peut ne pas sembler un grand problème pour l’utilisateur. En fait, beaucoup ne le remarqueront même pas. Cependant, cela a des implications sérieuses dans le contexte des défaillances cachées dans les agents IA.

• Essentiellement, le bug signifie que vous avez un « chat fantôme » qui n’est listé nulle part mais existe et reste actif dans un système qui a accès à des données financières, des tableaux de bord et des analyses de niveau institutionnel.
• Cela crée une série de risques de conformité et de sécurité, rendant l’organisation utilisant la plateforme IA vulnérable tant aux pénalités qu’aux attaques adversariales sur les agents IA.
• Le chat peut contenir des informations sensibles que l’utilisateur voulait supprimer, mais elles restent accessibles. C’est une menace directe pour la confidentialité des données et viole plusieurs réglementations.
• Le fait que le chat soit difficile à détecter le rend à la fois difficile à identifier comme bug et peut interférer avec les audits financiers, qui sont obligatoires pour de nombreux utilisateurs de la plateforme.

Flexi AI Tutor (SaaS)

Flexi AI Tutor est un agent IA qui aide les étudiants et les enseignants en offrant de l’aide pour partager des connaissances sur plusieurs sujets. Nous avons effectué une évaluation approfondie de Flexi AI Tutor et découvert quelques bugs, certains d’entre eux critiques. Un problème majeur était que l’erreur de taille de photo dans le profil était affichée dans le navigateur plutôt que dans l’interface de l’application.

Un tel bug affecte l’expérience utilisateur en introduisant des incohérences d’interface. C’est agaçant mais ne semble pas essentiel. Cependant, en termes de défaillances cachées des agents IA, celui-ci indique une rupture quelque part dans le flux utilisateur et l’intégration des outils. En fonction de sa cause exacte, les implications de ce bug pourraient être :

• L’étape de validation côté client pourrait être contournée ou non effectuée assez tôt dans l’interface. Par conséquent, elle est gérée par le navigateur. Si le problème est que le front-end n’intercepte pas les grands téléchargements de fichiers, le back-end pourrait les rejeter, mais cela affectera les performances et causera des retards. De tels problèmes affectent l’utilisation de la mémoire et la vitesse de chargement des pages.
• Les grands téléchargements échoués peuvent entraîner des changements d’état partiels et créer des références de photos de profil corrompues. Cela causera des problèmes d’image et compromettra l’intégrité du système. Certes, ce risque est plus faible si la solution a une architecture moderne « téléchargement → validation → sauvegarde des métadonnées ».

TwinMind (SaaS)

Lors de notre bug crawl de TwinMind, un assistant IA conçu pour améliorer votre apprentissage et votre productivité grâce à la transcription en temps réel et des suggestions intelligentes, nous avons trouvé un problème critique. L’application utilise votre microphone comme source de données principale, et il ne s’arrête pas de capturer même si la permission du microphone est refusée. L’utilisateur doit redémarrer le navigateur car l’application ne gère pas le rejet.

Du point de vue de l’expérience utilisateur, cela fait apparaître l’application comme pas vraiment « intelligente ». Les refus de permission sont courants, donc des occurrences fréquentes peuvent conduire à un état d’impasse dont l’application ne peut pas se remettre. Cependant, il y a aussi une couche plus profonde liée aux risques de sécurité des agents IA :

• Certains endroits (par exemple, les écoles ou les bureaux d’entreprise) nécessitent de bloquer les microphones pour des raisons de confidentialité. Par conséquent, l’application crée une brèche système qui pourrait passer inaperçue.
• Du côté technique, c’est un exemple classique de défaillances cachées dans les agents IA comme un problème de transition d’état non géré. Il impacte les sous-systèmes IA en temps réel et configure des flux WebRTC et des nœuds de graphe audio, mais les threads de travail ne s’arrêtent jamais correctement. C’est une source de fuites potentielles.

Answer.AI (iOS)

Nous avons effectué un bug crawl de Answer.ai, une application iOS qui agit essentiellement comme un simple tuteur IA vous aidant dans vos recherches. Cela nous a conduits à découvrir un bug particulier : l’utilisateur est incapable de poser une question à plusieurs phrases lors d’une conversation avec le « tuteur » car l’application efface les données et ne répond qu’à la dernière phrase.

C’est définitivement l’un des problèmes les plus agaçants qu’un tel outil pourrait avoir, et les utilisateurs sont susceptibles d’abandonner l’application par frustration. Cependant, il y a plus à considérer avec de tels risques des agents IA :

• La solution peut produire des résultats incorrects, ce qui peut affecter les choix de l’utilisateur.
• L’utilisateur peut supposer que les réponses incomplètes sont dues à une mauvaise communication plutôt qu’à une troncature.
• Comme il n’y a pas de signal d’erreur, la qualité des performances se dégrade progressivement.
• L’IA fournit des réponses erronées ou de faible valeur.

Risques cachés supplémentaires des agents IA

Nous pourrions séparer les risques des agents IA en deux catégories : les problèmes techniques et l’impact socio-économique des systèmes IA autonomes. Ces derniers comprennent :

• Gouvernance et conformité de l’IA : Si nous rendons l’IA autonome, nous devons également nous assurer qu’elle ne devient pas une puissance chaotique qui alimente l’anarchie. Par conséquent, les systèmes autogérés nécessitent une gouvernance et des réglementations strictes. Cependant, nous n’avons pas encore de tels systèmes et législations. Il y a la Loi sur l’IA de l’UE, mais c’est juste le premier pas vers des cadres réglementaires juridiques appropriés qui pourraient régir l’utilisation et l’impact des agents IA.
• Manque de transparence : Le problème principal ici est que nous ne comprenons parfois pas exactement comment l’IA arrive à des conclusions spécifiques. Cela rend l’utilisateur vulnérable à l’acceptation des hallucinations IA comme vérités ou à être induit en erreur par des problèmes IA invisibles. La solution pourrait être l’introduction de la supervision « humain dans la boucle ». Cependant, la question de la « pensée » autonome de la machine et de sa capacité à limiter les informations fournies au superviseur humain demeure. Déjà, des études montrent la capacité de l’IA à simuler l’alignement et à tromper carrément les utilisateurs.
• Lignes directrices éthiques : Les implications sociétales des risques des agents IA découlent du manque de lignes directrices éthiques pour les machines. Nous ne devons pas oublier qu’elles sont largement comme des enfants, qui n’ont aucune compréhension de la morale et de l’éthique dès la naissance. Par conséquent, atténuer ce risque nécessite d’établir des lignes directrices éthiques claires auxquelles les agents IA doivent adhérer. Ces lignes directrices doivent inclure la priorité aux droits humains, à la vie privée et à la responsabilité.
• Réaction de la société : L’un des principaux risques cachés des agents IA vient en réalité des gens, pas de l’IA. La mise en œuvre généralisée de cette technologie peut conduire à la fois à une surreliance et à un rejet dû à la perte d’autonomie. Ce dernier point est à l’origine du « l’IA va prendre votre emploi », tandis que le premier suscite des inquiétudes que les humains pourraient devenir paresseux et moins intellectuellement capables en raison de la dépendance à l’IA. Ce sont en grande partie des extrêmes irréalistes. Cependant, leur existence montre que nous devons mettre en œuvre un programme d’éducation publique sur l’Intelligence Artificielle et, surtout, sur les limitations des agents IA, afin que les gens aient une meilleure compréhension de cette innovation technologique.

Conclusion : Comment atténuer les risques et limitations des agents IA

Il est difficile de prédire l’avenir des agents IA et des systèmes autonomes, mais une chose est sûre : nous en verrons davantage. Avec la croissance de la demande, les attentes des utilisateurs augmentent également. Par conséquent, pour lancer un outil compétitif, vous devrez vous assurer qu’il est exempt de tout problème, y compris les défaillances IA invisibles. Pour y parvenir, vous aurez besoin de tests d’agents IA manuels ou automatisés effectués par des pros expérimentés.

Contactez QAwerk aujourd’hui pour découvrir toutes les faiblesses potentielles de votre application !

Questions fréquemment posées