Le projet PANAME : l’outil d’audit RGPD de la Cnil

Le projet PANAME (Privacy Auditing of AI Models) est un outil visant à auditer la confidentialité des modèles d’intelligence artificielle (IA). Il prend la forme d’une bibliothèque logicielle permettant de réaliser des tests d’extraction et/ou de réidentification de données à partir de modèles d’IA. Dans ce cadre, un appel à manifestation d’intérêt (AMI) a été lancé afin d’identifier des acteurs souhaitant participer à la phase de test de cet outil et contribuer à son amélioration, en vue d’évaluer la conformité des modèles au Règlement général sur la protection des données (ci-après « RGPD »).  

Un contexte risqué pour les données personnelles 

Dans un contexte d’essor rapide de l’intelligence artificielle, la Commission nationale de l’informatique et des libertés (ci-après la « Cnil »), l’Agence nationale de la sécurité des systèmes d’information (ci-après « l’ANSSI »), le Pôle d’expertise de la régulation numérique (ci-après « PEReN ») et Inria ont engagé des travaux visant à doter les acteurs d’outils opérationnels d’évaluation des risques. Le projet PANAME s’inscrit dans cette dynamique en proposant une bibliothèque logicielle dédiée à l’analyse de la confidentialité des modèles d’IA.  

Depuis plus d’une décennie, les travaux scientifiques démontrent qu’il est possible d’extraire, à partir d’un modèle d’IA, des informations issues des données d’entraînement, y compris des données à caractère personnel. Ces extractions peuvent être réalisées par des techniques statistiques nécessitant un accès total ou partiel au modèle (fonction de coût, gradient, activations), ou bien, dans le cas des modèles génératifs, par simple interrogation du modèle au moyen de requêtes en langage naturel (prompts).  

L’essor de l’IA générative a contribué à rendre ces risques plus visibles et accessibles. La capacité d’un modèle à mémoriser certaines données d’entraînement soulève des enjeux majeurs en matière de protection des données personnelles, mais également au regard d’autres régimes juridiques tels que le droit d’auteur ou le secret professionnel. La question de la conformité des modèles d’IA à ces exigences réglementaires s’impose désormais comme un enjeu central pour les acteurs publics et privés. 

Une question déjà encadrée au niveau européen 

Le Comité européen de la protection des données (ci-après le « CEPD ») a adopté en décembre 2024 un avis relatif aux modèles d’IA, dans un contexte marqué par leur développement rapide. Cet avis vise à préciser les conditions d’application du RGPD aux modèles d’IA, en particulier lorsque ceux-ci sont entraînés à partir de données à caractère personnel.  

Le CEPD rappelle que les modèles d’IA ne peuvent être présumés anonymes par principe. Leur qualification dépend notamment de leur capacité à permettre l’extraction ou la réidentification de données issues du jeu d’entraînement. Dès lors, une analyse au cas par cas s’impose afin de déterminer si un modèle peut être considéré comme véritablement anonymisé.  

En outre, l’avis souligne qu’il est généralement nécessaire de démontrer, au moyen de tests techniques, qu’un modèle résiste à des tentatives d’extraction d’informations pour conclure à son caractère anonyme. À défaut, le RGPD demeure applicable, notamment en raison des capacités de mémorisation des modèles. Ces éléments renforcent la nécessité de disposer d’outils opérationnels permettant d’évaluer concrètement ces risques.  

Un audit à la portée des organismes 

Le projet PANAME trouve son origine dans les difficultés rencontrées par les acteurs pour mettre en œuvre des tests d’extraction de données sur leurs modèles d’IA. Les méthodes existantes sont souvent issues de travaux académiques, dispersées et difficiles à mobiliser dans un contexte opérationnel, en particulier pour les structures ne disposant pas de ressources techniques importantes.  

L’objectif du projet est ainsi de proposer une bibliothèque logicielle permettant d’unifier et de faciliter la mise en œuvre de ces tests. L’outil vise à permettre une évaluation effective de la confidentialité des modèles d’IA et, par conséquent, à contribuer à l’analyse de leur statut au regard du RGPD. Il ne garantit pas en lui-même la conformité, mais constitue un support technique d’aide à l’évaluation.  

Le projet présente un triple intérêt. Il améliore l’accessibilité des méthodes de test pour les acteurs de l’écosystème, permet la réalisation d’évaluations techniques nécessaires à l’analyse juridique des modèles, et participe à la standardisation des pratiques en matière d’audit de confidentialité. Cette approche vise à réduire les coûts et à renforcer la robustesse des analyses réalisées par les organismes.  

Un projet de coopération entre la Cnil, le PEReN, l’ANSSI et Inria 

Le projet PANAME repose sur une coopération étroite entre plusieurs acteurs publics aux compétences complémentaires. La Cnil intervient sur les aspects juridiques et réglementaires, l’ANSSI apporte son expertise en cybersécurité, le PEReN contribue au développement technique de la bibliothèque, et Inria assure la dimension scientifique, notamment à travers le projet IPoP du programme de recherche en cybersécurité.  

Cette collaboration illustre la nécessité d’une approche interdisciplinaire pour traiter les enjeux liés à l’IA et à la protection des données. Elle permet de croiser les expertises juridiques, techniques et scientifiques afin de produire un outil adapté aux besoins des acteurs de terrain. 

À l’issue des phases de test engagées dans le cadre de l’AMI, la bibliothèque PANAME a vocation à être mise à disposition, en tout ou partie, en source ouverte. Cette diffusion vise à favoriser son appropriation par l’ensemble de l’écosystème et à contribuer à l’amélioration continue des pratiques d’audit des modèles d’IA.  

LOCK-T 

Avec la participation de MAPANGOU NUNEZ Karly, stagiaire