La Cour constitutionnelle allemande rejette l’utilisation d’algorithmes prédictifs par la police

Jeudi (16 février), la Cour constitutionnelle allemande a rendu un arrêt dans lequel elle déclare inconstitutionnelle l’utilisation du logiciel de surveillance Palantir par la police des Länder de la Hesse et de Hambourg.

Cet arrêt vient clore une procédure engagée l’année dernière par la Société allemande pour les droits civils (Gesellschaft für Freiheitsrechte, GFF), dont les audiences ont débuté en décembre. Les plaignants ont fait valoir que le logiciel pouvait être utilisé pour des opérations de police prédictive, augmentant ainsi le risque d’erreurs et de discrimination de la part des forces de l’ordre.

Le Land allemand de la Hesse a recours au logiciel depuis 2017, tandis qu’il n’est pas encore utilisé à Hambourg. La technologie est fournie par Palantir, une entreprise américaine d’analyse de données qui bénéficiait initialement du soutien des agences de renseignement, notamment la CIA, le FBI et la NSA.

L’affaire a été portée devant la justice au nom de 11 plaignants et repose sur l’argument selon lequel le logiciel — baptisé « Hessendata » — facilite le travail de la police prédictive en exploitant des données pour établir des profils de suspects avant même qu’un crime n’ait été commis.

La base juridique des lois autorisant ces systèmes a été remise en question par la GFF, qui estime que la Hesse et Hambourg n’ont pas indiqué clairement les sources auxquelles la police pouvait avoir recours pour obtenir des données. Selon la GFF, les Länder n’ont pas non plus indiqué dans quelle mesure et sur quelles bases les forces de l’ordre pouvaient procéder à l’exploration de données.

Selon le tribunal, la police de la Hesse a utilisé les pouvoirs qui lui sont conférés des milliers de fois chaque année via la plateforme Hessendata.

Toutefois, les représentants du Land ont fait valoir que le logiciel est indispensable à la prévention de la criminalité et qu’il ne fait que rassembler et traiter des données collectées ailleurs.

Palantir, dont le système Gotham AI est un dérivé d’Hessendata, a affirmé ne fournir que le logiciel d’analyse des données et non les données elles-mêmes.

« Palantir met le logiciel au service des données, et non les données au service du logiciel », a indiqué Jan Hiesserich, vice-président exécutif de Palantir pour la stratégie et la communication, au journal allemand Handelsblatt.

« Ce sont nos clients qui déterminent quelles données sont pertinentes pour l’enquête, conformément aux dispositions légales en vigueur. »

Toutefois, la Cour constitutionnelle de Karlsruhe a annulé jeudi les lois qui constituaient une base légale permettant à la police de traiter les données personnelles stockées par le biais de l’analyse automatisée des données, dans le cas de la Hesse, ou de l’interprétation automatisée des données, dans celui du Land de Hambourg.

Ces systèmes ont été jugés inconstitutionnels car ils violaient le droit à l’autodétermination des informations à caractère personnel.

« Compte tenu de la formulation particulièrement large des pouvoirs, tant en ce qui concerne les données que les méthodes concernées, les motifs d’ingérence sont loin d’atteindre le seuil constitutionnellement requis d’un danger identifiable », a déclaré la Cour dans un communiqué.

L’utilisation de mesures automatisées qui interfèrent ainsi avec les droits des personnes « n’est autorisée que pour protéger des intérêts juridiques particulièrement importants, tels que la vie, l’intégrité physique ou la liberté de la personne ».

La décision annule la loi de Hambourg, ce qui implique que le système ne sera pas mis en place. En revanche, le Land de la Hesse, où la technologie est déjà utilisée, a jusqu’au 30 septembre pour réformer sa législation. Entre-temps, la loi restera en vigueur sous réserve de restrictions.

L’affaire aura également des implications plus larges, a déclaré Bijan Moini, responsable de l’équipe juridique de la GFF. « Aujourd’hui, la Cour constitutionnelle a interdit à la police de regarder dans la boule de cristal et a formulé des directives strictes pour l’utilisation par la police de logiciels intelligents. Cette décision était importante car l’automatisation du travail de la police n’est qu’un début. »

Au mois de décembre, un rapport de l’Agence des droits fondamentaux de l’UE a appelé les décideurs politiques à veiller à ce que les algorithmes d’intelligence artificielle (IA) utilisés par les services répressifs pour la police prédictive soient testés pour détecter les biais susceptibles d’entraîner une discrimination. Cette demande s’inscrit notamment dans le cadre du règlement sur l’IA (AI Act), sur lequel les législateurs travaillent actuellement.

Le Conseil des ministres de l’UE a fait pression pour donner une plus grande marge de manœuvre aux forces de police, tandis que les députés européens progressistes plaident pour une approche plus restrictive en la matière.

[Édité par Anne-Sophie Gayet]