Les gouvernements continuent de laisser l'IA prendre des décisions et cela tourne déjà mal.

 https://fr.expose-news.com/2025/10/26/governments-letting-ai-make-decisions-going-wrong/

g.calder le 26 octobre 2025

Partout dans le monde, les gouvernements s'empressent de déployer des systèmes d'IA pour gagner du temps et de l'argent. Leurs arguments sont invariablement axés sur des gains d'efficacité, comme une police plus intelligente, des files d'attente plus rapides et une détection plus efficace des fraudes. Mais la réalité est bien plus complexe. Les systèmes automatisés ont injustement réduit les prestations sociales, la reconnaissance faciale progresse plus vite que ses mécanismes de protection, et les outils de prédiction perpétuent les biais du passé. Cet aperçu mondial met en lumière les défaillances les plus graves de ces dernières années et les perspectives d'avenir. 

Là où ça a déjà mal tourné 

Scandale des allocations familiales aux Pays-Bas – 2021 

Le profilage automatisé des risques et une répression agressive ont conduit des milliers de familles à être accusées de fraude. Des dettes ont été indûment réclamées à des cas avérés, le système a été ébranlé et les répercussions politiques ont entraîné la démission du gouvernement. 

L'échec de l'algorithme de protection sociale au Danemark – 2024 à 2025 

Des dizaines de modèles de détection des fraudes ont surveillé les demandeurs d'allocations. L'organisation de défense des droits humains Amnesty International a signalé que ces algorithmes risquaient de favoriser une surveillance massive et une discrimination à l'encontre des groupes marginalisés. Ces systèmes sont restés en service jusqu'en 2025, malgré la poursuite de la surveillance. 

La réaction de la police prédictive en France – 2025  

La société civile a documenté des déploiements de police prédictive et a appelé en mai 2025 à leur interdiction pure et simple. Les faits montrent que les outils de prévision des points chauds et des risques sont opaques et susceptibles de reproduire des biais. Ces systèmes sont entraînés à partir de données historiques, ce qui renvoie les agents dans les mêmes quartiers potentiellement déjà sur-policés, alors que très peu d'efforts sont faits pour informer le public sur son fonctionnement et qu'il n'existe aucune voie de recours crédible. 

Les États-Unis étendent les contrôles biométriques aux frontières – 2025  

Les comparaisons faciales sont effectuées dans des centaines d'aéroports, de ports maritimes et de frontières terrestres. Des options de refus existent apparemment, mais elles sont déroutantes pour la plupart, et leur précision varie selon les groupes démographiques, sans que des chiffres clairs soient encore disponibles. Les files d'attente humaines seraient plus lentes que les files automatisées, transformant cette commodité en une pression indirecte pour adhérer à la nouvelle technologie. 

Les conséquences de la Robodebt en Australie et les nouveaux défauts de l'automatisation – 2023 à 2025 

Une commission royale a jugé le système d'endettement automatisé illégal et préjudiciable. En 2025, les organismes de surveillance ont signalé des milliers d'annulations injustifiées de JobSeeker liées à des problèmes informatiques dans le Target Compliance Framework. Des stratégies ont été publiées et des excuses ont été présentées, mais les mesures incitatives ont continué de privilégier la rapidité plutôt que la diligence.  

Les échecs biométriques persistants en Inde – 2025  

Les défaillances et les pannes biométriques ont bloqué les ressources et les avantages pour de nombreuses personnes. Les autorités testent la reconnaissance faciale pour pallier les défaillances liées aux empreintes digitales et inversement. Cependant, si une biométrie échoue et qu'une autre est superposée, l'erreur peut se propager aux services qui dépendent du même identifiant. 

Les thèmes communs derrière les échecs

D'un pays à l'autre et d'un cas d'utilisation à l'autre, les mêmes caractéristiques réapparaissent. Premièrement, l'opacité : les fournisseurs et les agences revendiquent le secret, mais les utilisateurs doivent deviner pourquoi un modèle les a signalés, sans grand intérêt. Deuxièmement, l'ampleur des mises en œuvre favorise les erreurs majeures. Une erreur de code déployée à l'échelle nationale peut nuire à des milliers de personnes à une vitesse record, mais aurait été détectée avec des systèmes plus lents et gérés par des humains. « Préjugés en entrée, préjugés en sortie » est un troisième thème récurrent dans les modèles, ce qui signifie que la formation est basée sur les préjugés d'hier en matière de services de police ou d'aide sociale et qu'elle est censée prendre les décisions de demain. Quatrièmement, la difficulté politique de « défaire » les systèmes, quelles que soient les erreurs qu'ils génèrent. Lorsqu'un outil est opérationnel et intégré à des objectifs de performance ou à des systèmes gouvernementaux clés, il devient quasiment impossible de revenir en arrière. 

Que construisons-nous tous en ce moment ?

France 

Les agences déploient des inventaires automatisés et des contrôles des risques « à fort impact », tout en développant la reconnaissance faciale dans les aéroports, les frontières terrestres et les ports maritimes. Il faut se méfier des projets pilotes nationaux qui deviennent permanents, du partage accru des données entre agences et des contrats de plateformes importants. Les risques incluent les biais démographiques dans les logiciels de reconnaissance faciale et une logique de fournisseur délibérément opaque, enfermée dans des accords privés de plusieurs milliards de dollars. 

La Chine 

Des analyses plus poussées sont ajoutées aux réseaux de caméras existants et aux bases de données en temps réel, avec des liens plus étroits avec les contrôles de déplacement et de résidence. Attendez-vous à une surveillance de la marche et de la voix, parallèlement à l'identification faciale actuelle, pour un suivi permanent et extrêmement précis de la population. 

Union européenne 

La récente loi sur l'IA incite les gouvernements à répertorier leurs outils d'IA dans des registres publics, à publier une note en langage clair pour chacun d'eux et à établir des contrats vérifiables. Attendez-vous à des sites web nationaux répertoriant les outils utilisés dans les systèmes de protection sociale, de santé et de police. De nouveaux documents seront publiés, mais cela améliorera-t-il les résultats ? Il est possible que les agences publient le nécessaire, mais continuent d'exploiter des systèmes avec les mêmes biais et des voies de recours peu efficaces. 

Japon 

Les vérifications d'identité My Number sont désormais alignées sur la lecture de puces et la vérification faciale, automatisant ainsi de plus en plus de services d'accueil dans les secteurs de la santé et de la finance. Restez attentifs aux déploiements régionaux reliant les dossiers entre les agences et aux éventuelles incohérences de données qui ont sévi dans le pays et qui continuent d'exclure des personnes des services publics. 

Australie 

Les systèmes post-Robodebt intègrent un contrôle humain pour les décisions en matière de dettes et de prestations, des justifications plus claires dans les communications et permettent des audits externes. Recherchez des analyses de fraude avec validation humaine et des rapports indépendants sur les taux d'erreur, et vérifiez si des problèmes informatiques continuent d'annuler les paiements ou de ralentir les indemnisations. 

Inde 

Les États testent des logiciels de reconnaissance faciale là où les empreintes digitales échouent et explorent le tri automatisé des prestations sociales et des services de police. Il faut s'attendre à des liens plus étroits entre les bases de données des services sociaux, bancaires et de voyage, à une surveillance accrue des cas d'exclusion en cas d'échec de la biométrie et à des voies de recours insuffisantes pour les citoyens signalés. 

Les systèmes d'IA deviennent globaux

Frontières et voyages Alors que la numérisation faciale se développe de manière exponentielle dans les aéroports, les listes de surveillance s'enrichissent et les fausses correspondances laissent des personnes réelles sans surveillance. Ralentir délibérément les files d'attente pour se désinscrire incitera discrètement davantage de personnes à accepter la capture automatique. 

Maintien de l'ordre:L’utilisation d’anciennes données pour former des modèles de police crée simplement une boucle de rétroaction qui les renvoie vers des zones précédemment trop visitées, tandis que les nouvelles zones à problèmes prendront plus de temps à identifier et à alimenter l’algorithme. 

ID numériqueLes programmes nationaux d'identification, déployés à l'échelle mondiale, seront bientôt compatibles avec les comptes bancaires, les déclarations de revenus, les systèmes de santé et les prestations sociales. Une seule erreur peut entraîner un blocage généralisé, les couches biométriques supplémentaires aggravant le problème. 

Comment cela devrait-il fonctionner ?

Pour qu'une mise en œuvre aussi généralisée de systèmes gouvernementaux automatisés soit réussie et transparente, nous devons appliquer les principes suivants. Chaque outil gouvernemental d'IA doit être clairement expliqué à ses utilisateurs, notamment les données utilisées, ses limites connues, son niveau de précision et la responsabilité en cas de défaillance. Nous devons disposer de véritables moyens de contester les décisions automatisées, car cela aura des conséquences financières, sur la liberté et le statut juridique. Les personnes signalées doivent recevoir les motifs par écrit et bénéficier d'une évaluation par une personne réelle sous quelques jours. 

Les zones sensibles doivent être déployées progressivement. Pour les services sociaux, la police et les frontières, des projets pilotes devraient être menés pour tester un petit groupe, mesurer les préjudices et ne se déployer que lorsqu'un examen indépendant confirmera que le système peut être déployé à grande échelle en toute sécurité. Les fausses alertes doivent être mesurées et les données sur la rapidité avec laquelle les erreurs sont corrigées doivent être rendues publiques. 

Chaque déploiement doit être attribué à un humain responsable de son service, avec des coordonnées et un processus simple décrit pour ceux qui soulèvent des préoccupations et recherchent une véritable réponse. 

Enfin, chaque déploiement doit être réévalué à une date convenue à l'avance. Si les avantages sont incertains ou si les risques augmentent, le système doit être examiné et mis à jour avant sa remise en service. 

Pensée finale

L'IA ne se contente pas d'assister l'État, elle transforme la façon dont le système pense dans son ensemble. Les systèmes performants améliorent la rapidité et l'efficacité tout en atténuant les risques. Cependant, comme nous l'avons déjà constaté ces dernières années, la prise de décision automatisée n'est pas toujours la solution. Le jugement humain doit être restauré, les systèmes doivent être compréhensibles et les citoyens ont besoin d'un moyen rapide et équitable d'obtenir des réponses.