Les algorithmes prédictifs et leur capacité à détecter les problèmes avant qu'ils ne surviennent ont de multiples applications dans le domaine de la gestion publique, du trafic à l'aide sociale. D'autant plus s'il s'agit d'institutions municipales.
Et dans certains pays, ils semblent l'avoir déjà compris : une étude récente, menée conjointement par l'Université de Cardiff et Sky News, montre que jusqu'à 53 mairies et 14 des 45 services de police du pays utilisent déjà cette technologie controversée.
Cela a suscité un certain débat dans le pays. D'une part, les partisans de l'utilisation d'algorithmes affirment qu'un problème prévisible peut être évité plus facilement, tandis que les opposants soulignent que l'on ne sait pas exactement comment l'énorme quantité de données personnelles dont les algorithmes ont besoin pour faire leurs prévisions est utilisée.
Ce n'est pas un rapport minoritaire.
Les chercheurs soulignent que le conseil municipal de Bristol est une institution municipale pionnière dans ce domaine, qui dispose d'un organisme spécifiquement dédié, le Bristol Integrated Analytics Hub.
Sa mission est de recueillir des informations sur le revenu, la fréquentation scolaire, les cas de grossesse ou de maladie mentale chez les adolescentes, etc., à partir des données de 54 000 familles locales.
L'objectif est de prédire à partir de ces données quels enfants sont les plus exposés à la violence domestique, aux abus sexuels ou à des situations similaires.
Le système fonctionne en attribuant un score de 0 à 100 à chaque mineur, un chiffre qui indique son évaluation des risques, et à partir de là, fournit des suggestions aux travailleurs sociaux de la municipalité, de la même manière qu'un moteur de recommandation de sites Web comme Amazon ou Facebook le ferait.
"Nos recherches révèlent une révolution cachée dans les services publics britanniques. Il y a très peu de surveillance dans ce nouveau domaine, car ni le gouvernement central ni les administrations locales ne fournissent d'informations sur la manière dont les données des citoyens sont utilisées et partagées."
Selon le journaliste Rowland Manthorpe, ils affirment que, tout au long du reportage, ils ont constaté que le public continue de voir les algorithmes prédictifs à travers le prisme d'un seul ouvrage de fiction : Minority Report. "Je ne veux pas dire que tous ceux que nous avons rencontrés en ont parlé... mais presque.ttps://i.pinimg.com/564x/39/d3/27/39d327c53a971155524ed07e0cfaddc4.jpg
Que se passe-t-il si les fonctionnaires croient trop à ce que dit l'algorithme ?
"Heureusement (ou malheureusement, cela dépend du point de vue), la réalité est très éloignée du pré-crime ", explique-t-il."
Les algorithmes utilisés par les municipalités et les services de police ne font même pas, pour la plupart, de l'intelligence artificielle en soi, ni de la surveillance automatique : ils se limitent à faire des suggestions aux employés municipaux.
Selon Joanna Redden, codirectrice du Justice Data Lab à l'Université de Cardiff, " les gens ont tendance à faire confiance à l'ordinateur ; même s'ils disent qu'il peut vous aider à prendre une décision, il remplace en fait la décision humaine, car vous êtes sûre que vous aurez toujours raison.
Pendant ce temps, les personnes affectées ne savent même pas que leur vie est affectée par le résultat d'un algorithme.
Les fonctionnaires et les policiers avec lesquels les auteurs de l'enquête se sont entretenus étaient "pleinement conscients du danger" de prendre des décisions sur la base d'un simple dossier incomplet du passé des gens. Selon les mots de Manthorpe :
"J'ai eu l'impression, d'une façon que je ne fais presque jamais lorsque je parle à de grands techniciens, qu'ils étaient conscients des risques de leur propre technologie.
L'austérité 2.0 ?
Cependant, contrairement aux grandes entreprises, les services publics n'ont pas d'argent et peu de marge de manœuvre. (...) Ils mettent en place ce genre de programmes en promettant de réduire les coûts, alors qu'en fait, ils devraient investir davantage pour faciliter la transition.
La conclusion de Manthorpe est que ce pari sur les algorithmes n'a pas grand-chose à voir avec le fait de croire au potentiel de la technologie pour construire un État providence 2.0, et beaucoup à voir avec "l'automatisation de l'austérité":
"Avec des réductions de plus de 40% depuis 2010, (...) le potentiel des algorithmes pour réduire les coûts est trop attractif pour résister.
"Mais, sans garanties adéquates, ces systèmes peuvent exacerber les difficultés existantes en soumettant les plus pauvres et les plus vulnérables à un système de discipline sans transparence, sans responsabilité et, surtout, sans humanité.