Pourquoi est-ce que personne ne parle du chat control ?

9 octobre 2024 ⋅ Retour à l'accueil du blog

(Billet modifié à 21h35 : plusieurs passages reformulés, quelques informations ajoutées)

L'Union Européenne s'apprête aujourd'hui à examiner une $n$-ième variante d'un projet de règlement controversé appelé chat control, ou officiellement CSAR pour Child Sexual Abuse Regulation, qui vise à instaurer une surveillance des communications privées sur les applications de messagerie sous l'objectif affiché de lutter contre la pédocriminalité. Quelques informations ici et ici sur le site de l'association EDRi, ici chez la Quadrature du Net, ici chez Patrick Breyer, eurodéputé du Parti Pirate, et le site stopscanningme.eu créé par l'EDRi.

Honnêtement, je ne comprends pas clairement où en est maintenant ce projet qui ne cesse d'être transformé par des négociations en circulant dans le dédale des institutions européennes et de revenir sous des formes différentes (voyez la chronologie des événements qui est fournie), mais l'essentiel est qu'une version précédente a été rejetée (ou plutôt, n'a pas été soumise au vote parce qu'elle allait être rejetée de peu), et maintenant une nouvelle version un peu moins dystopique est sur le feu.

Pour préciser de quoi il s'agit, je dois commencer par expliquer un terme technique que le grand public ne connaît pas forcément. Quand vous vous connectez à un site Web, disons https://facebook.com, le https:// signifie que cette connexion est encryptée⁰, c'est-à-dire qu'un observateur sur le réseau (par exemple votre fournisseur d'accès à Internet, ou le café dont vous avez pris le réseau Wifi) voit juste que vous échangez avec le site facebook.com, mais ne peut pas lire ce que Facebook envoie à votre navigateur Web et ce que vous écrivez dedans. De plus, même s'il a la possibilité d'intervenir sur la connexion et pas seulement de la lire, l'intercepteur ne peut pas non plus se faire passer pour Facebook, parce que votre navigateur va le détecter s'il essaye de vous envoyer une fausse version du site. Le https:// s'oppose au http:// qui n'offre pas ces protections, mais l'écrasante majorité des sites aujourd'hui sont passés au HTTPS.

Pour un service de messagerie, c'est la moindre des choses que la connexion soit en HTTPS, pour qu'on ne puisse pas facilement lire vos messages privés. Mais notez que si vous envoyez un message privé à une amie sur Facebook, le message est envoyé à travers une connexion encryptée à Facebook qui le décrypte, puis Facebook le ré-encrypte pour l'envoyer à votre amie. Autrement dit, un quidam qui écoute sur le réseau ne peut pas lire vos messages, mais Facebook le peut. C'est là qu'intervient le concept d'encryption de bout en bout, où la connexion est encryptée de manière à ce que même l'intermédiaire ne puisse pas lire les messages. La messagerie de Facebook n'encrypte pas les messages de bout en bout. Les principales messageries à le faire sont Signal et WhatsApp ; il y a aussi Telegram où ce n'est pas activé par défaut, mais on peut l'activer quelque part dans les préférences.

En bref, « encryption de bout en bout » est à peu près synonyme de « confidentialité totale ». Et au motif de lutter contre la pédocriminalité, les partisans de ce projet de chat control veulent, essentiellement, casser cette confidentialité.

Plus précisément, la version initiale proposait qu'avant d'envoyer un message, les messageries soient obligées d'appliquer un outil à base d'intelligence artificielle qui détecte les contenus pédopornographiques ainsi que les tentatives d'un adulte d'exercer une prédation sexuelle sur un enfant (grooming ou pédopiégeage). Les signalements seraient automatiquement transmis à la police.

Dans la nouvelle version, il s'agit de scanner seulement les images, les vidéos et les liens, et de faire un signalement si leur signature numérique (en termes technique, un hash) est trouvée dans une base de données des signatures de contenus pédopornographiques déjà identifiés. Il ne s'agit plus d'appliquer de l'intelligence artificielle pour détecter les nouveaux contenus qui se mettent à circuler, mais seulement de détecter la circulation des contenus existants — et la loi préconise aussi que l'usage de l'IA soit réévalué dans cinq ans. Je passe vite sur l'IA : maintenant que tout le monde a vu les hallucinations de ChatGPT, j'espère qu'il n'est plus à prouver que les risques de faux positifs ne sont pas anecdotiques. Le nouveau projet est moins inquiétant, mais j'ai toujours beaucoup de choses à dire dessus.

Précisons aussi que certaines messageries appliquent déjà des détecteurs, notamment Facebook. Ce n'est pas une bonne raison pour tuer ce qui existe de vie privée dans les messageries qui prennent cet aspect à cœur.

Il doit être clair à ce stade que je suis contre ces projets, mais examinons d'abord les arguments mis en avant.

J'espère qu'il n'y a aucune ambiguïté sur le fait que je considère les abus sexuels sur enfants comme un problème de société grave, d'ailleurs largement sous-estimé dans l'opinion — d'après l'INSEE, il y aurait autour de 200 000 victimes de violences sexuelles par an, dont environ 4% sur les 0-4 ans, 10% sur les 5-9 ans et 20% sur les 10-14 ans, ce qui fait autour de 35% avant 14 ans, soit environ 70 000 victimes, sans compter 26% sur les 15-19 ans. Par comparaison, une classe d'âge dans la jeunesse française compte environ 800 000 personnes. On ne peut qu'être choqué par ces chiffres, et même s'ils varient beaucoup selon les sources que j'ai trouvées (sans doute en partie à cause de la difficulté à tracer la limite exacte de ce qui constitue une violence sexuelle), ils sont certainement très élevés. Bien sûr, toutes ces violences ne sont pas des viols, bien heureusement, et tous les viols ne sont pas commis pour produire de la pédopornographie. Je n'ai malheureusement pas trouvé de source fiable sur le nombre d'enfants soumis à un viol filmé pour produire des vidéos pédopornographiques (j'ai cherché une bonne demi-heure), mais le problème est certainement sérieux.

Le projet vise les messageries privées, parce que s'agissant des sites publics, il n'y a pas besoin d'une loi pour que les services de police puissent y accéder. Je suis tout à fait pour les filtres de modération sur les sites qui hébergent des contenus publiquement visibles, que ces filtres soient contre la pédocriminalité ou contre le racisme ou l'homophobie violents, etc., et ces filtres existent largement (ils sont évidemment perfectibles). Surveiller les communications privées de personne à personne est fondamentalement différent, parce qu'elles ne répandent pas du tout ces contenus à la même vitesse, parce qu'elles ne créent pas des résultats de recherche sur lesquels un quidam innocent peut tomber, et parce que c'est là par définition qu'il y a besoin de vie privée.

La première question est de savoir si, comme l'affirment ses défenseurs, ce projet va réellement aider à protéger les enfants. Je rappelle que le projet, dans sa nouvelle version, va créer des détecteurs de vidéos déjà signalées, mais pas de nouvelles vidéos d'abus. De plus, comme l'idée est de ne regarder que les images et les URLs, il va inévitablement y avoir des faux positifs avec les messages légitimes comme « J'ai vu cette vidéo https://... sur Internet et je trouve ça dérangeant, tu penses qu'il faut faire quoi ? », et comme il n'y aura que l'URL et pas le texte du message, il sera dificile de distinguer ces faux positifs. On peut donc s'interroger sur l'opportunité de créer un grand nombre de signalements, dont beaucoup seront des faux positifs, qui seront difficiles à trancher (une vidéo tournée il y a 10 minutes est très suspecte, une vidéo qui circule depuis 10 ans a beaucoup plus de chances d'être un faux positif), alors que les services concernés sont déjà débordés. Est-ce que cela ne risque pas d'être contre-productif ?

Ce sont des a prioris, me direz-vous, il faut se renseigner en regardant les chiffres et les opinions des experts. J'ai essayé.

Je suis d'abord allé lire cette étude réalisée par le réseau ECPAT, qui est un groupement de centaines d'association de lutte contre l'exploitation sexuelle des enfants. J'ai trouvé le lien dans cette lettre ouverte à l'UE, sur le site de l'Internet Watch Foundation, lettre ouverte signée par des dizaines d'asssociations.

Cette Internet Watch Foundation propose un formulaire sur son site pour signaler une page Web, et si j'ai bien compris, ils travaillent derrière avec les gros hébergeurs et les services de police pour obtenir si possible la suppression des contenus. J'ai un fort a priori positif pour les associations de protection de l'enfance, et d'ailleurs, en tombant sur le site de l'IWF, je me suis empressé de signaler une vidéo sur laquelle je suis tombé sur Reddit il y a quelques mois, qui était clairement un viol d'enfant, et qui m'avait laissé vraiment choqué. (Je l'avais déjà signalée à Reddit, mais il ne l'ont pas supprimée.)

J'ai donc été extrêmement déçu de lire l'analyse de la deuxième question de l'étude, « How much privacy online, if any, do you think there currently is? », question à laquelle 44% des participants ont répondu « There isn't much privacy online » et 24% « There isn't any privacy online at all ». Leur conclusion :

These findings show that in 8 major EU countries, online privacy is seen by a majority of people to have disappeared. Protecting privacy is often used as a counter argument against specific actions to tackle the problem of online child sexual abuse. However, this data suggests that this concern, while valid, may not be shared by the public.

J'ai vraiment du mal à croire que cette affirmation est sérieuse. L'argument est, littéralement, « les gens trouvent que leur vie privée n'est pas protégée sur Internet, c'est donc qu'ils s'en fichent ». Transposé dans un autre contexte, ça pourrait donner : « les Ouïghours trouvent que leur sécurité n'est pas respectée, donc elle leur importe peu ». C'est de la patalogique. Quel penser alors de la question 4 :

There are automated technology tools, currently used on a voluntary basis by a number of online service providers (e.g. social media platforms) that search the personal activity of their users (e.g. direct messages), in an attempt to detect and flag signs of online sexual exploitation and abuse (e.g. illegal photos or contact with children). However, the usage of such automated technology tools means users give away some of their personal privacy when accepting to join the latest terms and conditions of those online service providers, because the tools scan images and messages in order to protect children. How much more or less important is allowing online service providers to be able to detect and flag signs of child online sexual exploitation or abuse compared to your own privacy online, or is it as important?

Overall responses (all 8 markets)

• Detection more important – 36%
• Detection and privacy equally important – 40%
• Detection less important – 7%
• Don't know – 13%
• Prefer not to say – 4%

Avec la formulation de cette question, est-il vraiment surprenant qu'une majorité des participants se positionne pour le chat control ? Ce que je trouve surtout frappant, c'est la formulation du point « Detection less important » — et pas « Privacy more important » — qui est évidemment culpabilisante si on coche cette case. La vie privée est présentée comme un désir égoïste (« your own privacy online »).

C'est oublier que protéger la vie privée, ce n'est pas seulement protéger la sienne, mais aussi protéger le lanceur d'alerte qui communique des documents à des journalistes, la personne qui envoie ses analyses médicales à son médecin, l'homosexuel au placard qui recherche un espace de discussion sûr, ou d'ailleurs… une victime de violences sexuelles qui souhaite se confier. La protection des enfants est altruiste, mais la protection de la vie privée l'est aussi, et ne mérite pas d'être balayée d'un revers de la main.

Au passage, mon positionnement critique contre le chat control ne m'empêche pas de voir que le sondage commandé par le Parlement Européen (sous l'impulsion du Parti Pirate ?) est fortement biaisé dans l'autre sens (« I am in favour of personal electronic mail and messages being searched without suspicion »), et ce n'est pas une surprise que dans ce sondage, 70% des répondants soient contre. Pour moi, cela n'a aucun sens de faire des sondages sur une question sur laquelle il faut beaucoup plus que trois phrases d'explication pour se faire une opinion éclairée.

À part cette enquête d'opinion, je n'ai malheureusement presque pas trouvé d'analyses de ce projet en cherchant dans les sites de quelques associations comme celle-ci (si vous en voyez, vous pouvez les signaler en commentaire, mais après tout ce n'est pas forcément leur rôle). Où d'autre se renseigner ? Il est logique de se tourner vers les rapports produits par l'Union Européenne.

J'ai donc examiné le Impact Assessment Report du projet CSAR, et je suis bien obligé de reconnaître qu'en tant que pro-européen convaincu, je suis blessé de voir l'Union Européenne produire un document aussi piètre. (Mais si vous êtes souverainiste, avant d'accuser l'UE, rappelez-vous que le gouvernement français est parmi ceux qui soutiennent ce projet.)

Derrière l'impression de sérieux donnée par la longueur de 383 pages, on trouve en majorité des redondances. Le texte me donne l'impression d'être écrit à moitié par ChatGPT, avec ses tournures comme « The consultation was structured as follows: 1. Who, 2. How, 3. What ». Page 288, on lit « This paper defines the problem of the detection of CSA content in end-to-end encrypted (E2EE) communications », alors que le chapitre 2 entier s'appelle « Problem definition », ce qui donne l'impression d'une note fournie par un collaborateur copiée-collée directement dans le rapport. L'ensemble est en majorité de cet acabit. Petit florilège des affirmations qu'on y trouve au-delà du brassage de vide :

• Des estimations sorties d'un chapeau sans explication, comme « Development and integration of APIs to allow for remote checking against hash databases: 100 000 EUR development cost for API; and 5 working days × 5 Member States » page 213, chiffres qui s'additionnent dans un total de 433 990€ donné à une précision de 10€.

• Des pourcentages donnés en comptant de la même manière une personne et une ONG, page 131 et suivantes.

• Page 281, « PhotoDNA has a high level of accuracy⁵¹¹ » où la note 511 est :

  The rate of false positives is estimated at no more than 1 in 50 billion, based on testing (Testimony of Hany Farid, PhotoDNA developer, to House Committee on Energy and Commerce Fostering a Healthier Internet to Protect Consumers, 16 October 2019).

  Je me demande bien d'où sort ce chiffre de 1 sur 50 milliards étant donné qu'il n'est pas humainement possible de faire vérifier les résultats par un humain sur 50 milliards d'images. Le fait que le chiffre provienne des développeurs de PhotoDNA n'ajoute pas à sa crédibilité.

• Le passage, page 103 :

  It is not possible to determine exactly what would be the benefits caused by each of these two sources or each policy measure, such as the obligations on service providers or the Centre. In addition, it is not possible to forecast with certitude what would be the exact benefits of each policy measure. For example, the reduction of CSA due to prevention would depend to large extent on the investments and efforts from Member States and the EU, which the policy options considered in this initiative could only help facilitate. Considering the qualitative considerations above, it would be safe to estimate that the quantitative benefits could be up to 50% of the annual costs of CSA in the EU (remembering that the amount of EUR 13.8 billion was a conservative estimate).

  qui me paraît relever du « je n'ai aucun moyen de faire une estimation, donc je vais inventer l'estimation ».

Si on me montrait par des arguments raisonnés, appuyés par des chiffres sérieux, que contrairement à ce que je crois actuellement, le CSAR aurait un impact positif sur la protection des enfants, je serais tout à fait prêt à changer mon opinion sur la question. En l'état, il n'y a qu'une farandole de chiffres qui ne veulent rien dire ou fournis par des sources qui ont intérêt à les biaiser (PhotoDNA), servis avec une bonne sauce de « croyez-moi ».

En face de cela, quels sont les risques ? Il n'y a pas besoin de beaucoup de connaissances en cybersécurité pour les comprendre.

Même dans la version édulcorée du projet, et malgré les passages comme « nothing in this Regulation should be interpreted as prohibiting, requiring to disable, or making end-to-end encryption impossible » dans le texte, il revient dans les faits à casser au moins partiellement l'encryption de bout-en-bout, même si cela se manifeste différemment au plan technique.

Obtenir l'ajout d'une URL ou d'une image dans la base de données pourrait permettre de suivre son parcours dans le réseau de messages privés. Cette base de données va donc devenir extrêmement sensible et être un point d'attaque évident pour les services de renseignements étrangers. Vous trouvez le risque théorique ? Ironie du sort, au moment même où cette nouvelle version est proposée, on apprend que la Chine a mené une cyberattaque aux États-Unis en infiltrant les systèmes de surveillance similaires au chat control et espionné des communications pendant des mois.

Par ailleurs, les directeurs de police des pays de l'UE ont récemment publié une déclaration commune dans laquelle ils expriment leur « inquiétude profonde face au déploiement de l'encryption de bout-en-bout ». Il n'est pas inutile de savoir que le projet est en ce moment porté par la présidence hongroise de l'UE, sachant que la Hongrie a mené ces dernières années une politique illibérale de mise au pas de la justice et de la presse, de même que la Pologne, ce qui m'inquiète sur ce que permettrait cet outil entre de mauvaises mains.

Il faut aussi dire un mot sur les faux positifs. Comme écrit plus haut, le chiffre avancé de 1 sur 50 milliards pour PhotoDNA n'est pas crédible (on ne voit même pas quelle procédure de test pourrait assurer un tel degré de fiabilité). En revanche, dans cette analyse de l'EDRi, qui est lisible et sérieuse, il est expliqué page 53 que la police irlandaise reçoit 80% de faux positifs, et qu'une grosse partie de ces signalements proviennent d'entreprises qui utilisent des outils comme PhotoDNA, donc mathématiquement, le taux de faux positifs doit être important. Ce sont donc des images anodines et légales qui risquent d'être transmises à la police, et potentiellement conservées dans des bases de données, comme montré page 63 du même document.

Qu'on soit d'accord ou pas avec mes opinions, je pense avoir au moins montré que la question est suffisamment complexe et importante pour mériter débat, ce qui m'amène enfin à la question qui est le titre de ce billet : Pourquoi est-ce que personne ne parle du chat control ? Je me le demande vraiment.

Après tout, la présidente de Signal, Meredith Whittaker, a clairement fait savoir que Signal se retirerait du marché européen plutôt que d'implémenter ce règlement. D'après un rapide croisement de sources (comme Wikipédia ici), le nombre d'utilisateurs de Signal dans le monde serait autour de la cinquantaine de millions, dont probablement une partie non-négligeable sont en Europe. En somme, l'UE s'apprête à examiner un règlement qui aurait pour effet de retirer du marché une application utilisée par au moins une dizaine de millions d'Européens.

On n'arrête pas d'entendre partout que les gens sont fatigués des grands discours politiques, qu'ils veulent du concret. Si ne plus pouvoir utiliser une messagerie privée pour 10 millions de personnes n'est pas un changement concret dans la vie des gens, qu'est-ce qui l'est ? Et est-ce que l'introduction d'un système de surveillance à grande échelle n'est pas digne d'un débat public ?

Je n'ai entendu persque personne parler du chat control autour de moi. Dans les médias, j'ai vu passer cet article dans Le Monde Pixels en juin, et c'est tout. Aux élections européennes, seul le Parti Pirate s'est saisi du sujet. Aux législatives, j'ai cherché dans tous les programmes des principaux partis et je n'ai pas trouvé une ligne là-dessus. Même sur le site de geeks qu'est LinuxFR, c'est moi qui ai abordé le sujet en premier (correction, 11 octobre 2024 : il y avait déjà une dépêche de 2021 et d'autres liens, voir ce commentaire) et il n'a pas tant attiré l'attention que ça (je devrais peut-être prendre le temps de faire un résumé plutôt que de poster un simple lien).

Par comparaison, lorsque le PDG de Telegram (Pavel Durov) a été arrêté, l'événement a fait la une de tous les journaux. Peut-être parce qu'une arrestation est plus sensationnelle qu'un projet de règlement ?

Je ne comprends absolument pas que ce projet avance dans l'indifférence médiatique la plus totale, et vu le décalage entre les événements vraiment importants et ceux qui sont médiatisés dans un domaine que je comprends relativement bien (le numérique), je me demande bien ce qu'il en est dans d'autres domaines. Est-ce que, si j'étais bien renseigné sur le sujet du logement par exemple, je découvrirais aussi que l'importance d'un débat que je lis dans les médias reflète aussi peu son importance dans la réalité ?

Commentaires