Au matin du Samedi 16 octobre, à 9h39, le serveur de L'Air du Bois a été automatiquement coupé par notre hébergeur. La raison invoquée était une suspicion de piratage.
L'Equipe Technique sur le pied de guerre a été très vite sur le pont pour comprendre ce qui s'était passé. Merci les gars pour votre réactivité !
Trois quart d'heure plus tard, après des investigations avancées et une lute avec une interface d'administration pas très intuitive sur le sujet, le serveur pu être relancé, sans constaté de choses anormales.
Ce matin, nous avons la raison complète : Une image publiée dans une création en mai 2020 représentant un simple Vase tourné en Thuya, a été détectée par Cybertip.ca (la centrale canadienne de signalement des cas d’exploitation sexuelle d’enfants sur Internet) comme étant un contenu pédopornographique.
Suite à ce signalement, l'hébergeur n'a eu d'autre choix que de couper immédiatement le serveur pour ce qui était alors considéré comme une violation légale.
Un coup de malchance. Il y a fort à parier que le signalement s'est fait par un algorithme qui a détecté dans cette image de la peau humaine où il n'y en avait pas.
Ceci interroge sur la chaine d'action qui ne semble donc pas comprendre d'intervention humaine (supposition). Même si je comprends parfaitement l'obligation de déployer des services automatisés pour ce type de traque sans fin et nécessaire.
Voila, vous savez tout et bons copeaux à tous !
La suite est là :
Discussions
Ha ouais, ils vont loin pour un vase !
Merci pour l'info ! Et bravo à l'équipe
La reconnaissance automatique à grande échelle ça ne pardonne pas, statistiquement ça doit finir matcher avec le volume et la diversité de formes, de textures etc.
Si on compte les maillets zizi ou questions de finition sur gode tourné, on a moyen d’affoler les radars
Merci pour le retour et pour la réactivité de toute l'équipe
Le retour au grand galop du puritanisme débile... "de la peau humaine"... et pis quoi encore ? c'est indécent, la "peau humaine" ? Mais quelle époque...
Kentaro, le fait qu'une machine ait détecter du bois comme de la peau humaine est juste mon interprétation pour comprendre pourquoi ce vase a été perçu comme un enfant.
je pense que c’est un ensemble malheureux de paramètres. Le vase en question a une forme qui peut faire penser à une silouhette humaine, du moins un algo peut l’interpréter comme ça. La couleur est assez proche de celle de la peau humaine et la proportion de bois (donc de peau pour l’algorithme) est importante dans l’image donc probablement la conjonction de ces trois paramètres égal (pédo)pornographie pour l’algo…
Comme quoi l'abus de poutine à des effets néfastes
Ce qui est scandaleux c'est le fait que l'image date de mai 2020 et que, 5 mois après, ils décident de couper brutalement un serveur, sans communication avec les administrateurs de ce serveur. 5 mois de diffusion de l'image… et une coupure brutale, c'est aberrent !
Autre changement de paradigme : l'absence totale de la justice dans ce genre de situations. Sur une décision administrative interne (et non judiciaire), l'hébergeur s'arroge le droit de censure.
Et enfin, l'hébergeur, au lieu de faire vérifier l'image par un humain, préfère faire confiance à un algorithme. Je trouve ça assez flippant !
17 mois...
Le délais peut facilement être expliqué par le fait qu'il s'agit peut-être d'un algorithme qui vient seulement d'être mis en ligne c'est choses là évoluent sans cesse.
Pour la décision il ne s'agit pas de justice mais de protection on protège d'abord ensuite on vérifie et ces procédures sont automatisées pour justement ne pas dépendre d'un service humain qui peut être en week-end, vacances, congé maladie, sous effectif... d'ailleurs la justice fonctionne également comme ça la détention préventive sert précisément à pouvoir priver une personne de liberté avant son jugement pour protéger les autres.
Pour finir l'hébergeur ne s'arroge aucun droit il a des obligations légales de réaction à ce genre d'alerte il ne s'agit pas de censure puisqu'il ne choisit pas le contenu concerné en fonction de goûts personnels.
Pour finir la gêne occasionnée n'est rien comparée à la menace à laquelle doit répondre ce genre de dispositif et si quelques faux positifs sont le prix à payer pour aider des victimes et mettre des bâtons dans les roues de ces monstres je ne trouve pas le prix cher payé (surtout que soyons honnêtes rien n'a gêné la remise en ligne).
Je suis d'accord Erebor et je ne blâme pas la réactivité du système de protection. Comme dit samedi, je comprends parfaitement que pour être efficace, le système ne peut reposer uniquement sur des contrôles humain. Il y a bien trop d'information à traiter.
Reste qu'il y a une composante oubliée dans le processus de notre hébergeur et peut-être de Cybertip : la communication pour justement aussi savoir gérer efficacement les faux positifs.
A Cybertip.ca, je reprocherais d'avoir un message qui manque d'un moyen de contact fiable. Message en image jointe. Y a rien de louche dans l'adresse email de contact ?
A OVH, une transparence et une clarté dans les raisons de la coupure au moment de la coupure.
Boris Beaulant Effectivement ce genre de chose doit évidemment s'accompagner de communication! OVH aussi à des efforts à fournir de son coté.
Quand à l'adresse elle est effectivement surprenante...
trente six seb ha mais oui !!! 2020 ! incroyable
Erebor Nous sommes donc d'accord qu'il ne s'agit pas de justice comme tu l'indiques. C'est bien cela le problème. Nous sommes face à deux entités qui décident seules du contenu "acceptable". Sur ce cas précis, on ose pas remettre en question l'ensemble de ce nouveau paradigme parce que justement cela traite de quelque chose d'inacceptable : la pédopornographie. Nous accepterons donc que des machines choisissent et censurent à notre place, sans décision judiciaire, voir même sans contre-décision humaine dans le cas précis. Comment une entité sous droit canadien a le pouvoir de demander à un hébergeur sous droit français de couper un site ? Comment justifier "l'urgence" invoquée de cette situation alors que l'image est en ligne depuis 17 mois ? En quoi couper brutalement le site va "protéger" des personnes ?
Et oui, ces humains ils sont pénibles, ils bossent pas le dimanche et peuvent être malades. Remplaçons-les vite par des machines qui n'ont pas de problématiques morales !
Perso, je reste sur l'idée que cela est totalement flippant car ça installe un mode de fonctionnement que l'on est en train d'accepter sous couvert de contenu inacceptable mais dont les dérives sont claires. C'est avec la même logique autour du terrorisme que nos états installent dans le temps un contrôle répressif des populations, de la vidéosurveillance de partout, des lois liberticides sur l'Internet, etc…
"Un peuple prêt à sacrifier un peu de liberté pour un peu de sécurité ne mérite ni l'une ni l'autre, et finit par perdre les deux." Et cette citation ne vient pas d'un anarchiste ;)
Allez, je retourne faire des copeaux !
J'avais pas parlé de "justice" non plus. Mais il est vrai que j'ai usé du terme "autorité". Parce qu'en fait, je sais pas trop dire dans quel mesure l'organisation Cybertip.ca est rattaché ou non aux organismes d'état.
Pour le reste, je te rejoins. C'est aussi pour ça que la décision a été prise de changer d'hébergeur pour déjà pas rester chez un hébergeur qui aurait cette pratique automatisée.
Sans pour autant savoir si le nouveau ne l'aurait pas avant d'être confronté au problème.
Ce qui me peine le plus, c'est qu'une semaine après, je n'ai toujours aucune nouvelle du service "Abuse" d'OVH pour traiter ma demande de lever la coupure sur le serveur.
En gros, si on avait pas basculé on aurait pu attendre une semaine pour rien ...
Boris Beaulant Faut les excuser, le patron vient de gagner 4 milliards... Ils ont fait un peu la fête...
Kentaro arf, oui, c'est ce que je me suis dit aussi ...
Suite et fin, la réponse d'OVH : Aucune discussion possible, aucune ouverture au fait que la détection pouvait être une erreur ...
Boris Beaulant , en lisant le titre de ton article, j’ai eu un coup de chaud, j’ai cru que tu t’étais coupé. La coupure de notre site favori est bien moins grave, à mon sens, et a juste reporté de quelques heures nos navigations, ce qui n’est pas dramatique.
Boris Beaulant J'ai reçu une invitation "personnelle" d'Octave Klaba pour un grand rendez-vous virtuel le 16 novembre où tout le monde pourra causer. Si tu veux, je te la passe...
Je l’ai reçu aussi :)
Ben je serais tenté de dire que ça fait peur tout simplement !
Vive les AI !!