La technologie de reconnaissance faciale d’Amazon travaille avec la police

Lorsque des employés d’une quincaillerie Ace Hardware ont signalé qu’une femme était sortie du magasin avec un réservoir d’essence à souder à 11,99 $ qu’elle n’avait pas payé dans son sac fourre-tout, une opération élaborée de haute technologie de lutte contre le crime s’est mise au travail.

Un détective du shérif du comté de Washington, travaillant avec l’Unité des enquêtes spéciales de l’agence, a visionné les vidéos de surveillance du magasin dans le cadre d’un programme interne de reconnaissance faciale mis au point par Amazon, révélant une correspondance possible.

La plaque d’immatriculation de cette femme a été signalée et, trois mois plus tard, un agent des stupéfiants dans un VUS banalisé l’a vue et a contacté par radio d’autres patrouilleurs adjoints pour l’arrêter. Un adjoint a mis une paire de menottes autour de ses poignets, selon un rapport d’arrestation. Elle a dit qu’elle avait besoin d’essence pour réparer sa voiture.

Les députés de ce coin de l’ouest de l’Oregon, à l’extérieur de la ville ultralibérale de Portland, avaient l’habitude de traquer les criminels à l’ancienne, en envoyant par télécopieur des images filmées d’un suspect dans l’espoir que quelqu’un puisse reconnaître son visage.

Puis, à la fin de 2017, le bureau du shérif du comté de Washington est devenu le premier organisme d’application de la loi du pays à utiliser l’outil d’intelligence artificielle Rekognition d’Amazon, transformant ce maquis de forêts et de banlieues en un terrain d’essai public pour une nouvelle vague de techniques de surveillance policière expérimentale.

Presque du jour au lendemain, les députés ont vu leurs pouvoirs d’enquête surchargés, ce qui leur a permis de rechercher des correspondances entre le visage d’un suspect et plus de 300 000 photos d’identité prises à la prison du comté depuis 2001. Une photo granuleuse du visage d’une personne – prise par une caméra de sécurité, un compte de médias sociaux ou le téléphone intelligent d’un député – peut rapidement devenir un lien vers son identité, y compris son nom, sa famille et son adresse. Plus de 1 000 recherches de reconnaissance faciale ont été effectuées l’année dernière, ont indiqué les députés, qui ont parfois utilisé les résultats pour trouver la page Facebook d’un suspect ou visiter son domicile.

Mais le comté de Washington est aussi devenu le point de départ d’une bataille à enjeux élevés sur la croissance non réglementée des services de police par algorithme. Les avocats de la défense, les chercheurs en intelligence artificielle et les experts en droits civils soutiennent que la technologie pourrait conduire à l’arrestation injustifiée de personnes innocentes qui ne ressemblent qu’à une image vidéo. L’exactitude de la reconnaissance est également vivement contestée, et certains experts craignent qu’un cas d’erreur d’identité de la part de députés armés n’ait des conséquences dangereuses, menaçant la vie privée et la vie des gens.

The Washington County Sheriff's Office was the first law-enforcement agency in the country to use Amazon's artificial-intelligence tool Rekognition.

>> Photos: Rekognition has faced protests in Seattle >> Photo: Washington Post Photo By Jhaan Elker. / The Washington Post

Ces dernières années, certains services de police ont effectué des recherches de reconnaissance faciale dans les bases de données de l’État ou du FBI à l’aide de systèmes conçus par des entrepreneurs tels que Cognitec, IDEMIA et NEC. Mais le déploiement d’Amazon a peut-être marqué l’étape la plus importante dans l’intégration de la technologie controversée de numérisation du visage. La reconnaissance est facile à activer, ne nécessite pas d’infrastructure technique majeure et est offerte à pratiquement n’importe qui à des prix très avantageux. Le comté de Washington a dépensé environ 700 $ pour télécharger son premier gros lot de photos, et maintenant, pour toutes ses recherches, il paie environ 7 $ par mois.

Il est toutefois impossible de dire à quel point la technologie a été précise ou efficace au cours de ses 18 premiers mois de tests en situation réelle. Les députés n’ont pas à noter dans les rapports d’arrestation les cas où une fouille de reconnaissance faciale a été utilisée, et le nombre exact de fois où elle a donné lieu à une arrestation n’est pas clair. Les responsables du shérif ont déclaré que le logiciel avait conduit à des dizaines d’arrestations pour vol, violence ou autres crimes, mais une demande de dossiers publics a fait état de neuf cas dans lesquels la reconnaissance faciale était mentionnée.

« Comme toutes nos techniques d’enquête, nous ne disons pas aux gens comment nous les attrapons « , a déclaré Robert Rookhuyzen, un détective de l’équipe des crimes majeurs de l’agence, qui a dit avoir effectué  » plusieurs dizaines  » de recherches et les avoir trouvées utiles environ 75 % du temps. « Nous voulons qu’ils continuent à deviner. »

Les fonctionnaires du shérif disent que les scanners faciaux ne marquent pas toujours la fin de l’enquête : Les sous-chefs doivent quand même établir une cause probable ou trouver des preuves avant d’accuser un suspect d’un crime. Mais le bureau du shérif fixe ses propres règles pour l’utilisation de la reconnaissance faciale et permet aux députés d’utiliser l’outil pour identifier les corps, les suspects inconscients et les personnes qui ont refusé de donner leur nom.

Les résultats imparfaits de l’outil de recherche augmentent le risque qu’une personne innocente soit signalée et arrêtée, en particulier dans les cas où les images numérisées sont floues, de mauvaise qualité ou partiellement dissimulées. Les députés ont également le droit de faire passer des croquis d’artistes à travers la recherche, une utilisation inhabituelle qui, selon les experts d’Amnesty International, pourrait le plus souvent mener à une fausse correspondance.

Les directives d’Amazon pour l’application de la loi stipulent que les fonctionnaires ne devraient utiliser les résultats de Rekognition que lorsque le système a une confiance de 99% dans une correspondance. Mais les députés ici ne sont pas montrés que la mesure de la confiance de recherche quand ils utilisent l’outil. Au lieu de cela, on leur donne cinq correspondances possibles pour chaque recherche, même si la certitude du système dans une correspondance est beaucoup plus faible.

Après avoir répondu aux questions du Washington Post, Amazon a ajouté un libellé à ces lignes directrices, déclarant que les agents devraient examiner manuellement toutes les correspondances avant de détenir un suspect et que la fouille  » ne devrait pas être utilisée comme le seul facteur déterminant pour prendre des mesures « .

La relation entre Amazon et le troisième organisme d’application de la loi en importance de l’Oregon est mutuellement bénéfique : Le bureau du shérif aide à peaufiner le système, qu’Amazon espère vendre dans tout le pays. Mais la poussée d’Amazon vers la vente par les forces de l’ordre a alarmé certains avocats qui affirment que le système pose trop de risques pour les libertés civiles. (Jeff Bezos, fondateur et PDG d’Amazon, possède The Post.)

« Le gouvernement est incroyablement puissant et il apporte beaucoup à un citoyen dans une affaire « , a déclaré Mary Bruington, directrice du Washington County Public Defender’s Office, qui représente les accusés qui n’ont pas les moyens de se payer un avocat. « Vous l’associez à Amazon ? C’est un partenariat puissant. »

Matt Wood, directeur général de l’intelligence artificielle de la division informatique dans les nuages d’Amazon Web Services, a déclaré dans un communiqué que Rekognition n’est qu’une  » nouvelle piste parmi tant d’autres pour une enquête 100 % humaine « .

Several dozen protesters hold up Jeff Bezos masks as they gather downtown to denounce Amazon for providing their facial recognition software, "Rekognition," to the Immigration and Customs Enforcement Agency

Pourtant, l’entreprise fait face à des critiques sur plusieurs fronts : D’éminents chercheurs en intelligence artificielle, des membres du Congrès et des groupes de défense des droits civiques – ainsi que certains investisseurs et employés d’Amazon – ont exhorté l’entreprise à cesser de fournir cette technologie aux forces de l’ordre, soulignant des études qui ont montré que le système est moins précis avec les visages à la peau foncée. Amazon a contesté cette recherche.

Certains rivaux d’Amazon ont rejeté des contrats similaires. Le président de Microsoft, Brad Smith, a déclaré en avril que l’entreprise avait récemment refusé de fournir son logiciel de reconnaissance faciale à un organisme d’application de la loi californien qui voulait effectuer un balayage du visage chaque fois que ses agents arrêtaient quelqu’un, mais qu’elle avait approuvé une entente mettant cette technologie dans une prison américaine. Microsoft a refusé de fournir des détails.

Les investisseurs d’Amazon voteront en mai sur une proposition, soutenue par un groupe d’actionnaires militants, qui empêcherait l’entreprise de vendre Rekognition aux agences gouvernementales à moins que le conseil d’administration de l’entreprise ne détermine qu’elle ne pose pas de risque pour les droits humains.

Le bureau du shérif a permis aux journalistes de la poste de passer deux jours en mars dans les voitures de police, les bureaux des détectives et la prison du comté, pour observer comment les députés ont intégré la technologie dans leur charge de travail quotidienne. La plupart des personnes interrogées ont déclaré que le logiciel leur avait permis de gagner du temps, d’augmenter leur nombre d’arrestations et de traiter la surabondance croissante de preuves visuelles. Jusqu’à présent, aucune contestation judiciaire n’a été faite à l’encontre d’une arrestation au motif que la correspondance photographique était erronée, ont déclaré les députés et les défenseurs publics.

Mais les avocats de l’Oregon ont déclaré que la technologie ne devrait pas être, comme beaucoup le voient, un pas en avant imminent pour l’avenir du maintien de l’ordre, et ils considèrent le système non pas comme un jalon technique mais moral : On peut arrêter d’autres méchants si d’autres gentils se font arrêter aussi ?

Les gens aiment toujours dire : « Si c’est pour attraper les méchants, qui s’en soucie ? », a dit Joshua Crowther, défenseur en chef adjoint en Oregon, « jusqu’à ce qu’ils soient à l’autre bout ».

Demonstrators hold images of Amazon CEO Jeff Bezos near their faces during a Halloween-themed protest at Amazon headquarters over the company's facial recognition system, "Rekognition," Wednesday, Oct. 31,

Quand Amazon a révélé Rekognition en 2016, l’entreprise l’a qualifié de percée pour un style puissant d’intelligence artificielle à apprentissage profond qui a montré des résultats « indiscernables de la magie ». Dans un article de blog illustré d’une photo du chien d’un cadre supérieur, l’entreprise a proposé quelques idées générales sur la façon dont les gens pourraient commencer à l’utiliser, notamment pour des points de contrôle de sécurité ou des panneaux d’affichage câblés pour recueillir des données sur le visage d’un spectateur.

Le dévoilement a attiré l’attention de Chris Adzima, un ancien programmeur d’eBay qui avait été embauché au bureau du shérif du comté de Washington pour travailler sur une application iPhone que les députés utilisent pour suivre le comportement des détenus. Son agence avait déjà des centaines de milliers de photos de visages en ligne et aucun moyen réel de les analyser. Grâce à l’IA d’Amazon, il a pu mettre en place un système en moins de trois semaines.

« Ils n’avaient pas vraiment une idée précise des cas d’utilisation dans le monde réel, mais ils savaient qu’ils disposaient d’un outil puissant qu’ils avaient créé « , explique Adzima, analyste principal des systèmes d’information qui travaille dans une petite cabine au siège du shérif. « Alors, tu sais, j’ai commencé à m’en servir. »

Les députés ont immédiatement commencé à intégrer les recherches faciales dans leur travail quotidien de policier, et Adzima a créé un site Web interne qui leur permettait de faire des recherches à partir de leurs voitures de patrouille. Il a abandonné les pourcentages de confiance dans la recherche et a conçu le système de manière à obtenir cinq résultats à chaque fois : Lorsque le système n’a donné aucun résultat, a-t-il dit, les sous-ministres se sont demandés s’ils n’avaient rien gâché. Pour pimenter le tout, il a également ajouté une animation de « balayage » violet inutile chaque fois qu’un adjoint téléchargeait une photo – une touche qu’il disait inspirée par des séries policières comme « CSI ».

Résultat de recherche d'images pour "facial recognition"

Lorsqu’il a commencé à inonder les serveurs d’Amazon avec des données d’images, les chargés de compte ont remarqué, a-t-il dit, et certains ont exprimé leur surprise et leur enthousiasme à l’idée de l’utiliser pour le travail policier. Dans un courriel de 2017 révélé pour la première fois l’an dernier dans le cadre d’une demande de dossiers publics de l’American Civil Liberties Union, un responsable de compte Amazon a demandé à présenter Adzima à un cadre d’une entreprise de police et de caméras qui voulait comprendre comment il avait « surmonté la résistance des parties prenantes ». « Vous êtes maintenant célèbre pour la SSFE « , a écrit l’exécutif, avec un émoji d’un visage souriant.

Les députés ici présents disent que le système est un énorme succès. Chris Lee, qui a utilisé la recherche dans cinq cas de cambriolage et de vol, a déclaré que beaucoup de ses collègues sont devenus des utilisateurs prolifiques, désireux de trouver une solution simple à une chasse autrement difficile et difficile. « Tu es toujours comme : Est-ce que ça va nous montrer quelque chose ? dit-il.

Pour la formation, les sous-ministres ne reçoivent par courriel qu’une copie imprimée de la politique de reconnaissance faciale du bureau et une courte présentation PowerPoint les avertissant d’être prudents avec les résultats. Une diapositive montre comment le système a réagi à une photo téléchargée d’O.J. Simpson : en renvoyant la photo d’un homme blanc avec une barbe. « Comme vous pouvez le voir, » dit la diapositive, « le système nécessite toujours une interprétation humaine. »

La politique de quatre pages de l’agence exige que les employés n’utilisent le système qu’en cas de « lien criminel » et interdit son utilisation dans la « surveillance de masse » ou pour surveiller des personnes en fonction de leur religion, de leurs activités politiques ou de leur race. Mais elle offre également plusieurs exceptions, notamment l’autorisation de fouilles faciales dans les cas de « menace grave à la vie » ou lorsque les adjoints croient qu’un suspect se trouvera à un certain endroit à un moment précis.

La recherche a aidé les députés à concevoir des techniques non conventionnelles. Dans un cas, une détenue parlait à sa petite amie sur un téléphone de prison quand elle a dit qu’il y avait un mandat d’arrestation contre elle. Les adjoints se sont rendus sur la page Facebook de la détenue, ont trouvé une vieille vidéo sur laquelle elle chantait et ont effectué une recherche de reconnaissance faciale pour obtenir son nom ; elle a été arrêtée en quelques jours.

Les adjoints peuvent aussi faire des croquis en noir et blanc dans le système à la recherche de résultats ; dans un cas type, ont-ils dit, cela désignait un homme qu’ils avaient déjà identifié comme leur suspect. Amazon a déclaré que les croquis réalisés par Rekognition n’enfreignent pas ses règles, mais qu’elle s’attend à ce que les évaluateurs humains « prêtent une attention particulière à la confiance des matches ainsi produits ».

M. Bruington, du bureau du défenseur public du comté, a déclaré que le faible prix et la facilité d’utilisation de Rekognition pourraient inciter les services de police à expérimenter un système qu’ils ne comprennent peut-être pas entièrement. Elle craignait également que la dépendance du système à l’égard des photos d’identité ne fasse en sorte qu’une personne amenée auparavant par la police soit d’autant plus susceptible de refaire surface lors d’une fouille criminelle.

« Des innocents passent par le système de justice pénale tous les jours, a-t-elle dit.

La technologie de reconnaissance faciale était depuis des décennies le rêve d’un service de police : une façon simple et furtive d’identifier quelqu’un à distance, à son insu et sans son consentement. Mais ce n’est qu’au cours des dernières années – grâce à l’amélioration de l’imagerie et de la puissance des ordinateurs, ainsi qu’à la baisse des coûts de stockage des données – que la technologie est devenue abordable et répandue, utilisée pour baliser les photos Facebook et déverrouiller les iPhones.

Les systèmes actuels décomposent les photos faciales des gens en de longs brins de code, appelés « vecteurs de caractéristiques » ou « empreintes faciales », qui peuvent être rapidement comparés à d’autres portraits dans une vaste base de données. Mais alors que les algorithmes de « vision par ordinateur » sont adeptes de la reconnaissance de formes, ils correspondent à des pixels, et non à des indices, et peuvent manquer des incohérences qui sembleraient étonnamment évidentes à l’œil humain.

Pourtant, la promesse d’une identification facile et bon marché s’est avérée trop convaincante pour que de nombreuses entreprises l’ignorent. L’agence fédérale qui évalue les algorithmes de reconnaissance faciale, le National Institute of Standards and Technology, a récemment déclaré avoir testé 127 systèmes de 44 entreprises sur leur « extensibilité à de grandes populations » et leur précision pour identifier des « sujets non coopératifs » photographiés « dans la nature ». Les algorithmes de Microsoft et de la start-up chinoise Yitu Technology pourraient faire correspondre une photo de visage à travers une base de données de millions d’images avec une précision de 99%.

Amazon a précédemment refusé de soumettre Rekognition pour cette évaluation, affirmant que le test, qui étudie une version isolée de l’algorithme de recherche de base, ne fonctionnerait pas sur sa recherche compliquée dans les nuages. Mais un responsable du NIST a déclaré que ce fait n’a pas empêché d’autres entreprises d’effectuer des recherches similaires. Un responsable d’Amazon a déclaré que l’entreprise avait lancé un effort  » de fond  » pour  » reconcevoir les composants critiques  » du système afin qu’il puisse participer.

Le FBI a déclaré avoir effectué plus de 52 000 recherches de reconnaissance faciale au cours du dernier exercice financier et, en 2016, des chercheurs de la faculté de droit de l’Université de Georgetown ont trouvé au moins 52 organismes d’État ou locaux qui s’étaient fiés à un moment donné à un système de recherche faciale construit par des entrepreneurs fédéraux ou des sociétés de surveillance. Mais Amazon a simplifié le démarrage de toute nouvelle force de police, en facturant un tarif réduit basé en partie sur le nombre de « visages stockés ».

Aucune loi fédérale ne régit l’utilisation de la reconnaissance faciale. Mais un projet de loi bipartite présenté au Sénat américain en mars et un projet de loi proposé dans l’État de Washington, l’État d’Amazonie, pourraient imposer de nouvelles règles qui obligeraient, par exemple, les entreprises à informer les passants que leur visage est scanné. Les dirigeants de San Francisco devraient voter la semaine prochaine sur une proposition, rejetée par la police, qui ferait de la capitale de la technologie la première ville d’Amérique à interdire aux agences locales d’utiliser un logiciel de reconnaissance faciale.

Les dirigeants d’Amazon affirment qu’ils soutiennent la législation nationale sur la reconnaissance faciale, mais ils ont également soutenu que  » les nouvelles technologies ne devraient pas être interdites ou condamnées en raison de leur utilisation abusive potentielle « . Des agents du FBI et de la police d’Orlando, en Floride, affirment qu’ils ont testé le système, et Amazon l’a présenté à des organismes gouvernementaux, y compris les services d’immigration et des douanes.

Résultat de recherche d'images pour "facial recognition"

Les avocats du comté de Washington, dans l’Oregon, ont dit qu’ils commençaient tout juste à voir la technique apparaître dans les rapports d’arrestation, et certains se préparent pour le jour où ils pourraient avoir à plaider l’admissibilité du système devant les tribunaux. Marc Brown, défenseur en chef adjoint de l’Office of Public Defense Services de l’Oregon, a déclaré qu’il craignait que les décisions cachées du système ne fassent pencher la balance du pouvoir : les témoins oculaires humains peuvent être interrogés devant les tribunaux, mais pas cette « boîte noire magique », et « nous, avocats de la défense, ne pouvons remettre en question, vous savez, comment ce processus a fonctionné ».

Les résultats du système, a ajouté M. Brown, pourraient poser un énorme problème de biais de confirmation en orientant la façon dont les sous-ministres réagissent. « On vous a déjà dit que c’est celui-là, alors quand vous enquêterez, ce sera dans votre tête, » dit-il. « La question n’est plus de savoir qui a commis le crime, mais où sont les preuves à l’appui de l’analyse de l’ordinateur ? »

Le logiciel d’Amazon est de plus en plus avancé. Le mois dernier, l’entreprise a annoncé une mise à jour de Rekognition qui, entre autres choses, améliorerait la précision de la fonction de  » détection des émotions  » du système, qui spécule automatiquement sur la façon dont une personne se sent en fonction de son apparence à la caméra. Il comprend « 7 émotions soutenues : « Heureux », « triste », « en colère », « surpris », « dégoûté », « calme » et « confus ». « 

Amazon possède également Ring, le fabricant d’une sonnette populaire, qui a déposé l’an dernier une demande de brevet de reconnaissance faciale permettant de repérer les personnes « suspectes » à la porte d’un utilisateur. Une porte-parole de Ring a déclaré que les demandes de brevet de l’entreprise sont destinées à « explorer toutes les possibilités des nouvelles technologies ».

La base de données du bureau du shérif du comté de Washington, quant à elle, est en constante augmentation, avec environ 19 000 condamnations par an. Quand les gens sont arrêtés, ils sont amenés dans une salle de réception animée où ils se font prendre en photo par une webcam surmontée d’un bonnet rouge.

Traduit par Dr.Mo7oG // Tous droits réservés

Source : SFgate.com

Please follow and like us:

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

RSS