Un jour de 2017, Alexa est devenue voyou. Lorsque Martin Josephson, qui vit à Londres, est rentré du travail, il a entendu son assistant vocal Amazon Echo Dot cracher des commandes fragmentaires, apparemment basées sur ses interactions précédentes avec l’appareil. Il semblait régurgiter les demandes de réservation de billets de train pour les voyages qu’il avait déjà effectués et d’enregistrement d’émissions de télévision qu’il avait déjà regardées. Josephson n’avait pas dit le mot de réveil – « Alexa” – pour l’activer et rien de ce qu’il a dit ne l’arrêterait. C’était, dit-il,  » kafkaïen ”.

C’était particulièrement intéressant car Josephson (pas son vrai nom) était un ancien employé d’Amazon. Trois ans plus tôt, il s’était porté volontaire pour s’asseoir dans une pièce en récitant une série de phrases apparemment dénuées de sens dans un microphone dans un but non divulgué. Ce n’est que lorsque Amazon a publié l’Echo aux États-Unis en 2014 qu’il a réalisé sur quoi il travaillait. Il a acheté un Dot, le modèle moins cher et plus petit de l’Echo, après son lancement en 2016, et l’a trouvé assez utile jusqu’au jour où il s’est détraqué. Lorsque l’explosion du Point s’est calmée, il l’a débranché et l’a déposé dans la poubelle. « Je me sentais un peu stupide », dit-il.  » Ayant travaillé chez Amazon et vu comment ils utilisaient les données des gens, je savais que je ne pouvais pas leur faire confiance. »

Le Dot n’était pas censé se comporter comme un sergent d’exercice dadaïste. Là encore, les assistants vocaux font souvent des choses qu’ils ne sont pas censés faire. L’année dernière, un client Amazon en Allemagne a reçu par erreur environ 1 700 fichiers audio de l’Echo de quelqu’un d’autre, fournissant suffisamment d’informations pour nommer et localiser l’utilisateur malheureux et sa petite amie. (Amazon a attribué cette « mésaventure malheureuse » à une erreur humaine.)

À San Francisco, Shawn Kinnear a affirmé que son Écho s’activait et a dit joyeusement: « Chaque fois que je ferme les yeux, tout ce que je vois, ce sont des gens qui meurent.”À Portland, en Oregon, une femme a découvert que son Echo avait pris sur lui d’envoyer des enregistrements de conversations privées à l’un des employés de son mari. Dans un communiqué, Amazon a déclaré que l’Echo devait mal entendre le mot de réveil, mal entendre une demande d’envoi d’un message, mal entendre un nom dans sa liste de contacts, puis mal entendre une confirmation pour envoyer le message, le tout lors d’une conversation sur les planchers de bois franc. Pas génial, Alexa.

La technologie inspire souvent l’ambivalence: nous savons que Facebook et Google en savent trop sur nous, mais nous continuons à utiliser leurs services parce qu’ils sont si pratiques. Les assistants vocaux, cependant, sont inhabituellement polarisants. Les gens qui les considèrent comme sinistres et envahissants (moi y compris) considèrent les passionnés comme complaisants, tandis que ceux qui les trouvent utiles et bénins voient les sceptiques comme des technophobes paranoïaques. Il y a une question qui soulève de plus gros problèmes au sujet de notre relation avec l’industrie de la technologie: devriez-vous laisser Alexa entrer dans votre maison?

En janvier, le vice-président principal des appareils d’Amazon, David Limp, a révélé que la société avait vendu plus de 100 millions d’appareils compatibles Alexa. L’année dernière aux États-Unis, où un adulte sur cinq possède un assistant vocal domestique, Alexa détenait une part de marché de 70% aux États-Unis, contre 24% pour l’Assistant Google. Il est donc le mieux placé pour devenir ce que Shoshana Zuboff, dans son best-seller, L’Ère du Capitalisme de surveillance, appelle la  » One Voice”: l’écosystème dominant qui donnerait à son opérateur  » la capacité d’anticiper et de monétiser tous les moments de toutes les personnes pendant tous les jours”. Zuboff appelle la naissance d’Alexa « un événement de seuil ».

Alexa, cependant, a grandi à une époque de scepticisme croissant quant au pouvoir et à la moralité des « cinq grands” entreprises technologiques: Amazon, Apple, Facebook, Google / Alphabet et Microsoft. Des événements tels que les fuites d’Edward Snowden et le scandale Cambridge Analytica ont terni les promesses utopiques de la Silicon Valley. Les PDG sont moins susceptibles de banaliser les préoccupations liées à la vie privée. Les journalistes technologiques sont plus susceptibles d’être des critiques que des pom-pom girls. Les politiciens sont plus disposés à demander des comptes aux entreprises.

Cette année a été particulièrement délicate. Au cours des six derniers mois, Bloomberg, the Guardian, Vice News et la chaîne d’information belge VRT ont progressivement révélé que tous les big five avaient recours à des sous-traitants humains pour analyser un petit pourcentage d’enregistrements d’assistants vocaux. Bien que les enregistrements soient anonymisés, ils contiennent souvent suffisamment d’informations pour identifier ou embarrasser l’utilisateur, en particulier s’il entend des informations médicales confidentielles ou une sextape par inadvertance. Les révélations ont été la goutte d’eau pour de nombreux sceptiques d’Alexa. « Nous vivons dans une techno-dystopie de notre propre fabrication. Si vous avez toujours un Alexa ou tout autre assistant vocal chez vous, vous avez été averti ”, a écrit l’écrivain Gizmodo Matt Novak.

Ayant travaillé chez Amazon et dans une autre grande entreprise, Josephson pense que cette résistance à ces entreprises est justifiée. « Ils n’ont aucun intérêt, à mon avis, à se demander quel sera l’impact de ces produits. Les traiter comme les bonnes personnes pour exercer ce pouvoir est une situation ridicule que nous n’autoriserions dans aucune autre industrie. Franchement, ils ne sont pas des gardiens sûrs des données qu’ils collectent chaque jour sans que nous le sachions. »

La commande vocale a d’abord saisi l’imagination du public dans les années 60, via HAL 9000, l’ordinateur sensible dans 2001: Une Odyssée de l’espace et l’ordinateur infiniment utile du vaisseau spatial Enterprise dans Star Trek. Ce dernier était un point de référence majeur pour les équipes qui ont développé Echo d’Amazon et l’Assistant Google. « La lumière vive, la lumière brillante, qui est encore loin de plusieurs années, de plusieurs décennies, est de recréer l’ordinateur Star Trek », a déclaré Limp lors d’une conférence en 2017.

Dans le monde réel, la reconnaissance vocale n’est pas devenue monnaie courante jusqu’à ce qu’Apple lance son assistant vocal pour téléphone, Siri, en 2011. Alexa va beaucoup plus loin en colonisant la maison de l’utilisateur. Il y a trois décennies, l’informaticien prémonitoire Mark Weiser appelait ce type d’écosystème sans friction « informatique ubiquitaire”. En 2015, Eric Schmidt de Google a prévu un jour où Internet fera « partie de votre présence tout le temps », rendant votre comportement réel aussi cartographiable que ce que vous faites sur votre ordinateur portable ou votre téléphone. Vous ne serez jamais hors ligne.

Le rédacteur en chef de Gizmodo, Adam Clark Estes, a d’abord été enthousiasmé par la première innovation matérielle majeure depuis l’iPad d’Apple quatre ans plus tôt. Plus il en apprenait sur la technologie, moins il l’aimait. Son propre Écho se réveillerait sans improviser. Les enregistrements ont commencé à apparaître comme preuve dans les affaires judiciaires. Le FBI a refusé de confirmer ou d’infirmer qu’il utilisait Alexa à des fins de surveillance. ”Il est devenu de plus en plus clair pour moi que les gardiens de la vie privée avaient raison », dit-il. « C’est, à la base, un dispositif d’écoute électronique. »

Les assistants vocaux incarnent la tension entre efficacité et intimité. La technologie est encore profondément imparfaite; dans plus d’une transcription sur 10 analysée par l’une des sources de Bloomberg, Alexa s’est réveillée accidentellement. L’interprétation précise des commandes vocales en tenant compte des différentes langues, accents, tonalités, contextes et degrés d’encombrement ambiant nécessite beaucoup plus de puissance de calcul qu’un seul appareil ne peut en contenir. Par conséquent, la majeure partie du travail est effectuée dans le cloud, ce qui permet aux moniteurs humains de collecter et d’analyser les enregistrements vocaux. « Vous construisez une infrastructure qui peut ensuite être cooptée de manière indésirable par de grandes multinationales et des appareils de surveillance d’État, et compromise par des pirates informatiques malveillants”, explique le Dr Michael Veale, chargé de cours en droits numériques et réglementation à la Faculté de droit de l’UCL à l’University College de Londres.

Tous les assistants vocaux ne sont pas égaux. Apple, dont les bénéfices ne reposent pas principalement sur la collecte de données, utilise davantage le calcul et le cryptage intégrés aux deux extrémités. « Apple est le meilleur en matière de confidentialité”, déclare Estes. « En même temps, je pense que tout le monde est d’accord pour dire que Siri est nul. »Amazon Echo et Google Assistant sont beaucoup plus fiables car les modèles commerciaux de ces entreprises dépendent d’en savoir beaucoup plus sur vous afin de microtarguer la publicité. Ils aiment encadrer la collecte de données comme un moyen d’améliorer les services tout en minimisant les immenses avantages commerciaux.

Google et Amazon pourraient, bien sûr, choisir d’améliorer la technologie en payant des personnes pour la tester – le genre de travail effectué par Josephson en 2012 – au lieu de traiter leurs clients comme une base de données de recherche et développement gratuite. Ou ils pourraient annoncer le fait que des humains étudient peut-être les enregistrements. ”Cela devrait être sur la boîte », explique le Dr Jeremy Gillula, directeur de projet à l’Electronic Frontier Foundation, un groupe qui milite contre l’utilisation abusive de la technologie. L’interprétation généreuse des motivations des entreprises technologiques est un utopisme insouciant, mais Gillula soutient que si elles étaient vraiment naïves quant aux implications de leur technologie, elles n’iraient pas si loin pour les dissimuler. « Je doute qu’ils pensaient que personne ne s’en soucierait. Je pense qu’ils essayaient de garder le silence parce que si les utilisateurs savaient ce qui se passait, ils pourraient arrêter d’acheter les appareils. C’était une décision d’affaires calculée. »

En réponse, une porte-parole d’Amazon a déclaré:  » La confiance des clients est au centre de tout ce que nous faisons et nous prenons la confidentialité des clients très au sérieux. Nous révisons continuellement nos pratiques et procédures pour nous assurer que nous offrons aux clients les meilleures expériences et les meilleurs choix en matière de confidentialité. Nous fournissons aux clients plusieurs contrôles de confidentialité, y compris la possibilité de consulter et de supprimer leurs enregistrements vocaux. Pour aider à améliorer Alexa, nous examinons manuellement un très petit échantillon de demandes Alexa pour confirmer qu’Alexa a compris et répondu correctement. Les clients peuvent choisir de ne pas inclure leurs enregistrements vocaux dans ce processus d’examen. »

Pourtant, il a été démontré à maintes reprises que, dans leurs politiques de confidentialité publicitaires et savamment rédigées, les entreprises technologiques masquent régulièrement l’étendue et la nature de leur collecte de données. « Google et Amazon nous ont montré qu’ils étaient enclins à en prendre autant qu’ils le pouvaient jusqu’à ce que quelqu’un les attrape la main dans le pot à biscuits”, explique Estes. « Je déteste être dramatique, mais je ne pense pas que nous nous sentirons jamais à l’abri de leurs pratiques de collecte de données. La réglementation gouvernementale est la seule chose qui va arrêter plus de dommages. »

Le gouvernement américain a été réticent à agir. En juillet 2015, l’Electronic Privacy Information Center (Epic), une organisation à but non lucratif de longue date dédiée aux « valeurs démocratiques à l’ère de l’information”, a demandé une enquête sur les appareils « toujours allumés”, y compris les assistants vocaux. Ils n’ont pas encore reçu de réponse. ”Les solutions basées sur le marché ne fonctionnent pas dans ce domaine car les entreprises ont été autorisées à dissimuler les défauts de leurs propres produits », explique Marc Rotenberg, directeur exécutif d’Epic. Il ajoute: « Si vous ou moi devions placer un appareil chez quelqu’un d’autre avec la capacité de capturer ses communications privées, nous violerions la Loi fédérale sur les écoutes téléphoniques. »

En juillet, un membre du Congrès démocrate, Seth Moulton, a présenté la Loi sur l’exploitation automatique de l’écoute, qui pénaliserait les entreprises dont les assistants vocaux et les sonnettes intelligentes (comme l’anneau d’Amazon) enregistrent les conversations sans autorisation, mais Gillula considère qu’il s’agit d’une ”législation assez faible ». En Europe, qui a une amère expérience de première main de la surveillance de masse sous des régimes totalitaires, les régulateurs ont les dents plus pointues. Récemment, Johannes Caspar, formidable commissaire à la protection des données de Hambourg, a forcé Google à suspendre la transcription des enregistrements vocaux dans toute l’UE, tandis qu’Apple et Facebook ont simultanément interrompu la transcription partout dans le monde. (Amazon a simplement permis aux utilisateurs de se retirer de la surveillance humaine.) Le Bureau du Commissaire à l’information du Royaume-Uni enquête pour déterminer si la surveillance humaine enfreint le Règlement général sur la Protection des Données. ”Nous avons déjà une réglementation importante dans ce domaine, mais la clé est l’application », explique Veale.  » Comme toutes les autorités européennes de protection des données, le Commissariat à l’information est sous-financé et surchargé, et a besoin d’investissements et d’un soutien importants pour protéger les droits fondamentaux des citoyens. »

Sans réglementation efficace, il n’y a pas de défense contre une exploitation plus invasive des assistants vocaux. Par définition toujours allumés, même lorsqu’ils ne sont pas éveillés, les appareils écoutent constamment, mais ne transmettent pas toujours. Gillula affirme qu’il n’y a aucun obstacle technique à ce que les appareils dormants puissent, par exemple, suivre le visionnage de la télévision par les utilisateurs en répondant à des signaux aigus intégrés dans des émissions et des publicités, ou identifier qui se trouve dans la maison à un moment donné. ”Cela devient essentiellement une surveillance constante », explique Gillula. « J’ai bon espoir que les entreprises n’emprunteraient jamais cette voie dystopique, mais je les voyais dire: « Oh, c’est une fonctionnalité: sachez quand vos enfants sont à la maison! »Une caractéristique attrayante est la façon dont la plupart de ces choses commencent. »L’endroit où ils se retrouvent a galvanisé non seulement les chiens de garde de la vie privée, mais aussi les écrivains. Les implications dystopiques des assistants vocaux apparaissent dans la science-fiction, y compris le film Her de Spike Jonze, Black Mirror et Years and Years. Derrière eux se profile « l’oreille qui ne dort jamais » de l’écran télescopique de George Orwell en Dix-neuf quatre–vingt–quatre: « Vous deviez vivre – vivre, de l’habitude devenue de l’instinct – en supposant que chaque son que vous faisiez était entendu. »L’Echo Show, un assistant intelligent avec écran et caméra, a été largement comparé au telescreen lors de son introduction il y a deux ans. « Alexa, montre-moi la dystopie », plaisanta Vice. Dans le roman satirique Zed de Joanna Kavenna, l’écrivain explore « l’étrange aspect de serviteur dysfonctionnel » des assistants vocaux de la vie réelle (qui ont tous des voix féminines comme paramètre par défaut) et les conséquences sociopolitiques de la Voix unique: dans Zed, le monopole de la technologie, Beetle, est omniprésent et irresponsable. ”L’idée démocratique est que nous sommes censés avoir des entreprises et des gouvernements transparents, tandis que les gens ont la vie privée », dit-elle. « Nous avons l’inverse. Les gens sont mal à l’aise parce que ce n’est pas débattu à un niveau démocratique mature. »

Kavenna craint que, loin de légiférer pour protéger la vie privée des utilisateurs, les États américains cherchent à accéder aux enregistrements d’assistants vocaux au nom de la prévention du crime et de la sécurité nationale. L’année dernière, un juge du New Hampshire a fait les gros titres en ordonnant à Amazon de soumettre des enregistrements Echo d’un double meurtre aux enquêteurs. « Cela les place dans une position très compliquée entre leurs clients et le gouvernement”, explique Kavenna.  » Nous sommes très dépendants du régime politique. »

Rotenberg est d’accord: « Si vous êtes un pays autoritaire, pourquoi ne pas simplement envoyer le flux audio directement à une agence de surveillance gouvernementale et faire valoir que c’est pour réduire la criminalité à la maison? C’est effrayant à contempler, mais concevable. »

Aujourd’hui, les assistants vocaux ne sont pas la menace la plus pressante pour la vie privée uniquement parce qu’ils sont facultatifs. Un scanner à reconnaissance faciale peut vous espionner dans un espace public, mais Alexa, comme un vampire, doit être invitée chez vous. Le seul pouvoir vraiment efficace que vous pouvez exercer sur cette technologie est de ne pas l’utiliser. Mais faire un choix éclairé est compromis par un marketing trompeur et miné par les efforts d’Amazon pour intégrer Alexa dans d’innombrables produits, y compris les voitures, les téléviseurs, les écouteurs, les micro-ondes, les thermostats et les horloges, tout en signant des accords avec des entreprises de construction de maisons et des chaînes hôtelières, le tout dans le but de devenir la Seule voix. ”Le contrôle vocal est forcé dans la gorge des consommateurs, qu’ils le veuillent ou non », explique Estes.

Nous n’y sommes pas encore. Les entreprises technologiques s’appuient sur le mythe de l’inévitabilité technologique pour occulter les décisions commerciales qu’elles ont prises et la possibilité d’autres modèles. Les défier, c’est combattre l’avenir. Un non-sens, dit Kavenna. « Est-ce une conséquence inévitable de la technologie? Non, c’est une application idéologique de la technologie. Si vous construisez un bâtiment, vous n’avez pas besoin de construire un panopticon. Ça ne doit pas être ce que nous avons maintenant. Ils prétendent souvent que si vous êtes opposé à cela, vous êtes un néo-luddite. Ce mythe a permis à beaucoup de gens de devenir incroyablement riches. »

Aucune des personnes à qui j’ai parlé ne possède d’assistant vocal à domicile, et elles ne conseilleraient à personne d’en obtenir un, mais elles conviennent toutes qu’il serait possible de développer un appareil offrant les services les plus populaires tout en respectant la vie privée de l’utilisateur. Si l’ensemble du secteur suivait l’exemple d’Apple en rendant la surveillance humaine opt-in plutôt que opt-out, ce serait un bon début. Ensuite, à mesure que la puissance de traitement augmente, davantage de tâches peuvent être effectuées à l’intérieur de l’appareil. Mais, bien sûr, cela signifierait renoncer à ces données juteuses et monétisables. ”Beaucoup de choses que vous voulez vraiment faire ne devraient pas nécessiter Internet, et une fois que vous avez coupé l’accès au cloud, les problèmes de confidentialité disparaissent », explique Estes. « Il y a toujours un potentiel pour que les choses s’améliorent – et il y aura toujours un combat pour en arriver là. »

Jeremy Gillula est tellement convaincu qu’un assistant vocal sûr et entièrement contrôlé par l’utilisateur est possible qu’il conçoit le sien, en utilisant un logiciel open-source.

 » J’y arrive « , dit-il joyeusement. « Je ne suis pas encore satisfait à 100%, mais cela allumera et éteindra les lumières.”

{{#ticker}}

{{topLeft}}

{{bottomLeft}}

{{topRight}}

{{bottomRight}}

{{#goalExceededMarkerPercentage}}

{{/goalExceededMarkerPercentage}}

{{/ticker}}

{{heading}}

{{#paragraphs}}

{{.}}

{{/paragraphs}}{{highlightedText}}

{{#cta}}{{text}}{{/cta}}

Remind me in May

Nous vous contacterons pour vous rappeler de contribuer. Recherchez un message dans votre boîte de réception en mai 2021. Si vous avez des questions sur la contribution, veuillez nous contacter.

• Partager sur Facebook
• Partager sur Twitter
• Partager par e-mail
• Partager sur LinkedIn
• Partager sur Pinterest
• Partager sur WhatsApp
• Partager sur Messenger