op een dag in 2017, Alexa ging rogue. Toen Martin Josephson, die in Londen woont, thuis kwam van zijn werk, hoorde hij zijn Amazon Echo Dot voice assistant spugen fragmentarische commando ‘ s, schijnbaar gebaseerd op zijn eerdere interacties met het apparaat. Het leek op het uitbraken van verzoeken om treinkaartjes te boeken voor reizen die hij al had gemaakt en om TV-programma ‘ s op te nemen die hij al had bekeken. Josephson had niet gezegd dat de wake woord – “Alexa” – om het te activeren en niets wat hij zei zou het stoppen. Het was, zegt hij, “Kafkaesk”.

Dit was vooral interessant omdat Josephson (niet zijn echte naam) een voormalig medewerker van Amazon was. Drie jaar eerder was hij vrijwilliger om in een kamer te zitten en een reeks schijnbaar betekenisloze zinnen voor te dragen in een microfoon voor een geheim doel. Pas toen Amazon de Echo in de VS uitbracht in 2014 realiseerde hij zich waar hij aan gewerkt had. Hij kocht een Dot, het goedkopere, kleinere model van de Echo, nadat het in 2016 werd gelanceerd, en vond het nuttig genoeg tot de dag dat het in de war ging. Toen de uitbarsting van de stip verdween, haalde hij de stekker eruit en legde het in de vuilnisbak. “Ik voelde me een beetje dom,” zegt hij. “Ik heb bij Amazon gewerkt en gezien hoe ze de data van mensen gebruikten, en ik wist dat ik ze niet kon vertrouwen.”

De Punt moest zich niet gedragen als een dadaïstische drill sergeant. Aan de andere kant doen stemassistenten vaak dingen die ze niet horen te doen. Vorig jaar, een Amazon klant in Duitsland werd per ongeluk verzonden over 1,700 audiobestanden van iemand anders Echo, het verstrekken van voldoende informatie om de naam en de plaats van de ongelukkige gebruiker en zijn vriendin. (Amazon schreef dit “ongelukkige ongeluk” toe aan menselijke fouten.in San Francisco beweerde Shawn Kinnear dat zijn Echo zichzelf activeerde en zei Vrolijk: “Every time I close my eyes, all I see is people dying.”In Portland, Oregon, ontdekte een vrouw dat haar Echo het op zich had genomen om opnames van privégesprekken naar een van de medewerkers van haar man te sturen. In een verklaring, Amazon zei dat de Echo moet hebben verkeerd gehoord het wake woord, verkeerd gehoord een verzoek om een bericht te sturen, verkeerd gehoord een naam in de lijst met contactpersonen en vervolgens verkeerd gehoord een bevestiging om het bericht te sturen, allemaal tijdens een gesprek over hardhouten vloeren. Niet geweldig, Alexa.

technologie inspireert vaak ambivalentie: we weten dat Facebook en Google te veel over ons weten, maar we blijven hun diensten gebruiken omdat ze zo verdomd handig zijn. Stemassistenten zijn echter ongewoon polariserend. Mensen die hen sinister en invasief vinden (waaronder ikzelf) beschouwen enthousiastelingen als zelfgenoegzaam, terwijl degenen die hen nuttig en goedaardig vinden de sceptici zien als paranoïde technofoben. Er is een vraag vracht met grotere problemen over onze relatie met de tech-industrie: moet u Alexa in uw huis?in Januari, Amazon ‘ s senior vice-president van apparaten, David Limp, onthulde dat het bedrijf had verkocht meer dan 100m Alexa-apparaten. Vorig jaar in de VS, waar een op de vijf volwassenen eigenaar van een Home voice assistant, Alexa had een 70% Amerikaanse marktaandeel, in vergelijking met de Google Assistant ‘ s 24%. Het is daarom het best geplaatst om te worden wat Shoshana Zuboff, in haar bestseller, The Age of Surveillance Capitalism, de “One Voice” noemt: het dominante ecosysteem dat zijn operator “de mogelijkheid zou geven om te anticiperen op en geld te verdienen met alle momenten van alle mensen gedurende alle dagen”. Zuboff noemt de geboorte van Alexa “een drempelgebeurtenis”.Alexa is echter opgegroeid in een tijdperk van toenemende scepsis over de macht en moraal van de “grote vijf” tech bedrijven: Amazon, Apple, Facebook, Google/Alphabet en Microsoft. Gebeurtenissen zoals de Edward Snowden-lekken en het Cambridge Analytica-schandaal hebben Silicon Valley ‘ s utopische Beloften bezoedeld. CEO ‘ s hebben minder kans om privacyproblemen te bagatelliseren. Technische journalisten zijn eerder critici dan cheerleaders. Politici zijn meer bereid om bedrijven ter verantwoording te roepen.

dit jaar is bijzonder lastig geweest. De afgelopen zes maanden hebben Bloomberg, The Guardian, Vice News en de Belgische nieuwszender VRT geleidelijk aan onthuld dat alle big five gebruik hebben gemaakt van menselijke aannemers om een klein percentage van de opnames van voice-assistant te analyseren. Hoewel de opnames geanonimiseerd zijn, bevatten ze vaak genoeg informatie om de gebruiker te identificeren of in verlegenheid te brengen – vooral als ze vertrouwelijke medische informatie of een onbedoelde sekstape horen. De onthullingen waren de laatste druppel voor veel Alexa sceptici. “We leven in een techno-dystopie van eigen makelij. Als je nog steeds een Alexa of een andere stem assistent in uw huis, je werd gewaarschuwd, ” schreef de Gizmodo schrijver Matt Novak.omdat Josephson bij Amazon en een andere big-five-onderneming heeft gewerkt, meent hij dat dit verzet tegen deze ondernemingen gerechtvaardigd is. “Ze hebben naar mijn mening geen interesse om zich af te vragen wat de impact van die producten zal zijn. Om hen te behandelen als de juiste mensen om die macht te hanteren is een belachelijke situatie die we in geen enkele andere industrie zouden toestaan. Ze zijn eerlijk gezegd geen veilige bewaarders van de gegevens die ze elke dag verzamelen zonder dat wij het weten.in de jaren ‘ 60 werd de spraakbesturing voor het eerst tot de verbeelding gesproken via HAL 9000, the sentient computer in 2001: A Space Odyssey, en de eindeloos behulpzame computer van Star Trek. De laatste was een belangrijk referentiepunt voor de teams die Amazon ‘ s Echo en de Google Assistant ontwikkeld. “Het heldere licht, het stralende licht, dat is nog steeds vele jaren weg, vele decennia weg, is om de Star Trek computer opnieuw,” Limp vertelde een conferentie publiek in 2017.

in de echte wereld werd spraakherkenning niet gemeengoed totdat Apple in 2011 zijn spraakassistent Siri lanceerde. Alexa gaat veel verder door het koloniseren van de gebruiker thuis. Drie decennia geleden noemde de vooruitziende informaticus Mark Weiser dit soort wrijvingsloze ecosysteem “alomtegenwoordige computing”. In 2015 voorzag Eric Schmidt van Google een dag waarop het internet “altijd deel zal uitmaken van uw aanwezigheid”, waardoor uw real-life gedrag net zo mappable wordt als wat u doet op uw laptop of telefoon. Je zult nooit offline zijn.de Gizmodo-editor Adam Clark Estes was in eerste instantie enthousiast over de eerste grote hardware-innovatie sinds Apple ‘ s iPad vier jaar eerder. Hoe meer hij leerde over de technologie, echter, hoe minder hij het leuk vond. Zijn eigen Echo zou ongepropt wakker worden. Opnames begonnen te verschijnen als bewijs in rechtszaken. De FBI weigerde te bevestigen of te ontkennen dat het gebruik van Alexa voor surveillance doeleinden. “Het werd me steeds duidelijker dat de privacy watchdogs gelijk hadden”, zegt hij. “Het is, op de basis, een afluisterapparaat.”

stemassistenten belichamen de spanning tussen efficiëntie en privacy. De technologie is nog steeds zeer onvolmaakt; in meer dan één op de 10 transcripten geanalyseerd door een van Bloomberg ‘ s bronnen, werd Alexa per ongeluk wakker. Nauwkeurig interpreteren van spraakopdrachten door rekening te houden met verschillende talen, accenten, tonen, contexten en graden van ambient rommel vereist veel meer rekenkracht dan een enkel apparaat kan bevatten. Daarom wordt het grootste deel van het werk uitgevoerd in de cloud, dat is hoe menselijke monitoren in staat zijn om spraakopnames te verzamelen en te analyseren. “Je bouwt een infrastructuur die later op ongewenste manieren kan worden gecoöpteerd door grote multinationals en staatsbewakingsapparatuur, en gecompromitteerd door kwaadaardige hackers,” zegt Dr.Michael Veale, een docent digitale rechten en regelgeving aan de UCL Faculty of Laws aan University College London.

niet alle stemassistenten zijn gelijk. Apple, wiens winst niet in de eerste plaats afhankelijk zijn van het verzamelen van gegevens, maakt gebruik van meer in-device berekening en encryptie aan beide uiteinden. “Apple is het beste in privacy”, zegt Estes. “Tegelijkertijd denk ik dat iedereen het erover eens is dat Siri waardeloos is.”Amazon Echo en Google Assistant zijn veel betrouwbaarder omdat de bedrijfsmodellen van deze bedrijven afhankelijk zijn van het weten van zo veel meer over u om reclame te microtarget. Ze willen het verzamelen van gegevens frame als een middel om de diensten te verbeteren, terwijl het spelen van de immense commerciële voordelen.

Google en Amazon zouden er natuurlijk voor kunnen kiezen om de technologie te verbeteren door mensen te betalen om deze te testen – het soort werk dat Josephson in 2012 deed – in plaats van hun klanten te behandelen als een gratis onderzoeks-en ontwikkelingsdatabase. Of ze kunnen adverteren dat mensen de opnames bestuderen. “Het moet op de doos”, zegt Dr. Jeremy Gillula, de projectdirecteur van de Electronic Frontier Foundation, een groep die campagne voert tegen het misbruik van technologie. De genereuze interpretatie van de motieven van techbedrijven is een achteloos Utopisme, maar Gillula stelt dat als ze echt naïef waren over de implicaties van hun technologie, ze niet zoveel moeite zouden doen om ze te verbergen. “Ik betwijfel of ze dachten dat het niemand iets kon schelen. Ik denk dat ze probeerden om het stil te houden, want als gebruikers wisten wat er gaande was, zouden ze stoppen met het kopen van de apparaten. Het was een berekende zakelijke beslissing.”

in antwoord daarop zegt een woordvoerster van Amazon: “vertrouwen van de klant staat centraal bij alles wat we doen en we nemen de privacy van de klant zeer serieus. We controleren voortdurend onze praktijken en procedures om ervoor te zorgen dat we klanten de beste ervaringen en privacykeuzes bieden. We bieden klanten verschillende privacycontroles, waaronder de mogelijkheid om hun spraakopnames te bekijken en te verwijderen. Om Alexa te helpen verbeteren, beoordelen we handmatig een uiterst kleine steekproef van Alexa-verzoeken om Alexa te bevestigen begrepen en correct gereageerd. Klanten kunnen zich afmelden van het hebben van hun spraakopnames opgenomen in dat beoordelingsproces.”

toch is keer op keer aangetoond dat, in hun reclame en scherpzinnig geformuleerd Privacybeleid, tech bedrijven routinematig de omvang en de aard van hun data harvesting verhullen. “Google en Amazon hebben ons laten zien dat ze geneigd zijn om zo veel als ze kunnen te nemen totdat iemand hen vangt met hun hand in de koekjestrommel,” zegt Estes. “Ik haat het om dramatisch te zijn, maar ik denk niet dat we ons ooit veilig zullen voelen van hun gegevensverzamelingspraktijken. Overheidsregulering is het enige dat meer schade zal stoppen.”

De Amerikaanse regering is terughoudend geweest om op te treden. In juli 2015 riep het Electronic Privacy Information Center (Epic), een lang gevestigde non-profitorganisatie die zich inzet voor “democratische waarden in het informatietijdperk”, op tot een onderzoek naar “always on” – apparaten, waaronder stemassistenten. Ze hebben nog geen antwoord gekregen. “Marktgebaseerde oplossingen werken op dit gebied niet omdat bedrijven de gebreken van hun eigen producten mogen verbergen”, zegt Marc Rotenberg, executive director van Epic. Hij voegt eraan toe: “als jij of ik een apparaat in het huis van iemand anders zouden plaatsen met de mogelijkheid om hun privécommunicatie vast te leggen, zouden we in overtreding zijn met de federale Afluisterwet.in Juli introduceerde een democratisch congreslid, Seth Moulton, de Automatic Listening Exploitation Act, die bedrijven zou straffen wiens stemassistenten en slimme deurbellen (zoals Amazon ‘ s Ring) gesprekken opnemen zonder toestemming, maar Gillula vindt het “vrij zwakke wetgeving”. In Europa, dat uit de eerste hand bittere ervaring heeft met massale surveillance onder totalitaire regimes, hebben de toezichthouders scherpere tanden. Onlangs heeft Johannes Caspar, Hamburgse commissaris voor gegevensbescherming, Google gedwongen de transcriptie van spraakopnames in de hele EU op te schorten, terwijl Apple en Facebook tegelijkertijd de transcriptie overal ter wereld hebben stopgezet. (Amazon alleen toegestaan gebruikers opt-out van menselijke monitoring.) Het Britse Information Commissioner ‘ s Office onderzoekt of menselijk toezicht in strijd is met de Algemene Verordening Gegevensbescherming. “We hebben al aanzienlijke regelgeving op dit gebied, maar de sleutel is handhaving”, zegt Veale. “Net als alle Europese gegevensbeschermingsautoriteiten is het Bureau van de commissaris voor informatie onderfinanciering en overbelast en heeft het aanzienlijke investeringen en steun nodig om de grondrechten van de burgers te beschermen.”

zonder effectieve regelgeving is er geen verdediging tegen meer invasieve exploitatie van stemassistenten. Per definitie altijd aan, zelfs als ze niet wakker zijn, luisteren de apparaten voortdurend, hoewel ze niet altijd uitzenden. Gillula zegt dat er geen technische belemmeringen zijn om slapende apparaten in staat te stellen om bijvoorbeeld het televisiekijken van gebruikers te volgen door te reageren op hoge signalen die zijn ingebed in shows en advertenties, of om te bepalen wie er op een bepaald moment in huis is. “Dat wordt in wezen constant toezicht”, zegt Gillula. “Ik ben hoopvol dat de bedrijven nooit dit dystopische pad zouden bewandelen, maar ik zag ze zeggen:’ Oh, het is een feature: weet wanneer je kinderen thuis zijn!’Een aansprekend kenmerk is hoe de meeste van deze dingen beginnen.”

waar ze eindigen heeft niet alleen privacy waakhonden maar schrijvers gegalvaniseerd. De dystopische implicaties van stem assistenten verschijnen in science fiction, met inbegrip van de Spike Jonze film Her, Black Mirror and Years and Years. Achter hen alle doemt het ” never-sleeping ear “van George Orwell’ s telescreen in Nineteen Eighty-Four: “You had to live – did live, from habit that became instincts – in the assumption that every sound you made was afgeluisterd.”De Echo Show, een slimme assistent met een scherm en camera, werd veel vergeleken met de telescreen toen het twee jaar geleden werd geïntroduceerd. “Alexa, toon me De dystopie,” grapte Vice. In Joanna Kavenna ‘ s satirische roman Zed verkent de schrijver het “vreemde disfunctioneel-dienend aspect” van echte stemassistenten (die allemaal vrouwelijke stemmen hebben als standaard instelling) en de sociopolitieke gevolgen van de ene stem: in Zed is het tech monopolie, Beetle, alomtegenwoordig en onverklaarbaar. “Het democratische idee is dat we transparante bedrijven en overheden moeten hebben, terwijl mensen privacy hebben”, zegt ze. “We hebben het omgekeerde. Mensen voelen zich ongemakkelijk omdat het niet wordt besproken op een volwassen, democratisch niveau.”

Kavenna maakt zich zorgen dat, in plaats van wetgeving te maken om de privacy van gebruikers te beschermen, Amerikaanse staten zullen proberen toegang te krijgen tot spraakassistent opnames in de naam van misdaadpreventie en nationale veiligheid. Vorig jaar haalde een rechter in New Hampshire de krantenkoppen door Amazon te bevelen Echo-opnames van een dubbele moord in te dienen bij onderzoekers. “Het brengt hen in een zeer ingewikkelde positie tussen hun klanten en de overheid”, zegt Kavenna. “We zijn erg afhankelijk van het politieke regime.”

Rotenberg gaat akkoord: “Als je een autoritair land, waarom niet gewoon de audio stream rechtstreeks naar een overheid toezicht agentschap en beweren dat het is om de criminaliteit in het huis te verminderen? Het is eng om te overwegen, maar denkbaar.”

vandaag zijn spraakassistenten niet de meest dringende bedreiging voor de privacy alleen omdat ze optioneel zijn. Een gezichtsherkenningsscanner kan je bespioneren in een openbare ruimte, maar Alexa, als een vampier, moet worden uitgenodigd in uw huis. De enige echt effectieve macht die je kunt hanteren over deze technologie is om het niet te gebruiken. Maar het maken van een weloverwogen keuze wordt gecompromitteerd door misleidende marketing en ondermijnd door Amazon ’s inspanningen om Alexa in te bedden in talloze producten, waaronder auto’ s, televisies, koptelefoons, magnetrons, thermostaten en klokken, terwijl het ondertekenen van deals met woningbouwbedrijven en hotelketens, allemaal met het oog op steeds de ene stem. “Spraakbesturing wordt door de strot van de consument geduwd, of hij dat nu leuk vindt of niet,” zegt Estes.

We zijn er nog niet. Tech bedrijven vertrouwen op de mythe van technologische onvermijdelijkheid om de zakelijke beslissingen die ze hebben gemaakt en de mogelijkheid van andere modellen af te sluiten. Ze uitdagen is vechten tegen de toekomst. Onzin, zegt Kavenna. “Is het een onvermijdelijk gevolg van tech? Nee, Het is een ideologische toepassing van technologie. Als je een gebouw bouwt, hoef je geen panopticon te bouwen. Het hoeft niet te zijn wat we nu hebben. Ze zullen vaak beweren dat als je hier tegen bent, je een neo-Luddiet bent. Door die mythe zijn veel mensen ongelooflijk rijk geworden.”

geen van de mensen met wie ik sprak heeft een Home voice assistant, noch zouden ze iemand adviseren om er een te krijgen, maar ze zijn het er allemaal over eens dat het mogelijk zou zijn om een apparaat te ontwikkelen dat de meest populaire diensten levert met respect voor de privacy van de gebruiker. Als de hele industrie zou volgen Apple ‘ s lead in het maken van human monitoring opt-in in plaats van opt-out, dat zou een sterke start. Dan, als de verwerkingskracht toeneemt, meer taken kunnen worden uitgevoerd in het apparaat. Maar, natuurlijk, dat zou betekenen dat je die sappige, geld te verdienen gegevens verliest. “Veel dingen die je echt wilt doen moet het internet niet nodig, en als je eenmaal afgesneden toegang tot de cloud, dan is de privacy zorgen verdwijnen,” zegt Estes. “Er is altijd het potentieel voor dingen om beter te worden – en er zal altijd een gevecht om dat punt te krijgen.Jeremy Gillula is er zo van overtuigd dat een veilige, volledig door de gebruiker gecontroleerde stemassistent mogelijk is, dat hij zijn eigen stemassistent ontwerpt met behulp van open-source software.

“Ik kom er”, zegt hij vrolijk. “Ik ben nog niet 100% tevreden, maar het zal de lichten aan en uit doen.”

{{#ticker}}

{{topLeft}}

{{bottomLeft}}

{{topRight}}

{{bottomRight}}

{{#goalExceededMarkerPercentage}}

{{/goalExceededMarkerPercentage}}

{{/ticker}}

{{heading}}

{{#paragraphs}}

{{.}}

{{/paragraphs}}{{highlightedText}}

{{#cta}}{{text}}{{/cta}}

Remind me in May

wij nemen contact met u op om u eraan te herinneren bij te dragen. Kijk uit voor een bericht in je inbox in mei 2021. Als u vragen heeft over bijdragen, neem dan contact met ons op.

• Delen op Facebook
• Delen op Twitter
• delen via e-mail
• Delen op LinkedIn
• Delen op Pinterest
• Delen op WhatsApp
• Delen op Messenger